Bildverarbeitung mit Photonik revolutionieren
In den letzten Jahren ist die Nachfrage nach Rechenleistung für die kognitive Bild- und Videoverarbeitung sprunghaft angestiegen. Um in diesem Bereich eine bessere Leistung zu erzielen, haben sich Forschende auf neuronale Faltungsnetzwerke konzentriert, eine Art Netzwerkarchitektur für Deep-Learning-Algorithmen, die für Bilderkennungs- und Pixeldatenverarbeitungsaufgaben verwendet werden. Neuronale Faltungsnetzwerke bieten zwar eine bessere Leistung, verbrauchen aber auch viel mehr Strom und Speicherplatz. Zur Verbesserung von neuronalen Faltungsnetzwerken haben sich Forschende der Photonik zugewandt. Eine neue von den EU-finanzierten Projekten NEoteRIC und PROMETHEUS unterstützte Studie wirft nun ein Licht auf die sich schnell verändernde Landschaft der integrierten photonischen neuromorphen Architekturen für die Implementierung von neuronalen Faltungsnetzwerken. Die Studie wurde in der Fachzeitschrift „Intelligent Computing“ veröffentlicht. Neuronale Faltungsnetzwerke sind so konzipiert, dass sie automatisch hierarchische Darstellungen aus den Eingabedaten erlernen. Je tiefer sie erstellt werden und je mehr trainierbare Parameter sie erhalten, desto besser sind sie. Wie in einer Pressemitteilung bei „EurekAlert!“ erläutert, geht diese Verbesserung jedoch mit einem deutlich höheren Stromverbrauch und Speicherbedarf einher. Der Versuch, dieses Problem mit mehreren Chips und paralleler Verarbeitung zu lösen, erhöht den Energieverbrauch weiter. Dies „wirft Bedenken auf, sowohl was die finanziellen Kosten als auch die ökologischen Auswirkungen bei einer Ausweitung der Systeme angeht“. Die Lösung liegt in der Photonik mit ihrer Fähigkeit, die Eigenschaften des Lichts für eine verbesserte Datenübertragung und -verarbeitung nutzbar zu machen. Die Studie bietet einen Überblick über aktuelle integrierte photonische neuronale Faltungsnetzwerke, die sich mit dem anspruchsvollen Gebiet der ultraschnellen Bildverarbeitung befassen. Sie analysiert photonische Kerne, die als neuronale Faltungsnetzwerke fungieren und „entweder die Funktionalität eines herkömmlichen neuronalen Netzwerks oder seines Aufstockungsgegenstücks abdecken“.
Unterschiedliche Perspektiven
In der Übersicht werden ebenso zwei alternative photonische Ansätze vorgestellt, die nicht einfach Konzepte neuronaler Netze direkt in den optischen Bereich übertragen, sondern stattdessen eine andere Perspektive in diesem sich schnell verändernden Bereich bieten. Diese beiden Ansätze kombinieren photonische, digitale elektronische und ereignisbasierte, bioinspirierte Verarbeitung und nutzen ihre jeweiligen Vorteile aus. „Diese Ansätze können eine Leistung bieten, die über den Stand der Technik hinausgeht, während sie sich auf eine realistische, skalierbare Technologie stützen“, heißt es in der Studie. Der erste Ansatz basiert auf einer integrierten photonischen Plattform und einem optischen Spektrum-Slicing-Verfahren. Er kommt ohne komplizierte Schaltungen oder Bildvorverarbeitung aus und verwendet spezielle Filter, die das Bild anhand seiner Farben und Muster in verschiedene Teile separieren und dann wichtige Merkmale aus dem Bild extrahieren. In der Pressemitteilung wird erklärt: „Durch diesen Ansatz wird die Maschine skalierbar. Das heißt, sie kann größere und komplexere Bilder verarbeiten. Diese Methode verbraucht sehr wenig Strom, da sie nur eine geringe Energiemenge für die Erfassung des Lichts und die Verarbeitung der Signale benötigt. Außerdem arbeitet sie sofort und ohne Verzögerung. So kann sie Bilder in Echtzeit verarbeiten.“ Der zweite Ansatz verfolgt einen bio-isomorphen Weg, der miniaturisierte aufstockende Laserneuronen und unbeaufsichtigtes bioinspiriertes Training in einer tiefen Architektur kombiniert. „Laserneuronen simulieren das Aufstockungsverhalten von biologischen Neuronen und sind dadurch robust gegenüber Rauschen. Unüberwachtes bioinspiriertes Training extrahiert selbstständig aussagekräftige Merkmale aus Daten und gestattet so die Mustererkennung ohne explizite Kennzeichnung. Photonik-basierte Informationsverarbeitung ist energieeffizient. Durch den Einsatz dieser Technologien erreicht der Beschleuniger eine hohe Rauschresistenz und einen geringen Stromverbrauch.“ NEoteRIC (NEuromorphic Reconfigurable Integrated photonic Circuits as artificial image processor) endet im Dezember 2023. PROMETHEUS (PROgraMmable integrated photonic nEuromorphic and quanTum networks for High-speed imaging, communications and sEcUrity applicationS) endet im August 2025. Weitere Informationen: NEoteRIC-Projektwebsite PROMETHEUS-Projektwebsite
Schlüsselbegriffe
NEoteRIC, PROMETHEUS, Photonik, Verarbeitung, Bildverarbeitung, neuronales Faltungsnetzwerk
