Fotonika rewolucjonizuje przetwarzanie obrazów
W ciągu ostatnich kilku lat byliśmy świadkami znaczącego wzrostu zapotrzebowania na moc obliczeniową na potrzeby kognitywnego przetwarzania obrazów oraz materiałów filmowych. Próba uzyskania lepszych osiągów i poprawy wydajności w tym obszarze doprowadziła do skupienia się na konwolucyjnych sieciach neuronowych – szczególnym rodzaju sieci neuronowych wykorzystywanych na potrzeby algorytmów uczenia głębokiego przeznaczonych do rozpoznawania obrazów i przetwarzania danych pikseli. Choć tego rodzaju rozwiązania charakteryzują się doskonałymi osiągami, ich stosowanie wymaga zużycia znacznie większej ilości energii oraz wiąże się z olbrzymim zapotrzebowaniem na pamięć. Z tego powodu rozpoczęły się poszukiwania rozwiązań pozwalających na usprawnienie działania konwolucyjnych sieci neuronowych – jednym z nich okazała się fotonika. Wyniki badania realizowanego dzięki wsparciu finansowanych ze środków Unii Europejskiej projektów NEOTERIC i PROMETHEUS rzuciły nowe światło na nieustannie zmieniający się stan dziedziny zintegrowanych fotonicznych architektur neuromorficznych i możliwości ich wykorzystania w ramach konwolucyjnych sieci neuronowych. Artykuł został opublikowany na łamach czasopisma naukowego „Intelligent Computing”. Konwolucyjne sieci neuronowe są projektowane z myślą o automatycznej nauce reprezentacji hierarchicznych na podstawie danych wejściowych. Ich osiągi są uzależnione bezpośrednio od głębokości sieci oraz liczby parametrów, na podstawie których są trenowane. Jak czytamy jednak w komunikacie prasowym opublikowanym w portalu EurekAlert!, lepsze osiągi okupione są znacznie większym zużyciem energii i wzrostem wymagań dotyczących dostępnej pamięci. Próba rozwiązania tego problemu za pomocą zwiększania liczby układów scalonych i przetwarzania równoległego prowadzi do dalszego zwiększenia zużycie energii. „Takie podejście do zwiększania skali systemów wiąże się z wieloma problemami, które obejmują zarówno koszt finansowy samych układów, jak i ich szkodliwy wpływ na środowisko”. Wszystko wskazuje na to, że rozwiązaniem tych problemów może być fotonika, a szczególnie możliwość wykorzystania właściwości światła do usprawnienia transmisji i przetwarzania danych. Opublikowane badanie stanowi przegląd istniejących zintegrowanych fotonicznych konwolucyjnych sieci neuronowych wykorzystywanych w celu niezwykle szybkiego przetwarzania obrazu. Jego autorzy analizują rdzenie fotoniczne wykorzystywane na potrzeby tych sieci, które „obejmują zarówno funkcjonalność konwencjonalnych sieci neuronowych, jak i ich pulsujących odpowiedników”.
Zróżnicowane podejścia
Autorzy przeglądu przedstawiają także dwa alternatywne rozwiązania fotoniczne, które nie tylko pozwalają na przeniesienie koncepcji sieci neuronowych do domeny optycznej, ale także oferują zupełnie nowe spojrzenie na tę rozwojową dziedzinę. Oba zaprezentowane podejścia łączą przetwarzanie fotoniczne, cyfrowe, elektroniczne i oparte na zdarzeniach inspirowane mechanizmami występującymi w biologii, w pełni wykorzystując ich zalety. „Zastosowanie tych rozwiązań może pozwolić na uzyskanie bezprecedensowych osiągów dzięki realistycznym, skalowalnym technologiom”, twierdzą autorzy badania. Pierwsze podejście opiera się na zintegrowanej platformie fotonicznej i technice podziału widma optycznego. Dzięki jego zastosowaniu możliwe jest wyeliminowanie zarówno złożonych obwodów, jak i konieczności przeprowadzania wstępnej obróbki obrazów. Co więcej, rozwiązanie to wykorzystuje specjalne filtry, które dzielą obraz na różne części na podstawie kolorów i wzorów, a następnie wyodrębniają z nich ważne cechy. Jak czytamy w komunikacie prasowym: „Dzięki zastosowaniu takiego podejścia rozwiązanie staje się skalowalne – może obsługiwać większe i bardziej złożone obrazy. Co ważniejsze, zastosowanie tej metody pozwala na zminimalizowanie zużycia energii, gdyż procesy wykrywania światła i przetwarzania sygnałów nie wiążą się z dużym zapotrzebowaniem. Dodatkowo rozwiązanie to działa bez żadnych opóźnień, dzięki czemu pozwala na przetwarzanie obrazów w czasie rzeczywistym”. Drugie rozwiązanie opiera się na podejściu bioizomorficznym. Łączy zminiaturyzowane neurony wykorzystujące pulsujące lasery, głęboką architekturę i technikę nienadzorowanego szkolenia inspirowaną rozwiązaniami z natury. „Laserowe neurony symulują zachowanie ich biologicznych odpowiedników, co zapewnia odporność na zakłócenia. Z kolei proces nienadzorowanego szkolenia inspirowanego rozwiązaniami biologicznymi pozwala na automatyczne i autonomiczne wyodrębnianie najważniejszych elementów spośród analizowanych danych, co umożliwia rozpoznawanie wzorców bez konieczności opracowywania oznaczeń i opisów danych. Ponadto fotoniczne techniki przetwarzania oferują znaczną oszczędność energii. Dzięki wykorzystaniu opisanych technologii akcelerator charakteryzuje się odpornością na zakłócenia oraz niższym zużyciem energii”. Prace w ramach projektu NEoteRIC (NEuromorphic Reconfigurable Integrated photonic Circuits as artificial image processor) dobiegną końca w grudniu 2023 roku. Projekt PROMETHEUS (PROgraMmable integrated photonic nEuromorphic and quanTum networks for High-speed imaging, communications and sEcUrity applications) zakończy się w sierpniu 2025 roku. Więcej informacji: strona projektu NEoteRIC strona projektu PROMETHEUS
Słowa kluczowe
NEOTERIC, PROMETHEUS, fotonika, przetwarzanie, przetwarzanie obrazu, konwolucyjna sieć neuronowa
