Czujniki obrazu, które zachowują się jak biologiczne siatkówki
Od czasu wynalezienia pierwszej kamery obskura i pojawienia się fotografii w XIX w., naukowców fascynuje wykorzystywanie czujników światła do rejestrowania otaczającego świata z perspektywy urządzenia stworzonego przez człowieka. Niedawno cała uwaga skupiła się na czujnikach obrazu opartych na technologii CCD i CMOS. Te najnowocześniejsze aparaty i kamery potrafią przekształcać obrazy optyczne na sygnał elektroniczny i znajdują zastosowanie w wielu sektorach, takich jak opieka zdrowotna, motoryzacja, media czy ochrona bezpieczeństwa. Według najnowszego raportu MarketsandMarkets, wartość rynku czujników obrazu wyniesie do roku 2020 około 13,24 mld EUR (15,77 mld USD). Podczas gdy walka o udział w rynku zaowocowała znaczącymi postępami pod względem wielkości i gęstości pikseli, rozdzielczości i wydajności, to nadal daleka droga do tego zanim technologie te będą mogły stanąć w szranki z siatkówkami biologicznymi. Projekt SEEBETTER (Seeing Better with Hybrid BSI Spatio-Temporal Silicon Retina) opiera się na przekonaniu, że mankamentem tych technologii jest wytwarzanie zbędnych sekwencji obrazów przy ograniczonej szybkości odświeżania. Członkowie konsorcjum pod egidą Imec poświęcili trzy ostatnie lata na próby przezwyciężenia tego problemu poprzez „opracowanie zaawansowanej siatkówki krzemowej o wyższej efektywności kwantowej i przetwarzaniu czasoprzestrzennym siatkówek biologicznych”. Innymi słowy badali funkcje różnych komórek zwojowych siatkówki, aby pogłębić wiedzę o widzeniu siatkówkowym i następnie podjąć próbę odtworzenia jego zdolności generowania danych zgodnie z zachodzącymi w odpowiednim czasie zmianami w ilości odbieranego światła. David San Segundo Bello, koordynator projektu, przyjął zaproszenie do omówienia stanu jego realizacji, silnych i słabych stron technologii SEEBETTER oraz jej potencjalnych zastosowań, między innymi hipotetycznego wykorzystania w protezach siatkówki. Jaki jest główny cel projektu? Cel SEEBETTER jest poczwórny: pogłębić wiedzę na temat funkcji głównych klas komórek zwojowych siatkówki; opracować model matematyczny i obliczeniowy przetwarzania widzenia siatkówkowego z perspektywy biologii, widzenia maszynowego i przyszłych protez siatkówki; zaprojektować i zbudować wysokowydajną siatkówkę krzemową z heterogeniczną matrycą pikseli wyspecjalizowanych zarówno w przestrzennym, jak i czasowym przetwarzaniu widzenia; wykorzystać technologię BSI do zwiększenia czułości czujnika. Każdy z partnerów projektu jest ekspertem w zakresie jednego z czterech celów. Widzenie sztuczne nabiera ostatnio rozmachu. Jakie są główne zalety tej technologii w porównaniu do innych rozwiązań? Pierwsza rzecz, jaką należy mieć na uwadze, to ostrożność przy stosowaniu nomenklatury. Nasza siatkówka krzemowa jest czujnikiem obrazu wyprodukowanym z krzemu, który funkcjonuje w sposób podobny do siatkówki biologicznej. W tym sensie rożni się zdecydowanie od siatkówki krzemowej wszczepianej pacjentowi jako proteza. Podczas gdy nasz „krzemowy czujnik siatkówkowy” rzeczywiście mógłby zostać użyty we wszczepialnej „sztucznej” siatkówce, nie zajmujemy się w ramach prowadzonych prac bezpośrednio tą dziedziną zastosowań. Niemniej główną zaletą w takim scenariuszu zastosowania byłoby funkcjonowanie czujnika w sposób zbliżony do siatkówki biologicznej, co mogłoby „ułatwić” podpięcie go do nerwu wzrokowego, ale to znacznie wykracza poza obszar mojej specjalizacji, a zatem mogę jedynie spekulować. Jeżeli przez „widzenie sztuczne” rozumiemy zastosowania czujników obrazu w tak zwanym „widzeniu maszynowym”, wówczas główną zaletą naszego czujnika jest szerzy zakres dynamiczny w porównaniu do standardowych czujników. Konkretnie zakres dynamiczny czujnika obrazu można zdefiniować jako różnicę między najmniejszą ilością światła, jaką potrafi wykryć przed pojawieniem się szumów w systemie, a największą przed nasyceniem pikseli. W standardowych czujnikach wzrost zakresu dynamicznego wymaga znacznego wysiłku i wielu kompromisów związanych z fotodetekorem, elektroniką odczytu pikseli i ich kontrolą. W przypadku naszego czujnika głównym ograniczeniem jest liczba impulsów, jaka może zostać przetworzona, tj. szybkość elektroniki. Jednak brak gromadzenia danych, kiedy nie zachodzą zmiany w scenerii, przekłada się na niższe zużycie energii i na szybkość transmisji danych, co może być korzystne w wielu zastosowaniach. Jak dokładnie działają wasze siatkówki krzemowe? Krzemowy czujnik siatkówkowy działa na zupełnie innej zasadzie niż większość istniejących czujników obrazu CCD i CMOS. Standardowe czujniki obrazu generują dane proporcjonalnie do ilości światła docierającego do pikseli czujnika. Informacja zawiera się w „amplitudzie” sygnału piksela, a piksele są aktywne i odczytywane w regularnych odstępach czasu, zdefiniowanych szybkością odświeżania i/lub czasem naświetlania. Informacje istotne dla danego zastosowania zostaną pozyskane z wartości tych pikseli dla każdego obrazu lub klatki. Nasz czujnik natomiast opiera się na zasadzie „czujnika dynamicznego widzenia” (DVS), która sama w sobie jest zainspirowana sposobem pracy siatkówki biologicznej. Zamiast generować dane proporcjonalnie do ilości światła, każdy piksel jest czuły na zmiany w czasie wpływające na ilość światła. Wytwarzane dane są asynchronicznymi impulsami cyfrowymi, a informacja zawarta jest w ilości czasu między impulsami. Na przykład powolna zmiana w ilości światła na konkretnym pikselu wygeneruje impulsy w stosunkowo wolnym tempie, podczas gdy nagłe zmiany wygenerują impulsy w wyższym tempie. Jednocześnie brak zmian w scenerii rejestrowanej przez czujnik oznacza, że nie będą generowane żadne dane. Na ile zbliżone są te czujniki do siatkówki biologicznej? Cóż, naturalne siatkówki biologiczne są bardziej złożone i dysponują wieloma różnymi rodzajami pikseli (komórek), które komunikują się także ze swoimi sąsiadami. Tego rodzaju właściwości byłyby niezwykle trudne czy wręcz niemożliwe do uzyskania za pomocą standardowej technologii CMOS. W ramach naszego projektu poszerzyliśmy funkcjonalność pikseli w stosunku do istniejących „krzemowych czujników siatkówkowych”, ale to niewielkie udoskonalenie. Niemniej jesteśmy przekonani, że ta ograniczona funkcjonalność w porównaniu do prawdziwej siatkówki może okazać się niezwykle użyteczna w wielu zastosowaniach związanych z widzeniem. Oczywiście nic za darmo, te dodatkowe funkcjonalności wymagają większych pikseli: skok od 10 do 20 mikrometrów w zależności od węzła technologicznego i funkcji piksela. Dla porównania najnowocześniejsze, standardowe czujniki obrazu mają piksele od dwóch do pięciu mikrometrów, a niektórzy producenci już oferują skoki pikseli bardzo bliskie jednego mikrometra. Jakie byłoby największe przełomowe odkrycie, jakiego dokonaliście do tej pory w toku prowadzonych prac badawczych? Jeżeli chodzi o przełomowe odkrycia, to nasz partner z dziedziny biologii – Instytut Friedricha Mieschera – osiągnął najbardziej namacalne wyniki, pogłębiając naszą wiedzę o funkcjonowaniu komórek czopkonośnych siatkówki. Przełożyło się to na kilka publikacji w opiniotwórczych czasopismach, takich jak »Science« czy »Cell«. Jeżeli chodzi o sam czujnik, to Uniwersytet w Zurychu zademonstrował pierwszy krzemowy czujnik siatkówkowy z osadzonymi „standardowymi” pikselami, umożliwiający bardziej złożone przetwarzanie wizualne i poszerzenie użyteczności tych czujników. Imperial College opracował emulator sprzętowy czujnika siatkówkowego za pomocą standardowych kamer. Wreszcie organizacji non-profit Imec udało się opracować i wdrożyć technologię BSI na potrzeby czujników obrazu do wykorzystania w zastosowaniach masowych. Na jakim etapie jest produkcja siatkówek krzemowych o wysokiej wydajności? Wytwarzamy nasz czujnik we współpracy z dużym producentem. Jeżeli czujnik miałby być stosowanych w dużych ilościach, niemal wszystkie elementy do masowej produkcji byłyby na miejscu. Jakie są kolejne etapy projektu i plany po jego zakończeniu? To ostatnie miesiące realizacji projektu. Ostateczne urządzenie zostało wyprodukowane i przechodzi obecnie testy. Na chwilę obecną nie ma planów co do dalszej pracy obecnego konsorcjum po zakończeniu projektu, ale wszyscy członkowie będą dalej rozwijać opracowane technologie i odkrycia dokonane w toku realizacji tego przedsięwzięcia. Więcej informacji: SEEBETTER http://projects.imec.be/seebetter
Kraje
Belgia