Projektowanie maszyn, które widzą, rozumieją i potrafią interpretować swoje otoczenie
Nie jest trudno wyobrazić sobie pieszego ze wzrokiem utkwionym w ekranie telefonu komórkowego, który zupełnie nie zwraca uwagi na czerwone światło. Nie jest trudno wyobrazić sobie także kierowcę, który czuje się nieco rozkojarzony z powodu niewyspania i nie jest w stanie natychmiast zareagować na to niebezpieczeństwo. W jaki sposób można zapobiec wypadkowi w takiej sytuacji? Począwszy od zaawansowanych systemów wspomagania kierowców, ułatwiających kierowanie pojazdami, przez drony wykorzystywane w akcjach poszukiwawczych i ratunkowych, aż po obrazowanie przy pomocy promieniowania rentgenowskiego, osadzone technologie rozpoznawania obrazów są coraz częściej wykorzystywane w wielu zastosowaniach, obejmujących między innymi integrację systemów tego rodzaju w maszynach wykorzystujących algorytmy w celu określania znaczenia na podstawie obserwacji układów pikseli w obrazach oraz filmach. Poprawne interpretowanie otoczenia dzięki przetwarzaniu złożonych danych wizualnych przez tego rodzaju systemy wymaga jednak dużych mocy obliczeniowych. Poza ograniczeniami związanymi z poborem energii, projektanci systemów osadzonych muszą stawiać czoła innym wyzwaniom technicznym, takim jak koszt, rozmiar, waga oraz hałas emitowany przez urządzenia. Próbę rozwiązania tych problemów podjął finansowany przez Unię Europejską projekt TULIPP, opracowując w tym celu platformę referencyjną na potrzeby projektantów systemów wizyjnych. Według komunikatu prasowego opublikowanego przez pracowników projektu, rozwiązanie opracowane w ramach projektu TULIPP pomoże „projektantom produktów opartych na systemach rozpoznawania obrazu sprostać wyzwaniom projektowym związanym z koniecznością zapewnienia niskiego poboru mocy, niskich opóźnień, wysokiej wydajności oraz przetwarzaniem obrazów w czasie rzeczywistym”.
Rzeczywiste zastosowania
Platforma referencyjna opracowana w ramach projektu TULIPP składa się z zestawu narzędzi rozwojowych, a także szeregu rzeczywistych implementacji rozwiązania. Jak czytamy w komunikacie prasowym, zestaw obejmuje „oparty na układzie FPGA wielordzeniowy osadzony komputer, równoległy system operacyjny czasu rzeczywistego, a także zestaw narzędzi rozwojowych, którym towarzyszą wytyczne i instrukcje”. Układy typu FPGA, czyli bezpośrednio programowalne macierze bramek, stanowią układy scalone, które mogą być programowane lub przeprogramowywane w celu uzyskania wymaganej funkcjonalności lub umożliwienia ich użycia w określonym zastosowaniu po wyprodukowaniu. Możliwe zastosowania takich układów obejmują między innymi „urządzenia do obrazowania medycznego przy pomocy promieniowania rentgenowskiego, zaawansowane systemy wspomagania kierowców na potrzeby branży motoryzacyjnej, a także bezzałogowe statki powietrzne”. Zastosowanie nowego rozwiązania w urządzeniach do obrazowania medycznego wykorzystujących promieniowanie rentgenowskie ma na celu zwiększenie sprawności zabiegów operacyjnych dzięki wykorzystaniu mobilnego ramienia C. Urządzenie jest w stanie wyświetlać obraz wnętrza ciała pacjenta w czasie rzeczywistym w trakcie zabiegu operacyjnego, co pozwala chirurgom na wykonywanie najmniejszych możliwych cięć przy jednoczesnym zapewnieniu ich większej precyzji. Prowadzi to do szybszego powrotu pacjentów do zdrowia i „obniża ryzyko zachorowania na choroby szpitalne oraz zmniejsza o 75 % dawki promieniowania, na które narażeni są pacjenci i personel medyczny”, czytamy w komunikacie. Dzięki możliwości zastosowania rozwiązania do wykrywania pieszych, wykorzystanie go w zaawansowanych systemach wspomagania kierowców „pozwala na uzyskanie czasu przetwarzania pojedynczej ramki na poziomie 66 ms, dzięki czemu algorytm może analizować co drugą klatkę w przypadku, gdy kamera pracuje z częstotliwością odświeżania wynoszącą 30 Hz”. W przypadku bezzałogowych statków powietrznych, rozwiązanie opracowane w ramach projektu TULIPP określa głębokość obrazów gromadzonych przy pomocy dwóch kamer w układzie stereo ustawionych w kierunku lotu. „Choć często słyszymy o autonomicznych dronach, wiele spośród istniejących systemów nadal wymaga zdalnego pilotażu przez ludzi. W tym przypadku rozwiązanie wykorzystuje mapy niezgodności opracowywane na podstawie obrazu uzyskiwanego z kamer, dzięki którym jest w stanie wykrywać przeszkody na trasie lotu i automatycznie sterować statkiem w taki sposób, aby je omijać. Opracowanie takiego rozwiązania jest kluczowe dla stworzenia całkowicie autonomicznych dronów”. Trwający trzy lata projekt TULIPP (Towards Ubiquitous Low-power Image Processing Platforms) dobiegł końca w styczniu 2019 roku. Skupieni wokół niego badacze zajmowali się opracowywaniem wysoce wydajnych, energooszczędnych systemów osadzonych na potrzeby różnorodnych złożonych przypadków użycia w wielu sektorach przemysłu. Więcej informacji: strona projektu TULIPP
Kraje
Francja
