Roboty przyszłości z inteligentnymi funkcjami wizyjnymi
Roboty muszą umieć w sposób adaptacyjny wybierać odpowiednie informacje z danej sceny, aby poddać je dalszemu przetwarzaniu. Potrzebują uprzedniej podstawowej wiedzy o tym, gdzie znaleźć cel, a także muszą mieć pewne pojęcie o jego wielkości, kształcie, kolorze czy teksturze. Roboty wymagają mechanizmów uwagi do określenia, której części czujników potrzebują do przetwarzania. Uwaga polega na wybieraniu najistotniejszych informacji z wielu czujników w celu skutecznego wyszukiwania. Finansowany ze środków UE projekt REAL-TIME ASOC (Real-time understanding of dexterous deformable object manipulation with bio-inspired hybrid hardware architectures) miał na celu opracowanie nowych mechanizmów uwagi wizualnej. W projekcie REAL-TIME ASOC wykorzystano specjalistyczną kamerę nazywaną dynamicznym czujnikiem wizyjnym (DVS), która nadaje się do zastosowań robotycznych wymagających małych opóźnień w celu działania w czasie rzeczywistym. Rejestruje ona wszystko, co ulega zmianie, z bardzo dużą rozdzielczością czasową mierzoną w mikrosekundach. DVS nagrywa z prędkością około 600 000 klatek na sekundę oraz zmniejsza ilość danych dzięki usuwaniu statycznych fragmentów obrazu. Prace rozpoczęto od wykorzystania czujnika DVS do wyodrębnienia konturów i granic własności z samych informacji o zdarzeniach. Ponieważ zdarzenia są wyzwalane tylko przez duże zmiany jasności, większość z nich zachodzi na granicy obiektów. Wykrywanie tych konturów jest kluczowym krokiem na drodze do dalszego przetwarzania danych. Naukowcy opracowali podejście polegające na identyfikacji umiejscowienia konturów i ich granic przy pomocy cech reprezentujących ruch, synchronizację, teksturę i orientację przestrzenną. Detekcja konturów i przypisywanie granic zademonstrowane zostały we wstępnej segmentacji sceny. Uczeni pracowali nad algorytmami do szacowania ruchu obrazu na podstawie informacji o asynchronicznych zdarzeniach, a także programowaną przez użytkownika macierzą bramek umożliwiającą obliczanie uwagi wizualnej. Powstał też zbiór danych zawierający zarówno pozbawione klatek dane dotyczące zdarzeń, jak i klasyczne dane obrazu, ruchu i głębi. Pomaga on w ocenie różnych opartych na zdarzeniach metod oraz porównanie ich z konwencjonalną wizją komputerową opartą na ramkach. Projekt REAL-TIME ASOC pokazał, jak przyszłe roboty będą mogły wizualnie wybierać i przetwarzać obrazy w sposób podobny jak ludzie.
Słowa kluczowe
Roboty, REAL-TIME ASOC, manipulowanie przedmiotami, hybrydowe architektury sprzętowe, uwaga wizualna
