Przykłady udanych projektów – Kamery czasu przelotu gotowe do pracy
Thomas, dorastający chłopiec z porażeniem czterokończynowym, może z trudem poruszyć głową jedynie na odległość kilku milimetrów w jedną i drugą stronę. Jest to jedyny ruch, jaki może wykonać. Przy zastosowaniu nowego, opracowanego przez naukowców europejskich, trójwymiarowego sprzętu obserwacji czasu przelotu (TOF) oraz oprogramowania , nawet taki minimalny ruch wystarcza na kontrolę taniego urządzenia sterującego komputerem, niespodziewanie umożliwiając Thomasowi otwarcie całego świata łączności. Taki fikcyjny scenariusz ilustruje możliwości i znaczenie nowego przełomowego opracowania, stworzonego niedawno w ramach projektu naukowego sfinansowanego przez UE. W ramach projektu pod nazwą „Rozpoznanie i śledzenie działania w oparciu o czujniki czasu przelotu” (ARTTS) postawiono sobie za zadanie ulepszenie odpowiedniej technologii i opracowanie nowych algorytmów, czyli kodów do sterowania czujników służących do rozpoznawania i śledzenia obiektów. Kamery TOF to najnowsza, wyłaniająca się dopiero technologia. „Microsoft zakupił ostatnio systemy TOF 3DV, opracowane przez firmę izraelską, ponieważ chce zastosować nową technologię w swoich konsolach następnej generacji”, wyjaśnia Profesor Erhardt Barth, wice dyrektor Instututu Neuroinformatyki i Bioinformatyki przy Uniwersytecie w niemieckim mieście Lubeka, oraz koordynator projektu ARTTS. Główny nacisk w naszych badaniach położony został na wzajemne współdziałanie człowieka i maszyny przy zastosowaniu TOF”. TOF polega na prostej zasadzie. Czujnik dokonuje pomiaru czasu, w ciągu którego światło podróżuje z kamery do obiektu i z powrotem — czyli czasu przelotu — oraz wykorzystuje takie dane do wyliczenia odległości od obiektu. Jest to trójwymiarowa kamera 3D, podobna do stereowizji i skanerów laserowych, ale tańsza i lepiej nadająca się do przystosowania, niż wymienione urządzenia. Szybciej, sprawniej, taniej Aby osiągnąć taki cel, naukowcy musieli zdecydować się na podjęcie bardzo ambitnego programu prac. Musieli oni ulepszyć kamery TOF w sposób radykalny, stwarzając urządzenie lepsze od innych obecnie istniejących, poprawiając rozdzielczość głębi oraz jakość sygnału, przy jednoczesnym zmniejszeniu wymiarów, obniżeniu poboru energii, a także kosztów. „Musieliśmy wykazać, że można opracować czujniki... dostatecznie zminiaturyzowane, by można było je zastosować w kamerach cyfrowych, komputerach, a nawet urządzeniach przenośnych”, wyjaśnia Profesor Barth. „Różnica polega właściwie na tym, że nowa kamera jest znacznie mniejsza i wydajniejsza pod względem zużycia energii niż to co było dotąd osiągalne. Do zasilania wymaga ona jedynie podłączenia do portu USB, przy jednoczesnym zachowaniu właściwości jakie posiadają inne urządzenia, znacznie większe, cięższe i pobierające więcej energii." Ale wielkość, koszt oraz wydajność nie wystarczały, kamera musiała być także dokładna. „Dokładność to następna ważna zaleta,” zauważa Prof. Barth. „Opracowana kamera wykorzystuje czynne oświetlenie, więc zastosowano w niej diody na podczerwień, ale szczególnym osiągnięciem jest modulacja oświetlenia; a ponieważ jasność zmienia się bardzo szybko w czasie, to dokładność zależy od częstotliwości — czyli prędkości, z jaką zmienia się oświetlenie. Udało się nam zbudować źródło światła o częstotliwości 60 megaherców. Umożliwia ono zmiany natężenia światła 60 milionów razy na sekundę, co powoduje, że kamera jest bardziej dokładna w obrębie niedużych odległości.” Inne kamery zoptymalizowane zostały dla większych odległości, od 1 metra do 7 metrów i dalej, natomiast kamera ARTTS jest bardziej dokładna w zakresie jednego metra, co jest wystarczającą odległością, by wykorzystywać gestykulację w zastosowaniu do inteligentnych telefonów. „Wprowadzony na rynek iPhone przyzwyczaił ludzi do stosowania gestykulacji, toteż następnym etapem będzie wzajemne współdziałanie bez dotykania, i tym się właśnie zajmujemy.” „Właściwie sądzę, że kamera ARTTS opracowana przez naszego partnera CSEM stanowi główną konkurencję wobec produktu jaki jest w posiadaniu Microsoftu. W rzeczywistości myślę, że nasze urządzenie jest lepsze, ale wymaga więcej pracy, by mogło być produkowane na skalę masową,” podkreśla Prof. Barth. Podwójna kamera Zespół opracował także drugą kamerę, która umożliwiła połączenie czujnika TOF o niskiej rozdzielczości z czujnikiem obrazu telewizji o wysokiej rozdzielczości (HDTV). „Nasz partner SMI uważa, że taki czujnik zapewnić może znacznie lepszą funkcjonalność w sytuacjach mających na celu ochronę i opiekę zdrowotną, umożliwiając połączenia wideo z osobami starszymi oraz ostrzegając opiekunów takich osób, na przykład o problemach zdrowotnych pojawiających się u pacjentów”, wyjaśnia Prof. Barth. Na przykład, urządzenie takie mogłoby śledzić ludzi w trakcie ich przemieszczania się w pokoju oraz rozpoznawać ich działania. Profesor opisuje tę kamerę z optymizmem, ponieważ czujnik TOF o niewielkiej nawet rozdzielczości dostarcza użytecznych danych co do odległości, podczas gdy czujnik obrazu o niewielkiej rozdzielczości nie jest tak przydatny w tej sytuacji. „Sądzę, że taka podwójna kamera będzie idealna w zastosowaniu do większości środowisk i urządzeń,” zauważa. „Zasadniczo, pracuje ona tylko na zasadzie rozdzielania wiązki, co umożliwia wysłanie światła podczerwonego do czujnika TOF oraz światła widzialnego do czujnika obrazu. Rozdzielacze wiązek to urządzenia dopracowane i tanie, szeroko stosowane w cyfrowych kamerach wideo.” W każdym, najnowszym technologicznie, sprzęcie nieodzowne jest stosowanie odpowiedniego oprogramowania niezbędnego dla jego funkcjonowania. W tej dziedzinie zespoły z uniwersytetów w Danii, Rumunii i Niemczech pracowały głównie nad trzema problemami. Pierwszy problem, w zasadzie ogólny, polegał na energicznym poszukiwaniu możliwości poprawy jakości sygnału z czujników TOF, przy czym naukowcy wykorzystali tutaj kilka genialnych rozwiązań. Na przykład, grupa Bartha zdała sobie sprawę, że natężenie światła i odległość nie są wielkościami niezależnymi od siebie, ale przeciwnie, powiązane są ze sobą przez więzy zacienienia. Jeżeli znane są właściwości reflektancji obserwowanego obiektu, to jakość map może być poprawiana w sposób istotny, zarówno obiektywnie jak też subiektywnie, dzięki narzuceniu więzów zacienienia. Inne rozwiązania umożliwiły dalszą poprawę sygnału. Następnym zadaniem w zakresie oprogramowania było opracowanie algorytmu do śledzenia obiektu. „Zajęło mi dużo czasu i trudu, by odwzorować ludzkie zmysły, takie jak wzrok i węch,” wyjaśnia Profesor Barth, „zwłaszcza jeśli urządzenie ma pracować w środowisku takim jak wnętrze samochodu, gdzie natężenie światła zmienia się przez cały czas.” Subtelne wykrywanie W przypadku czujników TOF mamy do czynienia z dwoma sposobami działania: mapą odległości o wysokiej rozdzielczości oraz mapą natężenia światła o niskiej rozdzielczości. W powiązaniu z mapą odległości, mapa natężenia światła jest dostatecznie dobra, by wykorzystywać ją do użytecznych aplikacji. Dla przykładu, dzięki zastosowaniu takiej kombinacji danych, ARTTS był w stanie opracować różne algorytmy śledzenia obiektu, umożliwiające śledzenie osób, ponieważ odległość zapewnia jedną z wielkości, która powiązana zostaje z sygnałem natężenia światła. Była to ważna przesłanka dla pozostałych prac zespołu. W miarę jak system stawał się zdolny do niezawodnego śledzenia obiektu, zaczęto przechodzić do badania nad rozpoznawaniem gestykulacji, co było, od samego początku, głównym celem projektu ARTTS. Okazało się wówczas, że system ARTTS zdolny jest do rozpoznawania całkiem subtelnych gestów. Przy każdym pikselu określającym wielkość odległości występują błędy pomiaru, a pikseli tych jest bardzo dużo. Oznacza to, iż występuje wiele wartości, które są uśredniane ze zbiorów danych, co w sposób istotny poprawia czułość. W swojej obecnej wersji, system umożliwia nawet prowadzenie pokazu slajdów przy użyciu gestykulacji rąk do wskazania slajdu, zmiany lub powrotu do poprzedniego slajdu, a nawet więcej. Aplikacje takich technologii są potencjalnie nieskończone. W wyniku bardzo konkurencyjnego procesu wnioskowania, projekt uzyskał dofinansowanie w wysokości 400 tysięcy euro od rządu niemieckiego, by stworzyć początkowe opracowania, które zapewnią zarówno zastosowanie, jak też stronę usługową nowej technologii. Klienci będą mogli nabywać sprzęt oraz platformę oprogramowania, umożliwiającą opracowywanie własnych aplikacji, bądź też będą mogli zlecić opracowanie takich aplikacji nowej firmie TOF-GT. Zespół jest obecnie w trakcie opracowania nowej aplikacji reklamowej dla dworca kolejowego w Wiedniu. Będzie to ekran o wysokiej rozdzielczości i szerokości 12 metrów, wyposażony w szereg kamer TOF. Kamery umożliwią podróżnym współdziałanie z ekranem podczas wyświetlania reklam. Ekran umożliwi także przeprowadzanie sondaży, lub udostępnianie informacji dla klienta. Zespół rozważa także opracowanie mniejszej wersji urządzenia do wykorzystania w sklepach lub centrach handlowych. Zastosowanie do operacji mózguZespół naukowców współpracuje także z neurochirurgami i producentami instrumentacji medycznej do zastosowania gestykulacji na sali operacyjnej. Neurochirurdzy wykorzystują olbrzymią ilość informacji w różnych formatach — obrazy, oznaki życia, odczytywanie danych z wielkiej liczby sprzętów medycznych. „Obecnie chirurg musi odłożyć trzymany instrument, zmienić obraz uzyskiwanych danych, a następnie prowadzić dalej operację, natomiast my opracowaliśmy system, który umożliwi wszelkie zmiany w odpowiedzi na określone gesty. To już nie jest projekt badawczy, to zostanie już niedługo wprowadzone w życie.” Jest to zapowiedź nowej nastającej technologii. Najszersze zastosowanie czujniki TOF znajdują w przemyśle mleczarskim. Wykorzystane zostały do podłączania automatycznych dojarek do wymion krowich. Potencjał zastosowania czujników TOF jest dosłownie nieograniczony, a obecnie, dzięki opracowaniom w ramach projektu ARTTS, są one małe, tanie, wydajne i zoptymalizowane w zakresie śledzenia obiektów oraz rozpoznawania gestykulacji. Projekt ARTTS finansowany był z konta badań naukowych IST, w ramach Szóstego Programu Ramowego Unii Europejskiej.