Nowy poziom interakcji ręka–obiekt dzięki VirtualGrasp
Jednym z głównych wyzwań stojących przed twórcami aplikacji rzeczywistości wirtualnej (VR) jest oddanie interakcji ręka–obiekt. Okulary VR świetnie radzą sobie z wprowadzaniem nas w realistycznie wyglądające światy wirtualne – obecnie trudno znaleźć kogoś, kto to zakwestionuje. Stały się nawet obowiązkowym elementem szkoleń zawodowych, zwłaszcza w czasie bezprecedensowej pandemii, której doświadczyliśmy, ale w obu przypadkach – podobnie jak w innych zastosowaniach rzeczywistości wirtualnej – interakcja ręka–obiekt nadal nie przebiega tak naturalnie, jak w realnym świecie. Jakob Way, dyrektor generalny start-upu Gleechi zajmującego się rzeczywistością wirtualną i robotyką, podsumowuje obecny stan rzeczy stwierdzając, że: „Uczestnicy szkoleń wirtualnych używają przede wszystkim kontrolerów trzymanych w dłoniach. Aby mogli rozwijać nowe umiejętności i zyskać pewność, że zdołają zastosować je w prawdziwym świecie, musimy zapewnić im interakcje ręczne, które zapewnią jak najbardziej naturalne doznania. Jednocześnie choć gracze korzystający z systemów rzeczywistości wirtualnej mogą już wchodzić w interakcje z obiektami znajdującymi się w środowiskach, po których się poruszają, ręczne przygotowywanie animacji rąk jest nadal niemożliwe ze względu na czas potrzebny do rozrysowania różnych chwytów dla wszystkich możliwych obiektów”. To właśnie jest kluczem do zrozumienia obecnych ograniczeń związanych z interakcjami ręka–obiekt. Każda możliwa interakcja wymaga od programistów zdefiniowania możliwych sposobów chwytania obiektu, zanim w ogóle przystąpią do ręcznego animowania tych chwytów. To wyraźnie ogranicza możliwości oddziaływania ze środowiskiem. Obiektów można używać tylko w z góry określony sposób, a uzyskanie nawet tych mieszanych wyników jest bardzo czasochłonne.
Konstruktor interakcji oparty na algorytmach
W tym miejscu na scenę wkracza projekt VirtualGrasp (Speeding up the virtual reality revolution with realistic & real-time animation of hand-to-object interaction). Połączenie technik uczenia maszynowego i algorytmów predykcyjnych umożliwiło firmie Gleechi zapewnienie użytkownikom wirtualnych światów pełnej swobody w zakresie interakcji z występującymi w nich obiektami. Technologia VirtualGrasp znajduje szczególne zastosowanie w trzech obszarach: szkoleniach, grach i rehabilitacji po udarach. Aby przygotować odpowiednie narzędzia szkoleniowe, zespół starannie zgłębił temat trzymania i użytkowania każdego przedmiotu, ponieważ tylko wierne oddanie tego typu interakcji ma szansę zapewnić prawdziwie immersyjny proces uczenia. W obszarze gier VR technologia VirtualGrasp pozwoli zautomatyzować tworzenie interakcji między rękami gracza a obiektami trójwymiarowymi. Ostatni obszar zainteresowania – rehabilitacja pacjentów po udarze – wymaga od systemu przewidywania chwytów pacjenta i przekształcania je w interakcje w środowisku wirtualnym. Way wyjaśnia: „Pacjenci mieli już możliwość odbywać ćwiczenia rehabilitacyjne w środowisku rzeczywistości wirtualnej, gdzie wykonywali zadania motywujące, takie jak granie w gry czy sadzenie kwiatów, jednak ze względu na ograniczone ruchy, jakie mogą wykonywać dłońmi i palcami, często mieli trudności z uzyskaniem precyzyjnego chwytu. Mamy nadzieję, że przewidywanie sposobu chwytania pozwoli przyspieszyć proces rehabilitacji poprzez wzmocnienie wzrokowe”. Wyniki dotychczasowych prób w tych trzech obszarach były bardzo zachęcające, ale ograniczenia związane z pandemią COVID-19 spowodowały, że największy nacisk położono na komercyjne zastosowania w dziedzinie szkoleń. Okazało się, że zastosowanie w nich technologii VirtualGrasp zwiększa wpływ szkoleń prowadzonych wirtualnie i znacznie upraszcza tworzenie aplikacji szkoleniowych. Zaobserwowano 50 % wzrost utrwalania wiedzy u uczestników szkoleń wirtualnych, co sprawiło, że firma Gleechi przyspieszyła rozwój narzędzi samoobsługowych, aby umożliwić zakładom przemysłowym tworzenie własnych szkoleń wirtualnych. „SAAB Aeronautics aktywnie testuje VirtualGrasp pod kątem prowadzenia zaawansowanych szkoleń wirtualnych. Ich uczestnicy uczą się obsługi narzędzi specjalistycznych i sprzętu używanych w procesach montażu”, mówi Way. „Interakcja, która zachodzi naturalnie, sprawia, że firma SAAB Aeronautics może prowadzić swoje szkolenia zdalnie, nie rezygnując przy tym z niebywale wysokich standardów jakości”. Podobnie sytuacja przedstawia się w firmie YrkesAkademin, która jest jednym z głównych dostawców szkoleń na rynku pracy. Firma ta wykorzystuje rozwiązanie VirtualGrasp do szybkiego doszkalania pracowników służby zdrowia, koncentrując się na pracy w środowiskach sterylnych. „Szkolenie wymaga ostrożnego posługiwania się sprzętem medycznym i narzędziami o złożonej budowie. W tych przypadkach przestrzeganie odpowiednich procedur jest niezbędne do utrzymania sterylności środowiska. Dzięki możliwości prowadzenia interakcji w sposób naturalny uczestnicy zdobywają praktyczne doświadczenie również tam, gdzie dostęp do szkoleniowych sterylnych środowisk jest problematyczny”, zauważa Way. Firma Gleechi zebrała 2,4 miliona euro na rozpoczęcie komercjalizacji swojego oprogramowania do szkoleń wirtualnych, a prace badawczo-rozwojowe będą prowadzone dalej dzięki uruchomieniu dodatkowego projektu finansowanego z grantu. Jego celem jest przetestowanie tej samej technologii interakcji w dziedzinie robotyki.
Słowa kluczowe
VirtualGrasp, rzeczywistość wirtualna, VR, interakcja ręka–obiekt, algorytmy, szkolenie, Gleechi