Interaktion zwischen Hand und Objekt erreicht dank VirtualGrasp neue Höhen
Eine der wesentlichen Herausforderungen, mit denen die Anwendungsentwicklung im Bereich virtuelle Realität konfrontiert ist, ist die Interaktion zwischen Hand und Objekt. VR-Headsets leisten sicherlich gute Arbeit, um uns in realistische virtuelle Welten eintauchen zu lassen. Sie sind sogar für die Berufsausbildung, insbesondere in Zeiten dieser beispiellosen Pandemie, unabdingbar geworden. Doch in beiden Fällen – so wie in weiteren VR-Anwendungsbereichen – ist die Interaktion zwischen Hand und Objekt weit davon entfernt, sich so natürlich wie in der realen Welt anzufühlen. Jakob Way, CEO des VR- und Robotertechnik-Start-ups Gleechi, fasst den aktuellen Stand der Dinge zusammen: „Teilnehmende von VR-Trainings verwenden hauptsächlich Handsteuerungsgeräte. Sie müssen in der Lage sein, die natürliche Handinteraktion zu erleben, um neue Fähigkeiten zu entwickeln und das Selbstvertrauen zu haben, diese in der realen Welt anzuwenden. Auch wenn VR-Spielende bereits mit Objekten interagieren können, hat sich die manuelle Erstellung und Animation der Handinteraktion aufgrund der Dauer, die für die manuelle Animation vieler verschiedener Greifarten für alle verschiedenen Objekte erforderlich ist, bislang als unmöglich erwiesen.“ Letztgenannte ist von entscheidender Bedeutung, um die derzeitigen Einschränkungen bei der Interaktion zwischen Hand und Objekt zu verstehen. Derzeit muss bei der Entwicklung für jede mögliche Interaktion definiert werden, wie ein Objekt gegriffen werden kann, bevor diese Greifarten manuell animiert werden. Dies setzt der Interaktion grundsätzliche Grenzen: Objekte können nur in vorgegebener Weise verwendet werden und das Erreichen dieser durchwachsenen Ergebnisse ist sehr zeitaufwändig.
Algorithmusbasierte Interaktionserstellung
An dieser Stelle kommt VirtualGrasp (Speeding up the virtual reality revolution with realistic & real-time animation of hand-to-object interaction) zum Tragen. Durch die Kombination von maschinellem Lernen und prädiktiven Algorithmen bietet Gleechi VR-Benutzenden komplette Interaktionsfreiheit. VirtualGrasp ist insbesondere auf drei charakteristische Anwendungsgebiete ausgelegt: Training, Spiele und Schlaganfallrehabilitation. Für den Trainingsbereich entwickelte das Team ein fundiertes Verständnis davon, wie jedes Objekt gehalten und verwendet wird. Dies ist von elementarer Bedeutung für eine wirklich immersive Lernerfahrung. Für VR-Spiele bewerkstelligt VirtualGrasp die automatisierte Erstellung von Interaktionen zwischen Hand und 3D-Objekt. Für Schlaganfallpatientinnen und -patienten kann das System die Greifarten vorhersagen und diese in VR-Interaktionen umwandeln. Way erklärt dazu: „Die Patientinnen und Patienten waren in der Lage, Rehabilitationsübungen in einer VR-Umgebung durchzuführen, in der sie motivierende Aufgaben wie Spiele spielen oder Blumen pflanzen durchführten. Aufgrund der eingeschränkten Beweglichkeit in den Händen und Fingern der Patientinnen und Patienten macht ihnen oftmals die erforderliche Präzision beim Greifen zu schaffen. Durch die Vorhersage dieser Greifarten hoffen wir, den Rehabilitationsprozess mithilfe von visueller Verstärkung zu beschleunigen.“ Die Studienergebnisse in diesen drei Gebieten waren überaus ermutigend, obgleich die COVID-19-Ausgangsbeschränkungen in einer verstärkten Fokussierung auf die kommerzielle Anwendung im Trainingsbereich resultierten. VirtualGrasp verbesserte nachweislich die Wirkung von VR-Trainings und die Erstellung von VR-Trainingsanwendungen wurde erheblich vereinfacht. Nachdem ein Anstieg um 50 % beim Wissenserhalt von VR-Trainingsbeteiligten beobachtet worden war, brachte Gleechi die Entwicklung von Selbsterstellungsinstrumenten voran, um Industrieunternehmen die Erstellung eigener VR-Trainings zu ermöglichen. „SAAB Aeronautics testet VirtualGrasp aktiv für ein erweitertes VR-Training, bei dem Teilnehmende während des Montageverfahrens die Verwendung spezieller Werkzeuge und Ausrüstung erlernen“, sagt Way. „Die natürliche Interaktion ermöglicht SAAB Aeronautics die Trainingsbereitstellung aus der Ferne, während gleichzeitig herausragend hohe Qualitätsstandards gewahrt bleiben.“ Gleichermaßen hat YrkesAkademin – ein großer Ausbildungsdienstleister für den Arbeitsmarkt – VirtualGrasp für die schnelle Vermittlung entscheidender Fähigkeiten mit Schwerpunkt sterile Umgebungen an Arbeitskräfte im Gesundheitswesen verwendet. „Das Training setzt das sorgfältige Hantieren mit komplexen medizinischen Instrumenten und Ausrüstung voraus, während die nachfolgenden Verfahren essenziell sind, um eine sterile Umgebung zu erhalten. Durch die Möglichkeit zur natürlichen Interaktion können Teilnehmende praktische Erfahrungen in Bereichen entwickeln, in denen der Zugang zu realen sterilen Umgebungen für Trainingszwecke problematisch ist“, bemerkt Way. Gleechi konnte sich eine Finanzierung in Höhe von 2,4 Millionen Euro sichern, um mit der Kommerzialisierung seiner Software für VR-Trainings zu beginnen, und die Forschungs- und Entwicklungsarbeit geht dank eines zusätzlichen Förderprojekts weiter, das die Erprobung selbiger Interaktionstechnologie auf dem Gebiet der Robotertechnik zum Ziel hat.
Schlüsselbegriffe
VirtualGrasp, virtuelle Realität, VR, Interaktion zwischen Hand und Objekt, Algorithmen, Training, Gleechi