L’interazione mano-oggetto raggiunge nuove vette grazie a VirtualGrasp
L’interazione tra mano e oggetto è una delle principali sfide per gli sviluppatori di applicazioni in realtà virtuale (VR, Virtual Reality). È vero che i visori di VR sono un ottimo modo per immergersi in mondi virtuali realistici e che sono persino diventati uno strumento imprescindibile per la formazione professionale, specialmente in questa pandemia senza precedenti, ma in entrambi i casi, proprio come in altri campi di applicazione della realtà virtuale, l’interazione tra mano e oggetto è ben lontana dall’essere naturale come nel mondo reale. Jakob Way, amministratore delegato di Gleechi, start-up di VR e robotica, riassume così la situazione attuale: «I partecipanti a percorsi di formazione in realtà virtuale tengono in mano dei controller. Deve esserci un’interazione naturale tra le mani e gli oggetti per sviluppare nuove abilità e acquisire la sicurezza necessaria per applicarle nel mondo reale. Allo stesso tempo, sebbene i giocatori in modalità VR possano già interagire con gli oggetti, animare e creare manualmente interazioni con le mani si è finora dimostrato impossibile, a causa del tempo necessario per animare manualmente il modo in cui i vari oggetti vengono afferrati». Quest’ultimo elemento è fondamentale per capire i limiti attuali dell’interazione tra mano e oggetto. Attualmente, per ciascuna possibile interazione gli sviluppatori devono definire in che modo un oggetto può essere afferrato, prima di animare manualmente il gesto corrispondente. Questo fattore, per sua natura, limita l’interazione: gli oggetti possono essere utilizzati solo in modalità predeterminate, e raggiungere questi risultati misti richiede molto tempo.
Creatore di interazioni basato su algoritmi
Proprio in questo ambito VirtualGrasp (Speeding up the virtual reality revolution with realistic & real-time animation of hand-to-object interaction) si trova nel suo elemento. Unendo l’apprendimento automatico ad algoritmi predittivi, Gleechi offre agli utenti di realtà virtuale una completa libertà di interazione. VirtualGrasp è particolarmente adatto all’applicazione in tre ambiti distinti: la formazione, i videogiochi e la riabilitazione dopo un ictus. Nell’ambito della formazione, il team ha sviluppato una profonda comprensione del modo in cui ogni oggetto viene afferrato e utilizzato, il che risulta fondamentale per fornire un’esperienza di apprendimento realmente immersiva. Per quanto riguarda i giochi in VR, invece, VirtualGrasp è in grado di automatizzare la creazione di interazioni tra la mano e oggetti tridimensionali, mentre per i pazienti colpiti da ictus il sistema può prevedere come gli oggetti verranno afferrati, convertendo i gesti dei pazienti in interazioni di realtà virtuale. Way spiega: «I pazienti hanno potuto prendere parte a esercizi riabilitativi in un ambiente virtuale, dove svolgevano attività come giocare o piantare fiori, che aumentavano la loro motivazione. Tuttavia, spesso faticano ad afferrare gli oggetti con la precisione necessaria a causa della limitata mobilità delle mani e delle dita. Prevedendo questi movimenti, speriamo di accelerare il processo di riabilitazione attraverso l’amplificazione visiva». I risultati delle sperimentazioni in questi tre ambiti sono molto incoraggianti, ma l’isolamento dovuto alla COVID-19 ha portato a concentrarsi maggiormente sulle applicazioni commerciali nell’ambito della formazione. È stato provato che VirtualGrasp migliora gli esiti della formazione in VR e semplifica notevolmente la creazione di applicazioni per l’apprendimento in realtà virtuale. Dopo aver osservato che i partecipanti ai corsi in realtà virtuale miglioravano del 50 % la memorizzazione dei concetti, Gleechi ha accelerato lo sviluppo di strumenti self-service per permettere alle aziende di creare i propri programmi di formazione in VR. «SAAB Aeronautics sta collaudando attivamente VirtualGrasp per corsi di formazione avanzati in VR, in cui i partecipanti imparano a usare strumenti e apparecchiature specifici nel processo di assemblaggio», afferma Way. «La naturalezza delle interazioni permette a SAAB Aeronautics di offrire formazione da remoto, garantendo contemporaneamente standard di qualità eccezionalmente elevati». Similmente, YrkesAkademin, un importante fornitore di corsi di formazione per il mercato del lavoro, utilizza VirtualGrasp per lo sviluppo di competenze fondamentali per gli operatori sanitari, ponendo l’accento sulle attività in ambienti sterili. «Questa formazione richiede un’attenta manipolazione di strumenti e apparecchiature mediche complessi, e seguire le procedure è essenziale al fine di mantenere un ambiente sterile. Grazie alla possibilità di interagire in maniera naturale, i partecipanti possono sviluppare un’esperienza pratica nei casi in cui l’accesso ad ambienti sterili reali a scopo di formazione risulti difficile», osserva Way. Gleechi ha raccolto 2,4 milioni di euro in finanziamenti per iniziare a commercializzare il suo software per la formazione in modalità VR. Inoltre, il lavoro di ricerca e sviluppo continuerà grazie a un progetto di finanziamento che intende collaudare questa tecnologia di interazione nell’ambito della robotica.
Parole chiave
VirtualGrasp, realtà virtuale, VR, interazione tra mano e oggetto, algoritmi, formazione, Gleechi