Photorealistische Avatare für immersivere Erfahrungen der virtuellen Realität
Der Begriff „immersiv“ kommt einem beim Thema virtuelle Realität (VR) meist als Erstes in den Sinn. Aber eine zweite Assoziation folgt auf dem Fuße: das Wort „sozial“. Wie der aktuelle Boom sozialer VR-Apps beweist, geht die Immersion Hand in Hand mit der Möglichkeit, dass die Nutzenden so miteinander interagieren können, wie sie das in der echten Welt tun würden. Das EU-finanzierte Projekt VRTogether (An end-to-end system for the production and delivery of photorealistic social immersive virtual reality experiences) befasst sich mit dieser äußerst bedeutenden Schnittstelle zwischen der immersiven und sozialen virtuellen Realität. Das Projekt verspricht, bahnbrechende, erschwingliche VR-Erfahrungen bereitzustellen, die auf „sozialen photorealistischen immersiven Inhalten“ beruhen. Langer Rede kurzer Sinn: VRTogether möchte erreichen, dass VR-Nutzende die Avatare hinter sich lassen können, mit denen sie sich bislang abfinden mussten, und stattdessen in VR-Erfahrungen genauso aussehen wie in der echten Welt. „Wir haben uns bei unserer Arbeit darauf konzentriert, die nötigen Instrumente zu erschaffen, um mehrere Anwenderinnen und Anwender gleichzeitig in Echtzeit als volumetrische Videoinhalte zu erfassen und sie in virtuelle Umgebungen zu verfrachten. Wir verfügen nun über eine leichtgewichtige ganzheitliche Plattform für holografische Konferenzen, die technologische Grenzen sprengt und Menschen – oder eher digitale Abbilder von Menschen – in Umgebungen der virtuellen Realität oder Extended Reality (XR) versetzen kann“, fasst Sergi Fernandez, Direktor für Medien und Internet bei i2CAT und Koordinator von VRTogether zusammen. Auf dem Weg zu photorealistischen Avataren hat das Projekt nichts unversucht gelassen. „Eine Plattform besteht per Definition aus mehreren Komponenten, die sowohl einzeln genutzt werden als auch bestimmten Teilen der Kette Mehrwert bieten können. Wir haben Instrumente zur Erfassung und zur Wiedergabe von volumetrischen Videos geschaffen, um die Kommunikation zwischen mehreren Nutzenden zu ermöglichen. Diese Komponenten können auch anderweitig verwendet werden, zum Beispiel um Inhalte der nächsten Generation per reinem volumetrischem Video wiederzugeben oder Figuren detailgetreu einzufangen, um sie später in der Nachbearbeitung als visuelle Effekte einzusetzen“, so Fernandez. Neben der 3D-Erfassung und virtuellen Rekonstruktion von Menschen als Punktewolke entwickelte das Konsortium auch folgende Innovationen: Lösungen, um eine geringe Latenz sicherzustellen, ein neues Kompressionsformat, um Bandbreite einzusparen, eine Medieninszenierung, um allen Nutzenden einheitliche und synchrone Erfahrung bereitzustellen, die Fähigkeit, Inhalte in Echtzeit zu übertragen sowie Protokolle, um die Interaktionen mit Objekten realistischer zu gestalten. Und das i-Tüpfelchen: Die Technologie ist für die Verwendung im Heimbereich mit geringen Zugangsschranken geeignet. Sie kann mit den Technologien verglichen werden, die in Hollywood für Computeranimationen verwendet werden, jedoch mit einem Bruchteil der Kosten.
Anwendungen vom Gaming bis hin zum Dating
Die Anzahl möglicher Anwendungsbereiche ist nahezu unbegrenzt. Fernandez formuliert es so: „VRTogether ist der Zuchtkeim der nächsten Generation von Kommunikations-und Kooperationsinstrumenten, bei denen die Grenzen zwischen der echten und virtuellen Welt verschwimmen. Unsere Technologie kann genutzt werden, um Inhalte anzuschauen, sowie in den Bereichen Gaming, Sport, Bildung, Kultur, Industrie oder in allen Situationen, in denen für die menschliche Zusammenarbeit hybride oder virtuelle Umgebungen vonnöten sind, deren Qualität jene aktueller statischer Videoanrufe übertrifft.“ Damit diese Erfahrungen letztendlich Wirklichkeit werden können, hat das Projektteam drei inhaltsorientierte Pilotprojekte entwickelt, um die Technologie vorzustellen und potenzielle Kundschaft anzulocken. In diesen Pilotvorführungen können die Nutzenden an einer Mordermittlung teilnehmen. „Es handelt sich um eine dreiteilige Geschichte mit einem Kapitel pro Pilotvorführung“, erklärt Fernandez. „Die Teilnehmenden müssen herausfinden, wer das Verbrechen verübt hat, und in Sechsergruppen zusammenarbeiten, um auf dem Polizeirevier Verdächtige zu vernehmen, an einer Fernsehshow teilzunehmen und einen Tatort zu untersuchen.“ Die Zusammenarbeit mit Partnereinrichtungen, die Interesse daran haben, die Technologie von VRTogether in spezifischen Anwendungsfällen zu nutzen, hat bereits begonnen und das Team geht davon aus, dass eine erste Produktkommerzialisierung schon 2022 zu erwarten ist. In der Zwischenzeit haben Projektbeteiligte die Arbeit an Nachfolgeprojekten aufgenommen. Beispielsweise entwickelt i2CAT zwei virtuelle Fluchträume sowie eine VR-Erfahrung, die man zusammen mit anderen verfolgen kann, für eine Sendeanstalt. Insgesamt bringt uns VRTogether lebensähnlichen Erfahrungen in der virtuellen Realität näher, bei der die Grenzen des Realismus erweitert werden.
Schlüsselbegriffe
VRTogether, Avatar, photorealistisch, virtuelle Realität, VR, soziale VR