Vom Text in die virtuelle Welt: das MUSE-Versprechen
So spannend sie auch sein mögen, die Fakten, wie sie etwa in Geschichtsbüchern präsentiert werden, sind nicht immer leicht zu erfassen, vor allem nicht für junge Leute: sich durch Hunderte von Seiten mit schweren Texten zu lesen, kann, gelinde gesagt, ermüdend sein. Natürlich zeigt der enorme Erfolg von Videospielformaten mit historischen Themen, dass das Interesse da ist. Aber er macht auch deutlich, dass Interaktivität manchmal einen viel besseren Weg darstellt, um Geschichten auf eine ansprechende und unvergessliche Art und Weise zu vermitteln. Bis heute jedoch ist der Weg vom Buch zum Videospiel oft lang und teuer. Aber was wäre, wenn Computer in naher Zukunft einen Text verstehen und automatisch in Charaktere, Situationen, Aktionen und Objekte, abgebildet in einer virtuellen 3D-Welt, verwandeln könnten und so aus passiven Lesern aktive Teilnehmer in einer Geschichte machen würden? Diese spannende Vision verspricht das EU-finanzierte Projekt MUSE (Machine Understanding for interactive StorytElling), das durch die Entwicklung eines innovativen Übersetzungssystems Texte zum Leben erwecken will. In den vergangenen zweieinhalb Jahren hat das Team die Technologie für zwei Szenarien evaluiert: Kindergeschichten und Patienten-Bildungsmaterial. Auf der Website des Projekts wird in einem Video demonstriert, wie ein Patienten-Handbuch in ein Videospiel übersetzt wird, in dem der Leser in einem Krankenhaus herumlaufen, sich mit dem Einweisungsverfahren vertraut machen und ein besseres Verständnis der Behandlungen erlangen kann. Dies ist der erste große Schritt auf dem Weg zur Kommerzialisierung dieser bahnbrechenden Technologie. MUSE könnte enorme Implikationen etwa für die Videospielindustrie haben, die die Vorteile der maschinellen Verarbeitung natürlicher Sprache (natural language processing, NLP) nutzen könnte, um ihre Entwicklungsprozesse zu vereinfachen, oder für Schulen, die damit ihre Lehrprogramme effektiver und wirkungsvoller gestalten könnten. Die Projektkoordinatorin Prof. Dr. Marie-Francine Moens von KU Leuven erklärt die Funktionsweise der Technologie und erzählt von den Plänen, wie das Team das System zur Marktreife bringen will. Wie kamen Sie auf das Konzept von MUSE? Ich spielte schon seit mehreren Jahren mit dem Gedanken, dass Menschen oder Studenten in einer Lernumgebung – beim Zugreifen auf Informationen – von einer lebhafteren Erfahrung profitieren sollten. Dies führte zu der Idee, Text automatisch in Handlungen und Situationen in einer virtuellen Welt umzusetzen. In einer solchen Welt könnte der Benutzer schließlich ein Teil der Geschichte werden. Anstatt etwa einen eher langweiligen historischen Text zu lesen oder zu studieren, könnte der Student einer der Akteure in einer Szene werden, in der Napoleon gerade einen Vertrag unterzeichnet. Eine solche Umgebung würde das Verständnis des Textes und das Erinnern der Inhalte anregen. In MUSE gehen wir nicht ganz so weit, errichten aber das Fundament für eine solche Technik. Wie würde die Umwandlung genau funktionieren? Die Idee dabei ist, Handlungen, Akteure und Objekte, die in einem Text erkannt werden, in Bilder zu übersetzen. Wir haben fortschrittliche NLP-Komponenten für die semantische Verarbeitung der Texte entwickelt. Dies umfasst die Erkennung der semantischen Rollen in Sätze (also: „Wer“ „tut was“ „wann“, „wo“ und „wie“?), der räumlichen Beziehungen zwischen Objekten (also wo sich ein Objekt oder eine Person befindet) und der Chronologie der Ereignisse. Hier folgen wir verbreiteten linguistischen semantischen Annotationen, die in der Vergangenheit bereits gründlich untersucht wurden, und liefern kommentierte Datensätze für das Training unserer Erkennungsalgorithmen. Da die Erkennung oft unsicher ist und in vielen Fällen Hintergrundinformationen notwendig sind, um natürliche Sprachäußerungen (die der Text impliziert) zu verstehen, haben wir einen bayesschen Netzwerkrahmen entwickelt, um vor dem Hintergrund der Fakten aus dem Text selbst und aus Kontextwissen die wahrscheinlichste Interpretation eines Satzes zu finden. Welche Kernmärkte haben Sie mit dieser Technologie im Visier? Wir zielen in erster Linie auf die Spielindustrie und Verlage, die E-Learning-Tools anbieten. Bei der Erstellung von virtuellen Welten verlassen sich diese Branchen vor allem auf handgefertigtes Wissen. Die automatische Übersetzung von natürlichsprachlichen Äußerungen in Befehle in einer grafischen Welt würde hier Entlastung bringen. Welche Vorteile bietet Ihre Technologie im Bereich Kindergeschichten? Das MUSE-Tool kann Kindern beim Lesen lernen helfen. Die visuelle Darstellung könnte dem Leseniveau des Kindes angepasst werden. Das Tool kann Kindern dabei helfen zu lernen, wie man Rückschlüsse beim Lesen macht und letztlich einen Text besser versteht. Darüber hinaus könnte es als Hilfswerkzeug für Textverständnis, Merken und Verknüpfen dienen (beispielsweise beim Studium eines Textes über Wissenschaft oder Biologie). Im Moment prüfen wir die Nutzung von Visualisierungen mit Kindern. Das Projekt wird in Kürze zu Ende gehen. Sind Sie mit den bisherigen Ergebnissen zufrieden? Insgesamt bin ich mit den Ergebnissen zufrieden, besonders mit den Ergebnissen unserer Forschung zum Sprachverstehen. Wir haben in diesem anspruchsvollen Bereich große Fortschritte gemacht. Mehrere Veröffentlichungen sind in Vorbereitung. Sprachverstehen ist für sehr viele Anwendungen sehr wichtig, aber es ist noch viel Grundlagenforschung erforderlich, vor allem in Bezug auf die automatische Erfassung von Wahrnehmungshintergrund oder Weltwissen. MUSE lieferte uns wertvolle Erkenntnisse als Fundament für weitere Forschungen. Ein Partner mit Wissen zu Programmiersprachen, die speziell der Steuerung der Abbildungen in der graphischen Umgebung dienen, hätte das MUSE-Konsortium stärken können, weil unser Ziel darin besteht, natürliche Sprache auf Standardausdrücke aus der Welt der Computergrafik zu übertragen, aber eine solches Know-how war schwer zu finden. Wann rechnen Sie mit der Marktreife der MUSE-Technologie? Haben Sie bereits Kontakt zu potenziellen Partnern? Die Sprachtechnologien kommen bei einem belgischen Spin-Off namens SmartSpoken zum Einsatz, das derzeit aufgebaut wird. Es gibt bereits Gespräche mit dem belgischen Spielunternehmen Fishing Cactus. Haben Sie Folgepläne für die Zeit nach dem Projekt? Ja, ein sehr interessantes neues Forschungsfeld im Bereich des Sprachverstehens befasst sich mit dem Lernen über multimodale Darstellung (auf Basis von neuronaler Netzwerktechnologie, Vektor-Modellen, probabilistischen graphischen Modellen, usw.), bei dem Text- und Bilddaten helfen, Hintergrund- und Weltwissen zu erwerben und zu behalten. Diese Technologie bietet Vorteile sowohl für Sprachverstehen als auch für Computervision. Wir haben mehrere Forschungsprojekte zu diesem Thema vorgeschlagen, sowohl auf nationaler als auch auf europäischer Ebene, und hoffen, dass wir Unterstützung erhalten werden. Weitere Informationen sind abrufbar unter: MUSE http://www.muse-project.eu
Länder
Belgien