Laut- und Gebärdensprache miteinander verbinden
Seit seinem Start im Jahr 2021 arbeitet das EU-finanzierte Projekt SignON an der Entwicklung einer mobilen App, die automatisch zwischen Gebärden- und Lautsprache übersetzt. Ziel ist es, den Informationsaustausch zwischen Gehörlosen, Schwerhörigen und Hörenden in ganz Europa zu erleichtern, wobei die irische, britische, niederländische, flämische und spanische Gebärdensprache sowie die englische, irische, niederländische und spanische Lautsprache genutzt werden. Der Schwerpunkt von SignON liegt auf der Vereinfachung der Kommunikation im Gastronomiebereich. Das Vorhaben wir in einem Video veranschaulicht, das in der Gebärdensprache International Sign vorgestellt wird und auf der SignON-Website abrufbar ist: „Eine Gehörlose aus Irland reist zum Arbeiten nach Spanien. Sie muss in ihr Hotel einchecken, hat es aber eilig, zu einer Konferenz zu kommen. Die diensthabende beim Hotel angestellte Person spricht nur Spanisch. Die gehörlose Hotelbesucherin kann kein Spanisch und es fehlt ihr die Zeit, auf Englisch hin und her zu schreiben.“ Wie wird die derzeit in Entwicklung befindliche App zur Lösung des Problems beitragen? Im Video heißt es dazu: „Die gehörlose Gebärdensprache Beherrschende kann in Irischer Gebärdensprache gebärden, und die App gibt den Text in Spanisch aus. Dann kann die beim Hotel angestellte Person auf Spanisch antworten, und die Anwendung bietet über einen Avatar, der Gebärdensprache beherrscht, eine Übersetzung in die irische Gebärdensprache.“ Zu den von der App verwendeten KI-Technologien gehören die Erkennung von Gebärdensprache und Sprache sowie die automatische Übersetzung und Synthese virtueller 3D-Figuren. Die größte Herausforderung besteht dabei in der enormen Menge an qualitativ hochwertigen Daten, die benötigt wird, um akzeptable Übersetzungen zwischen den verschiedenen Sprachen zu erstellen. Eine weitere Herausforderung ist die Art der Daten zur Gebärdensprache, die verwendet werden, um KI-Modelle zu trainieren. Wurden die Daten beispielsweise von nicht muttersprachlichen Dolmetschenden erhoben, die eine Gebärdensprache als Fremdsprache gelernt haben, wie es bei Nachrichtensendungen von hörenden Dolmetschenden der Fall ist? „Diese Menschen weisen oft eine Verzerrung im Gebrauch der Gebärdensprache auf, was dazu führt, dass die gehörlosen Nutzenden der App ihre eigene (muttersprachliche) Gebärdensprache an die der nicht-muttersprachlichen Nutzenden anpassen müssen, um von der App verstanden zu werden. Leider sind die Daten zur Gebärdensprache in akzeptabler Qualität sehr spärlich und verstreut.“
Ko-Kreation als Schlüssel
SignON stellt sich diesen Problemen durch sein starkes Engagement für das Prinzip der Ko-Kreation. Während des gesamten Projekts haben die Forschenden mit europäischen Gehörlosen- und Schwerhörigengemeinschaften zusammengearbeitet, um Anwendungsfälle zu definieren und den SignON-Dienst und die App mitzugestalten und mitzuentwickeln. Am 22. September 2023, einen Tag vor der jährlichen Feier des Internationalen Tages der Gebärdensprache, veranstaltet SignON einen Workshop mit dem Titel „Navigating the Future of Sign Language Machine Translation“: Insights and Challenges from the SignON Project“ (Die Zukunft der Gebärdensprache mit maschineller Übersetzung bewältigen: Einblicke und Herausforderungen des Projekts SignON). Der Workshop umfasst Präsentationen über die Ergebnisse von SignON und die Herausforderungen, die sich im Zuge des Projekts ergeben haben. Das Forschungsteam wird zudem ein neues Weißbuch mit politischen Empfehlungen vorlegen. Der Workshop findet in Brügge, Belgien, statt. SignON (SignON – Sign Language Translation Mobile Application and Open Communications Framework) endet im Dezember 2023. Weitere Informationen: SignON-Projektwebsite
Schlüsselbegriffe
SignON, Sprache, Gebärdensprache, Gehörlos, Schwerhörig, Hörend, Lautsprache, Kommunikation