Zeichnen per Stimme – Hightechmethode Audio Sketching
Digitale Technologien haben enormen Einfluss auf die Kreativität von Menschen und können neben der Kunst auch praktische Anwendungen wie Kommunikation, Spiele und Computerinteraktion bereichern. Waren Stift und Papier früher quasi die einzige Methode des Zeichnens, erweitern Computer die künstlerischen Ausdrucksmöglichkeiten heute um ein Vielfaches. Eine relativ neue Möglichkeit ist in diesem Zusammenhang die Integration des Schallverhaltens von Objekten in Kunstwerke. Dies war auch Gegenstand des innovativen EU-finanzierten Projekts SKAT-VG (Sketching audio technologies using vocalizations and gestures). Zur Erklärung: "Wenn Bob Alice vermitteln möchte, wie das Quietschen einer Tür klingt, kann er dies mit Worten tun oder, etwas direkter, den Klang mit der Stimme nachahmen und dies noch mimisch untermalen", sagt Projektkoordinator Davide Rocchesso von der Università Iuav Di Venezia. "Menschen können Geräusche mit Stimme und Mimik sehr gut nachahmen, vor allem solche, die sich mit Worten schwer beschreiben lassen", erklärt er weiter. SKAT-VG sollte diese natürlichen Fähigkeiten nun im Bereich der Klanggestaltung nutzbar machen. Die Grundidee aus technischer Sicht ist die digitale Darstellung der Töne. "Aus einer Stimmenaufzeichnung erstellt eine Maschine ein parametrisches Klangmodell, das im Nachhinein sowohl durch Stimme und Gestik wie auch durch konventionelle Knöpfe und Schieberegler weiter verändert werden kann, um raffinierte Klangkreationen zu schaffen", erklärt Rocchesso. Hierfür arbeitete das Projektteam mit Experten aus vielen fachübergreifenden Forschungsbereichen wie kognitiver Psychologie, Gestenanalyse, maschinellem Lernen, Audioanwendungen, Sprachausgabe und Interaktionsdesign zusammen. Dann wurde die Art und Weise analysiert, wie Menschen Gesten und Stimmen einsetzen, um Klänge darzustellen. Dabei wurde auf neuere Ansätze im Bereich Klangdesign, maschinelles Lernen und Zeichenprogramme zurückgegriffen. Geräuschdigitalisierung kann in der Tat als neues Medium betrachtet werden, das Künstler bei ihrer innovativen und kreativen Arbeit unterstützt. "Klangkünstler und Designer arbeiten an der Entwicklung komplexer Produkte wie Spiele, Filme oder Autos mit", sagt Rocchesso. "Wenn sie durch die SKAT-VG-Technologien richtig unterstützt werden, kann die Geräuschdigitalisierung der Kreativität einen enormen Schub geben und Ideen für neue Klänge unter die Leute bringen. "Im Rahmen des Projekts entwickelten die Künstler gemeinsam kreative Möglichkeiten zur Nutzung von Geräuschdigitalisierungstechniken. "Mehrere Sounddesigner veränderten auf diese Weise ihre Arbeitsabläufe, um Vocal Sketching mit einzubeziehen", sagt Rocchesso. "Sie haben entdeckt, dass Stimmen und Gesten hervorragende Mittel für die gemeinsame Arbeit an Sound-Design-Projekten sein können. "Und indem der Designer Stimme und Hände direkt für die Darstellung der akustischen Aspekte seines Objekts einsetzt, können die funktionalen und ästhetischen Möglichkeiten von Klängen tatsächlich besser ausgeschöpft werden. "Der Klang ist natürlich ein ästhetisches Charaktermerkmal eines Produkts und oft ein Schlüsselelement, um das Produkt nutzbar und sicher zu machen" betont Rocchesso. Eine interessante Anwendungsmöglichkeit dieser Technologie sind Elektroautos, da sie ein großes Repertoire an Geräuschen benötigen, um die Sicherheit von Fahrern und Fußgängern zu gewährleisten. Ebenso faszinierend sind interaktive Welten: in Computerspielen etwa könnten Töne mit SKAT-VG direkt an bestimmte Aktionen gekoppelt werden. Einfach ausgedrückt, "digitale Abbildungen, ob von Geräuschen oder allen anderen Aspekten eines Produkts, sind ein Mittel, um kreative Ideen entstehen zu lassen und zu vermitteln", sagt Rocchesso. Das Projekt lieferte neue Erkenntnisse, wie Klänge – und Stimmimitationen im Besonderen - erzeugt und wahrgenommen werden, und auch zur Rolle von Gesten als Ergänzung sprachlicher Kommunikation in einer Vielzahl von Anwendungen. Mit Hilfe dieser neuen innovativen Technologie könnte eine sicherere, reichere, an- und aufregendere Welt entstehen.
Schlüsselbegriffe
Zeichnen per Stimme, Audio Sketching, Computerspiel, Stimmendigitalisierung, Vocal Sketching, Klangkünstler, interaktive Umgebung
