Mensch und Maschine interagieren, um bessere Musik zu machen
Digitale Technologien dringen in nahezu jeden Aspekt unseres Lebens ein und werden immer mehr mit der Gesellschaft verflochten. Mit dieser Bewegung entsteht der Wunsch, Menschen die Interaktion mit Computern auf natürlichere Weise zu ermöglichen. Die Forscher hoffen, Mensch-Computer-Interaktion in neue Elemente des Lebens, wie Kultur, Emotion und Erfahrung, integrieren zu können. Körperbewegung ist eine Möglichkeit, dies zu tun. Im Rahmen des Projekts MIM wurde eine neue Art eines digitalen Musikinstruments auf der Grundlage von sensomotorischen Lernmechanismen – eng mit den Körperbewegungen verknüpft – geschaffen. Diese Forschung wurde im Rahmen des Marie-Skłodowska-Curie-Programms gefördert. „Musikalische Darbietungen werden oft als eine der ultimativen Errungenschaften menschlicher Fähigkeiten gesehen“, sagt Baptiste Caramiaux, Forscher am Nationalen Zentrum für wissenschaftliche Forschung Centre national de la recherche scientifique (CNRS), an der Universität Paris-Saclay und leitender Forscher im Projekt MIM. „Überraschenderweise ist noch nicht klar, wie sich Üben konkret auf das Erlernen musikalischer Fähigkeiten auswirkt. Wir wissen, dass bestimmte Bewegungen und Übungen wiederholt werden müssen. Aber ist Wiederholung die beste Strategie?“ In diesem Zusammenhang wurde im Rahmen des Projekts MIM versucht, zu verstehen, ob es besser ist, Bewegungssequenzen zu wiederholen, um sie zu erlernen oder die Bewegungen beim Üben zu variieren. Letztendlich geht es darum, interaktive Technologie zu erstellen, die Musiker beim Üben anleiten kann. Einblicke in die menschliche Kreativität Mehrere Technologien waren an dem Projekt beteiligt. Die erste stand im Zusammenhang mit Geräten, die verwendet werden, um Bewegungen von Menschen während musikalischer Darbietungen zu erfassen, wobei der Schwerpunkt auf das Klavier gelegt wurde. Es wurde ein modernes Bewegungserfassungssystem eingerichtet, wobei reflektierende Markierungen an den Fingern des Musikers angebracht wurden. Diese Markierungen wurden von einem Set aus zehn rund um den Musiker installierten Infrarotkameras nachverfolgt. So war es den Forschern möglich, Fingerpositionen mit hoher räumlicher und zeitlicher Auflösung zu extrahieren. Ein zweiter Aspekt war die Bewegungsanalyse, wofür ein Set aus Algorithmen verwendet wurde, um die Fingerbewegungen zu analysieren und Einblicke zu gewinnen. Das MIM-Team entwickelte zwei Arten von Werkzeugen: eine Art Werkzeuge, die analysieren, wie sich die Bewegung im Laufe der Zeit verbessert, und andere, die in der Lage sind, die Struktur der Bewegungsvariabilität zu erlernen. Die Ergebnisse zeigten, dass Bewegungsvariabilität ein konstruktiver Mechanismus beim Erwerben musikalischer Fähigkeiten sein kann. Variierende Bewegungen kommt beim Erlernen neuer musikalischer Fähigkeiten dem Lernen zugute und stellt eine Möglichkeit dar, die zu erstellende Musik mit einer individuellen „Signatur“ zu versehen. „Die Auswirkung ist wichtig. Das Verständnis der Struktur der Bewegungsvariabilität kann zur Entwicklung von bewegungsbasierten interaktiven Systemen beitragen, die in der Lage sind, das Erlernen der Bewegungen von Menschen besser zu verstehen und zu fördern“, sagt Herr Caramiaux. Den Einfallsreichtum verbessern In erster Linie sollte mit dem Projekt die musikalische Darbietung im Allgemeinen verbessert werden, indem Möglichkeiten vorgeschlagen werden, musikalische Fähigkeiten effizienter zu erlernen. „Das mag sehr ehrgeizig klingen und das ist es auch“, sagt Herr Caramiaux. Die Anwendungen können über die Musik hinaus gehen. „Ich arbeite mit Forschern am IRCAM und an der Universität Sorbonne in Paris an Musiksystemen für die motorische Rehabilitation zusammen“, sagt Herr Caramiaux. Im nächsten Schritt wird das Design interaktiver Systeme vorangebracht, die Musiker beim Üben anleiten können. Solche Systeme, die Methoden des maschinellen Lernens beinhalten, könnten lernen, wie Musiker lernen und sich dementsprechend anpassen. „Die Ergebnisse, die wir erzielt haben, sind sehr vielversprechend. Sie prägten meine derzeitige und zukünftige Forschungsagenda am CNRS: maschinelles Lernen zu verwenden, um das Lernen und die Kreativität der Menschen zu unterstützen und infrage zu stellen“, ergänzt Herr Caramiaux.
Schlüsselbegriffe
MIM, maschinelles Lernen, Kreativität, Musik, Üben, Algorithmen, Einblicke
