Człowiek i maszyna współdziałają ze sobą, aby tworzyć lepszą muzykę
Technologie cyfrowe wkraczają w niemal każdy aspekt naszego życia i stają się coraz bardziej integralną częścią społeczeństwa. Wraz z tymi przemianami przychodzi chęć stworzenia bardziej naturalnych sposobów interakcji człowieka z komputerami. Naukowcy mają nadzieję na włączenie interakcji człowiek–komputer do nowych obszarów życia, w tym kultury, emocji i doświadczenia. Jednym ze sposobów, które pozwolą na osiągnięcie tego celu, jest ruch ciała. W ramach projektu MIM opracowano nowy typ cyfrowego instrumentu muzycznego opartego na sensoryczno-motorycznych mechanizmach uczenia się – ściśle związanych z ruchem ciała. Badania w ramach projektu przeprowadzono dzięki wsparciu z działania „Maria Skłodowska-Curie”. „Wykonywanie muzyki jest często postrzegane jako jedno z największych osiągnięć ludzkich umiejętności”, mówi Baptiste Caramiaux, naukowiec z Narodowego Centrum Badań Naukowych (CNRS), Uniwersytetu Paris-Saclay i główny badacz w projekcie MIM. „Co ciekawe, wciąż nie rozumiemy, w jaki dokładnie sposób ćwiczenie wpływa na nabywanie umiejętności muzycznych. Wiemy, że niektóre ruchy i ćwiczenia muszą być powtarzane. Ale czy powtarzanie jest najlepszą strategią?”. W tym kontekście projekt MIM stanowił próbę dokładniejszego zrozumienia, czy w celu nabycia umiejętności lepiej jest powtarzać sekwencje ruchów, czy też zmieniać ruchy w trakcie ćwiczenia. Pomysł polega w gruncie rzeczy na opracowaniu interaktywnej technologii, która udzielałaby muzykom wskazówek podczas ćwiczeń. Bliższe spojrzenie na ludzką kreatywność Projekt obejmował kilka elementów technologicznych. Pierwszy związany był z urządzeniami służącymi do rejestrowania ruchu podczas wykonywania muzyki na fortepianie. Badacze stworzyli nowoczesny system rejestrowania ruchu, umieszczając znaczniki odblaskowe na palcach wykonawcy, które były następnie śledzone przez zestaw 10 rozmieszczonych wokół kamer na podczerwień. Pozwoliło to naukowcom na określenie pozycji palców z wysoką dokładnością czasową i przestrzenną. Drugim aspektem była analiza ruchu – zestaw algorytmów umożliwił analizowanie ruchów palców i wyciąganie wniosków na podstawie zgromadzonych w ten sposób danych. Zespół projektu MIM opracował dwa rodzaje narzędzi: takie, które analizują, w jaki sposób ruch poprawia się w czasie, oraz takie, które są w stanie poznać strukturę zmienności ruchu. Wyniki pokazały, że zmienność ruchów może być mechanizmem sprzyjającym nabywaniu umiejętności muzycznych. Wykonywanie zróżnicowanych ruchów podczas zdobywania nowych umiejętności muzycznych mogą być zarówno korzystne dla samego procesu uczenia się, jak i stanowić sposób, dzięki któremu wykonawca może nadać utworowi swój autorski charakter. „Znaczenie zmienności jest istotne. Zrozumienie struktury zmienności ruchu może pomóc w projektowaniu interaktywnych systemów, które będą w stanie lepiej analizować i wspierać uczenie się ruchów”, mówi Caramiaux. Wsparcie dla ludzkich zdolności Głównym celem projektu było zwiększenie ogólnego poziomu wykonawstwa muzycznego dzięki zaproponowaniu sposobów na skuteczniejsze przyswajanie umiejętności muzycznych. „Cel ten może wydawać się bardzo ambitny i taki jest”, mówi Caramiaux. Zastosowania tych prac mogą również wykraczać poza muzykę. „Współpracuję z naukowcami z IRCAM i Sorbony w Paryżu w zakresie systemów muzycznych stosowanych w rehabilitacji ruchowej”, mówi Caramiaux. Kolejnym krokiem jest dokonanie postępów w projektowaniu interaktywnych systemów udzielających muzykom wskazówek podczas ćwiczeń. Takie systemy, wykorzystujące metody uczenia maszynowego, mogłyby rozumieć, w jaki sposób uczą się muzycy, i odpowiednio dostosowywać swoje działanie. „Uzyskane przez nas wyniki są bardzo obiecujące i ukształtowały mój obecny i przyszły program badawczy w CNRS: wykorzystanie uczenia maszynowego do wspierania nauki i kreatywności ludzkiej”, dodaje Caramiaux.
Słowa kluczowe
MIM, uczenie maszynowe, kreatywność, muzyka, ćwiczenie, algorytmy, wnioski
