Una base de datos multimodal categorizada por estados de ánimo está cambiando los sistemas de música interactiva
Al presentar el proyecto MUSICAL-MOODS, el investigador principal, Fabio Paolizzo, y el supervisor del proyecto, Giovanni Costantini, afirman: «Con el apoyo de las Acciones Marie Skłodowska-Curie, el proyecto pretende proporcionar capacidad para clasificar y reconocer emociones y estados mentales a partir de datos multimedia en sistemas de música inteligente e interactivos». Estos sistemas se pueden usar en diversas aplicaciones como la creación de perfiles de usuarios y bases de datos para las industrias creativa y de los medios, mejorando así el acceso de los ciudadanos y los investigadores al patrimonio musical, a los servicios de audio bajo demanda, a las actividades de formación y educación, a la terapia musical y a la producción musical. El proyecto concibe un futuro en que dichos sistemas pueden crear analogías para resolver labores complejas y la creatividad de la música computacional permite una mejor comprensión de nosotros mismos. El proyecto trabajó a partir de esta idea para desarrollar una base de datos multimodal formada por datos lingüísticos, captación de imágenes en movimiento, vídeos y audios, llevado a cabo con bailarines que se dedican a la danza improvisada, generación de música interactiva y sesiones de entrevistas.
Base de datos MUSICAL-MOODS
«La base de datos MUSICAL-MOODS se creó con doce bailarines profesionales en un entorno de pantallas verdes equipado con un sistema de captación de imágenes en movimiento mediante treinta cámaras Vicon y el sistema de música interactiva VIVO», confirma Paolizzo. A lo que añade: «Centramos la investigación en la música electroacústica que podría producir ansiedad en los bailarines, junto con otros estados de ánimo. Creamos más de cien videoclips multimedia y trescientos minutos de duración para cada modo de adquisición, lo que representa un total de un terabyte de datos con audios, vídeos y captación de imágenes en movimiento». Para lograrlo, el proyecto adoptó herramientas multidisciplinarias y métodos de las ciencias (ciencias cognitivas, interacción persona-ordenador, aprendizaje automático, procesamiento del lenguaje natural y procesamiento de señales), el arte (música, danza, captación de imágenes en movimiento y animación 3D) y las humanidades (musicología, historia de la música y filosofía). MUSICAL-MOODS ha utilizado la base de datos en varios proyectos artísticos que adoptan algoritmos y sistemas multimedia inteligentes o interactivos para el procesamiento de señales de audio y vídeo. «A partir de esas experiencias, hemos obtenido un modelo para la clasificación de la música según el estado de ánimo y datos asociados, apoyándonos también en expertos del ámbito. Logramos unos resultados sólidos con una impresionante precisión de clasificación (88 %) y notables mejoras en la desviación cuadrática media en comparación con las últimas tecnologías», destaca Costantini. A fin de diseñar y mejorar los algoritmos de clasificación, se utilizó un juego multimodal con un propósito (M-GWAP, por sus siglas en inglés) para usuarios de internet. El M-GWAP tiene como objetivo las emociones y los estados mentales que se pueden inducir en los usuarios y expresarse a través de la música y los datos multimedia asociados. El juego aprovecha el enfoque de sabiduría del grupo para generar anotaciones a través de interacciones del usuario rentables y divertidas.
Próximos pasos
«M-GWAP se usará para modelizar los datos lingüísticos derivados de las entrevistas con los bailarines que se realizaron en el marco del proyecto», informa Paolizzo. El modelado del lenguaje ayudará a evaluar las emociones y los estados mentales de los bailarines en el momento inmediatamente posterior a las adquisiciones de rendimiento. La sincronización ya en marcha sobre el conjunto de datos permitirá investigar cómo se pueden inducir o expresar las emociones y los estados mentales a través del audio, el vídeo y la captación de imágenes en movimiento. Eso ayudará a entender mejor cómo los diferentes medios influyen en la inducción y la expresión de los estados de ánimo y cuál es su valencia y relación temporal. Por ejemplo, una melodía podría inducirnos a sentirnos de determinada manera, mientras que la consiguiente letra con la misma música puede cambiar drásticamente el significado de ese estado de ánimo.
Palabras clave
MUSICAL-MOODS, interactivo, emociones, estados mentales, datos multimedia, sistema de música inteligente