Success stories de projets - Vous avez besoin d'une séquence en urgence?
Les télédiffuseurs ont dans leurs bases de données des milliers d'heures de vidéos en attente. Beaucoup de ces «rushes» (des épreuves de tournage) pourraient servir à l'avenir, mais ils restent souvent inutilisés car les producteurs de programmes et les journalistes, qui travaillent le plus souvent dans l'urgence, ne peuvent pas en connaître le contenu. «Les réalisateurs filment des heures de programme, mais parfois n'en utilisent qu'une poignée de minutes, voire quelques secondes», déclare le Dr Oliver Schreer du Heinrich-Hertz-Institut de l'Institut Fraunhofer pour les télécommunications à Berlin. «Actuellement, il arrive que les télédiffuseurs annotent manuellement des séquences non montées, mais ce processus est très long et les séquences restent pour l'essentiel non classées et donc inutilisées», ajoute le Dr Schreer. «Nous avons donc besoin de méthodes automatisées pour les organiser.» Dans le cadre du projet Rushes («The retrieval of multimedia semantic units for enhanced reusability»), le Dr Schreer a dirigé une équipe issue d'instituts de recherche européens et du secteur des hautes technologies en vue de faciliter la réutilisation de ces vidéos brutes. Ils ont conçu un système prototype qui analyse et étiquette automatiquement les séquences vidéo, facilitant grandement leur indexation et leur catalogage. Parallèlement, ils ont créé une interface utilisateur qui améliore la gestion et la recherche dans de grands référentiels multimédias. «Les bases de données actuelles présentent au mieux quelques images fixes tirées de chaque vidéo, ce qui ne donne guère d'information pour la comprendre et l'analyser. Nous voulions créer des outils capables de présenter le contenu d'une bien meilleure façon», déclare-t-il. Un développement en collaboration Tout au long du développement du système, l'équipe a mis à contribution des utilisateurs, professionnels ou non. Une première étape était d'évaluer les procédures et les technologies actuelles du secteur, d'identifier les domaines d'amélioration et les besoins supplémentaires. «Pour construire notre prototype, nous avons collaboré étroitement avec le télédiffuseur basque ETB», déclare le Dr Schreer. Une fois conçu, le système a été testé et validé par des utilisateurs. «Nous avons demandé aux journalistes et aux archivistes d'explorer les différentes fonctionnalités du système», ajoute-t-il. «Leur retour était essentiel car nous voulions vraiment fournir une solution répondant aux besoins du secteur.» Le système analyse et catégorise les vidéos brutes en utilisant des principes d'indexation sémantique. L'équipe a tout d'abord créé une série d'algorithmes capables de détecter certains types d'objets ou de contenus dans une vidéo, puis de générer automatiquement des métadonnées pour la décrire. Par exemple, le système peut détecter des visages (ce qui indique la présence de personnes), des formes régulières (donc un environnement créé par l'homme), divers types de végétation, ou même différents types de mouvement de caméra. Il peut aussi distinguer différents types d'audio comme la parole, la musique, le bruit ou le silence, faire la différence entre la mer, l'océan, les rivières ou les ports, et identifier des éléments courants tels que bus, chiens ou navires. L'ajout d'un détecteur de flashs pourrait aider à identifier une conférence de presse ou un entretien. «Nous avons adapté et combiné des méthodes utilisées dans la recherche et la récupération de vidéos, mais nous avons également créé des éléments à partir de rien, comme le détecteur de mouvement de la caméra et le détecteur de formes 3D», déclare-t-il. Un autre ensemble d'algorithmes a utilisé les métadonnées générées pour regrouper et résumer le contenu des rushes, créant des groupes de contenu facilitant la navigation et le traitement. «Le modèle de métadonnées au cœur du système était plutôt original», déclare le Dr Schreer. Une recherche rapide Un point essentiel du projet était de réaliser une interface permettant d'accéder beaucoup plus efficacement au contenu vidéo. «La recherche dans les séquences prend beaucoup de temps aux journalistes, nous voulions donc leur donner de nouveaux outils pour explorer plus rapidement les bases de données de vidéos et les aider à les réutiliser», déclare le Dr Schreer. Le système Rushes intègre un ensemble d'interfaces de navigation et de visualisation allant d'une simple recherche de type texte basée sur des mots clés à une navigation «sémantique» et visuelle. Les concepts à la base de ces outils sont le regroupement hiérarchique des contenus, la correspondance sémantique du contexte et le retour de pertinence. «Le système prend en compte la structure temporelle de la séquence, apportant bien plus d'informations sur la façon dont elle est organisée et contribuant à la replacer dans son contexte. Ceci facilite et accélère la recherche d'un contenu pertinent et des parties intéressantes», ajoute-t-il. Perspectives Le prototype réalisé dans le cadre du projet, qui s'est déroulé de février 2007 à juillet 2009, a été présenté lors de plusieurs grandes manifestations technologiques en Europe, dont le CEBIT à Hanovre. «Les retours ont été positifs, le secteur estimant que ce système pourrait être vraiment utile», déclare le Dr Schreer. Des partenaires du projet poursuivent le développement de certains aspects du prototype, dans le cadre d'une certaine forme de coopération. «Les résultats du projet se retrouveront dans des produits commerciaux qui aideront les professionnels de la télédiffusion», prédit le Dr Schreer. Rushes a été financé au titre du sixième programme-cadre (6e PC) de recherche de l'UE.