Les «realatars» feront bientôt leur apparition sur nos écrans
Veiller à ce que les membres de la communauté des malentendants aient accès à l’information, à la communication et à la connaissance est essentiel pour leur participation pleine et égale à la société. La directive «Services de médias audiovisuels» vise à garantir que les États membres de l’UE s’assurent que les services de médias contribuent à l’égalité et à l’accessibilité en matière de distribution et d’accessibilité des contenus. Cependant, la production de contenus en langue des signes est coûteuse, et de nombreux diffuseurs ne proposent qu’un nombre réduit de programmes présentés en langue des signes, généralement diffusés tard dans la nuit. Le projet Content4All, financé par l’UE, a pour objectif de remédier à ce problème et de rendre le contenu plus accessible à la communauté des malentendants grâce à un flux de traduction automatique en langue des signes par un avatar humain photoréaliste en 3D pour la radiodiffusion télévisuelle. «Nous avions deux objectifs principaux. Le premier consistait à fournir une solution peu coûteuse pour créer des versions interprétées en langue des signes de contenus produits pour un public entendant, sans influencer l’expérience visuelle des utilisateurs actuels. Le second consistait à créer des ensembles de données et des algorithmes pour explorer la création automatisée de contenus interprétés en langue des signes», note Giacomo Inches, coordinateur de projet et technologue de l’innovation chez Fincons Group.
Nous vous présentons «realatar», l’avatar
L’avatar est réalisé grâce à un studio multicaméra innovant où les mouvements de personnes réelles sont capturés puis traités à l’aide d’algorithmes d’IA. Le résultat final est un avatar photoréaliste en 3D, appelé «realatar», qui peut être diffusé par flux vidéo. Giacomo Inches poursuit l’explication: «Alors que la génération automatique de la langue des signes était une exploration technologique en laboratoire, non destinée au marché, nous nous sommes penchés sur le nouveau concept de “studio distant” pour les radiodiffuseurs, dans lequel les interprètes en langue des signes peuvent effectuer leur travail sans avoir à se rendre dans les locaux principaux du radiodiffuseur.» Le temps gagné peut alors être utilisé pour générer davantage de contenus signés. Les technologies utilisées dans le cadre du projet reposaient sur des algorithmes avancés d’apprentissage profond et d’apprentissage automatique. Ils permettent à un ordinateur d’observer une grande quantité de données et, à partir d’instructions via des exemples, de fournir un résultat souhaité. «Au cours du projet, les algorithmes ont permis de reproduire une personne réelle sous la forme d’un humain virtuel en temps réel, sur une application HbbTV dédiée», souligne Giacomo Inches. Cette solution offre aux télédiffuseurs un moyen abordable et durable de développer des programmes en langue des signes, ouvrant ainsi la porte à une production accrue.
Aller de l’avant avec des réalisations notables
«Le caractère innovant de ce concept a été récompensé par le prestigieux NAB Technology Innovation Award lors de la Broadcast Engineering and Information Technology Conference en 2020», indique Giacomo Inches. De plus, avec l’aide des organisations représentatives partenaires, l’équipe du projet a pu lancer une collaboration avec des membres de la communauté des malentendants en Belgique et en Suisse pour valider les composants technologiques. Les discussions qui en ont résulté ont permis le lancement d’une initiative dans le cadre de l’action COST, LEAD-ME, qui rassemble les parties prenantes européennes dans le domaine de l’accessibilité des médias. Deux autres projets, EASIER et SignON, exploiteront et étendront l’héritage du projet Content4All, en utilisant directement la collection signée. En outre, Fincons Group, coordinateur et principal partenaire industriel, examine les possibilités d’exploitation concrète des résultats du projet pour son réseau. Giacomo Inches conclut: «Sur le long terme, un résultat concret du projet consisterait à utiliser la collection de textes alignés avec des vidéos en langue des signes à des fins de recherche et de pré-commercialisation, et donc de contribuer aux développements futurs de tous les algorithmes de reconnaissance de la langue des signes.»
Mots‑clés
Content4All, langue des signes, avatar, communauté des malentendants, services de médias, realatar, avatar humain en 3D, radiodiffusion télévisuelle, accessibilité des médias
