Comment pouvons‑nous appréhender ce que les enfants comprennent?
Les enfants apprennent le langage dans un environnement multimodal puisque leurs éducateurs interagissent avec eux dans des modalités différentes, telles que le regard, la gestuelle et le discours. Étant donné que la gestuelle comporte souvent des informations pertinentes sur le discours qui l’accompagne, elle constitue un support de taille pour les enfants dans leur compréhension des messages des locuteurs. La tâche à accomplir Cela a donné lieu à ChildGesture, un projet de recherche entrepris avec le soutien du programme Marie Curie. Il a combiné les efforts du Dr Kazuki Sekine, post‑doctorant et boursier Marie Skłodowska-Curie, le professeur Asli Ozyurek, coordinateur du projet, et le laboratoire Multimodal Language and Cognition. ChildGesture a étudié la capacité des enfants à comprendre et à intégrer la gestuelle et le discours, notamment la manière dont ils procèdent. Le professeur Ozyurek explique: «Nous avions pour objectif de répondre à cela, non seulement par le biais des réponses comportementales des enfants, mais également en examinant, pour la première fois, leur traitement neurocognitif des informations sémantiques allant de la gestuelle au discours, à l’aide de techniques de neuroimagerie telles que l’électroencéphalographie (EEG).» Tandis que les cerveaux adultes montrent certaines réponses, appelées l’effet N400, «il y a une absence de compréhension des signatures cérébrales dans le cas de l’intégration sémantique multimodale chez les enfants», ajoute le professeur Ozyurek. Ce projet a également cherché à dévoiler si, et comment, d’un point de vue comportemental, les enfants tirent profit de la gestuelle dans le contexte d’un discours bruyant de désambiguïsation. Des découvertes clés Dans un premier temps, des enfants néerlandais âgés de 6 à 7 ans ont pris connaissance de mots d’action, individuels et clairs et, en même temps, d’une gestuelle iconique correspondante ou non, tandis que des EEG étaient enregistrés. Un effet N400 a été constaté en comparant les situations correspondantes et non correspondantes, démontrant ainsi que les enfants intègrent des informations sémantiques multimodales au niveau neural, à l’instar des adultes. «Dans une expérimentation de suivi, nous nous sommes demandés si et comment les enfants tirent profit d’une gestuelle iconique dans le cadre d’un discours bruyant de désambiguïsation, en comparaison avec les adultes», explique le professeur Ozyurek. Les participants ont pris connaissance de mots d’action à différents niveaux sonores dans trois situations — discours seul, discours + gestuelle et visuel seulement — et il leur a été demandé de dire ce qu’ils entendaient. Les résultats de précision indiquaient que les adultes s’en sortaient mieux que les enfants dans le cas d’un discours seul — situations dégradées — et dans des situations uniquement visuelles. Cependant, dans les situations de discours + gestuelle, les enfants ont atteint les mêmes niveaux de discours dégradé que ceux des adultes. «Ainsi, dans des situations d’écoute défavorables, les enfants “ont besoin” d’un apport multimodal afin d’atteindre les mêmes niveaux de compréhension du discours unimodal que ceux des adultes», rapporte le professeur Ozyurek. De plus, les adultes et les enfants ont été plus rapides à faire part de leurs réponses dans les situations multimodales. La gestuelle peut par conséquent faire le lien entre les systèmes de compréhension et de production. Les prochaines étapes Ce projet enregistre actuellement les EEG des enfants écoutant des discours dégradés, accompagnés ou non d’une gestuelle. «Cela nous permettra de savoir quand et comment un cerveau d’enfant agit comme un cerveau adulte pour combiner des signaux multimodaux, et également comment ils gardent en mémoire les informations unimodales ou multimodales après avoir visualisé les vidéos», explique le professeur Ozyurek. En outre, ChildGesture veut reproduire ses études avec des enfants équipés d’implants cochléaires ayant besoin d’un apport plus visuel par rapport à ceux qui ne sont pas malentendants, en particulier dans des contextes bruyants. Une autre des prochaines étapes consiste à mener cette étude chez des enfants plus jeunes, afin de voir si l’intégration multimodale est une caractéristique acquise ou bien une tendance innée de notre cerveau. Enfin, l’équipe aimerait également reproduire cette étude chez des enfants bilingues. «Plus d’informations sur nos études sont disponibles sur le site web Brain Imaging of Multimodal Communication in Development », ajoute le professeur Ozyurek.
Mots‑clés
ChildGesture, enfants, gestuelle, discours, multimodal, EEG, langage, traitement neurocognitif, électroencéphalographie, unimodal
