Jak sprawdzić, co rozumieją dzieci?
Dzieci uczą się języka w środowisku multimodalnym, ponieważ ich opiekunowie wchodzą z nimi w interakcje na różne sposoby – za pomocą spojrzeń, gestów i mowy. Biorąc pod uwagę fakt, że gestykulacja często jest nośnikiem informacji związanych z wypowiadanym komunikatem, staje się dla dzieci ważnym medium pozwalającym zrozumieć im przekaz osoby mówiącej. Zadanie do wykonania Spostrzeżenia te stały się podstawą projektu badawczego ChildGesture, realizowanego dzięki wsparciu działania „Maria Skłodowska-Curie”. Projekt opierał się na współpracy dr. Kazukiego Sekine, stypendysty działania „Maria Skłodowska-Curie”, prof. Asli Özyürek, koordynatorki projektu, jak również laboratorium multimodalności języka i kognitywistyki – Multimodal Language and Cognition lab. Jego celem było zbadanie, czy i w jaki sposób dzieci są w stanie rozumieć oraz przetwarzać gesty i mowę. Prof. Özyürek wyjaśnia: „Chcieliśmy odpowiedzieć na to pytanie, nie tylko analizując reakcje behawioralne dzieci, ale także po raz pierwszy badając ich neuropoznawcze procesy przetwarzania informacji semantycznych z gestu i mowy. W tym celu wykorzystaliśmy techniki neuroobrazowania, takie jak elektroencefalografia (EEG)”. Prof. Özyürek dodaje, że chociaż wiemy, iż mózg dorosłego wykazuje określone reakcje, znane jako potencjał N400, „brak jest wiedzy na temat sygnatur w mózgu dla multimodalnej integracji semantycznej u dzieci”. Ponadto za pomocą metody behawioralnej zespół projektowy zamierzał sprawdzić, czy gesty towarzyszące wypowiadaniu komunikatu w hałaśliwym otoczeniu pomagają dzieciom w prawidłowym rozpoznaniu znaczenia, a jeśli tak, to w jaki sposób. Kluczowe odkrycia W pierwszej fazie badaniu za pomocą EEG poddano niderlandzkojęzyczne dzieci w wieku 6–7 lat. Polegało to na tym, że dzieci otrzymywały wyraźne pojedyncze polecenia, którym towarzyszyły pasujące lub niepasujące gesty ikoniczne. Na podstawie porównywania sytuacji niedopasowania z sytuacją dopasowania wykazano istnienie potencjału N400, co pokazuje, że dzieci – tak samo jak dorośli – integrują multimodalne informacje semantyczne na poziomie neuronowym. „Następnie, w eksperymencie kontrolnym, postawiliśmy sobie pytanie, czy z punktu widzenia dzieci użycie gestów ikonicznych pomaga im w jednoznacznej interpretacji komunikatu w hałaśliwym otoczeniu, a jeśli tak, to jak przebiega ten proces w porównaniu z dorosłymi”, mówi prof. Özyürek. Do uczestników kierowano polecenia w warunkach różnego natężenia hałasu, za pomocą trzech metod – wyłącznie mowy; mowy i gestykulacji; wyłącznie formy wizualnej – a następnie poproszono ich o powtórzenie tego, co usłyszeli. Wyniki analizy dokładności wykazały, że dorośli byli lepsi niż dzieci w rozumieniu komunikatów przekazywanych wyłącznie za pomocą mowy (w warunkach zakłóceń) oraz wyłącznie za pomocą formy wizualnej, ale już w przypadku przekazania informacji za pomocą mowy i gestykulacji wyniki dzieci dorównywały rezultatom dorosłych uzyskanym podczas słuchania niewyraźnej mowy. „Wynika z tego, że aby osiągnąć poziom unimodalnego rozumienia mowy prezentowany przez dorosłych, w niekorzystnych warunkach słuchania dzieci »potrzebują« multimodalnego sygnału wejściowego”, zaznacza prof. Özyürek. Co więcej, w warunkach multimodalnych zarówno dorośli, jak i dzieci szybciej udzielali odpowiedzi. Gesty mogą zatem stanowić ogniwo łączące proces poznania z procesem produkcji mowy. Dalsze działania Obecnie projekt znajduje się na etapie badania za pomocą EEG reakcji dzieci na słuchanie niewyraźnej mowy, której towarzyszy lub nie towarzyszy gestykulacja. „Te badania dadzą nam wgląd w to, kiedy i jak mózg dziecka działa podobnie do mózgu dorosłego pod względem łączenia sygnałów multimodalnych, a także to, jak dzieci po obejrzeniu filmów przechowują w pamięci informacje unimodalne lub multimodalne”, tłumaczy prof. Özyürek. Ponadto zamiarem zespołu ChildGesture jest powtórzenie badań, ale tym razem z udziałem dzieci posiadających implanty ślimakowe, które wymagają przekazu wizualnego w większym stopniu niż osoby bez upośledzenia słuchu, zwłaszcza w warunkach hałasu. Kolejnym krokiem jest przeprowadzenie badań z udziałem młodszych dzieci w celu sprawdzenia, czy integracja multimodalna jest nabytą czy wrodzoną cechą naszego mózgu. Na koniec zespół chciałby powtórzyć to samo badanie z dziećmi dwujęzycznymi. „Więcej informacji na temat naszych badań można znaleźć na stronie internetowej projektu Brain Imaging of Multimodal Communication in Development”, podsumowuje prof. Özyürek.
Słowa kluczowe
ChildGesture, dzieci, gest, mowa, multimodalny, EEG, język, procesy neuropoznawcze, elektroencefalografia, unimodalny
