Dopasowany trening zwiększa skuteczność interfejsów mózg-komputer
Interfejsy mózg-komputer przekładają aktywność mózgu, zazwyczaj sygnały elektroencefalograficzne (EEG), na polecenia dla interaktywnych aplikacji, takich jak technologie wspomagające. Mogłoby to na przykład umożliwić osobom z upośledzeniem ruchowym sterowanie urządzeniami do mówienia/pisania lub wózkami inwalidzkimi za pomocą aktywności mózgu, ponieważ ich sygnały EEG, generowane podczas myślenia o ruchu (np. lewej lub prawej ręki), są przekładane na działania wykonywane przez urządzenie. Jednak interfejsy tego rodzaju są nadal rzadko używane poza laboratoriami, głównie dlatego, że są zbyt zawodne. „Ulepszenia zazwyczaj koncentrują się na usprawnianiu technologii, ale kontrolowanie interfejsów to umiejętność, której można się nauczyć”, wyjaśnia Fabien Lotte, koordynator projektu BrainConquest finansowanego przez Europejską Radę ds. Badań Naukowych. „Podobnie jak w przypadku większości umiejętności, zdolności są bardzo zróżnicowane i nie jest do końca jasne, dlaczego niektórzy użytkownicy lepiej sobie radzą ze sterowaniem interfejsem niż inni”. Po zbadaniu, w jaki sposób użytkownicy uczą się kontrolować interfejs mózg-komputer, zespół projektu BrainConquest opracował modele i zasady uczenia się, aby stworzyć pierwszy dostosowany pakiet szkoleniowy w tej dziedzinie. „Trenowaliśmy w domu Wilfreda, tetraplegicznego użytkownika interfejsu biorącego udział w zawodach z serii Cybathlon BCI 2019. Chociaż nie wygraliśmy, pomógł nam nieoczekiwanie odkryć nowy sposób uczenia się obsługi interfejsu, w ramach którego użytkownicy dostosowują się do oczekiwań algorytmów interfejsu, zamiast wytwarzać coraz wyraźniejsze sygnały EEG”, opowiada Lotte. Projekt zyskał już szerokie uznanie dzięki różnym nagrodom, w tym nagrodzie USERN 2022, Young Investigator Award 2021 przyznawanej podczas Konferencji Neuroergonomicznej oraz wyróżnieniu Open Science 2022 za oprogramowanie badawcze typu open source. Zasoby techniczne projektu są swobodnie dostępne za pośrednictwem platform oprogramowania interfejsu mózg-komputer typu open source: OpenViBE i BioPyC.
Modelowanie uczenia się użytkowników
Modelowanie obliczeniowe pomogło członkom projektu opracować podejście szkoleniowe. Modelowanie wykazało, że użytkownicy z bardziej stabilnymi wzorcami motorycznej aktywności mózgu w spoczynku lepiej sobie radzili z kontrolą motoryczną interfejsu. Co więcej, wydajność użytkownika da się przewidzieć na podstawie charakterystyki wzorców EEG wykorzystywanych przez algorytmy interfejsu, takich jak obszary mózgu, które są najczęściej używane. Choć wnioskowanie o stanach psychicznych użytkowników na podstawie sygnałów EEG, takich jak ich „intencja ruchu” lub „obciążenie pracą”, jest sposobem, w jaki działa tego rodzaju interfejs, członkowie projektu BrainConquest poszli o krok dalej. „Po raz pierwszy oszacowaliśmy również typy uwagi lub ciekawości, takie jak podtrzymywane lub podzielone, na podstawie EEG użytkowników, co dało nam dalszy wgląd w tryby uczenia się”, dodaje Lotte. Modelowanie umożliwiło też przeanalizowanie rzeczywistej nauki kontrolowania interfejsu mózg-komputer, aby zaobserwować, jak trening wpłynął na sterowanie nim. Wzorce EEG mierzono, gdy użytkownicy wykonywali zadania i otrzymywali różne rodzaje informacji zwrotnych. System zidentyfikował, które profile użytkowników korzystały z danego typu informacji zwrotnej. Zespół projektu wykazał, że multimodalne informacje zwrotne – połączenie wibracyjnych i wizualnych informacji zwrotnych, społecznych informacji zwrotnych (ze sztucznym towarzyszem nauki) lub nieobiektywnych informacji zwrotnych (przekonujących użytkowników, że ich sterowanie interfejsem jest lepsze lub gorsze niż w rzeczywistości) – są kluczem do poprawy wydajności. „Przekonaliśmy się na własnej skórze, jak ważne jest spersonalizowane szkolenie; użytkownicy tego interfejsu uczą się w różny sposób. Na przykład użytkownicy, którzy preferują pracę grupową, poprawią swe wyniki dzięki naszemu sztucznemu towarzyszowi nauki; z kolei ci, którzy wolą pracować samodzielnie, oczywiście nie zyskają na takim rozwiązaniu”, wyjaśnia Lotte.
Poszerzenie zakresu
Zespół stosuje obecnie swoje wyniki w rehabilitacji po udarze, w ramach której pacjenci mogą stymulować plastyczność mózgu w uszkodzonych obszarach mózgu dzięki treningowi motorycznemu opartemu na sprzężeniu zwrotnym interfejsu mózg-komputer. „Wciąż brakuje nam ogólnej teorii korzystania z takiego interfejsu; szkolenie użytkowników przez BrainConquest jest tylko jednym z elementów. Mój nowy projekt, Proteus, będzie badał zmienność EEG i wydajność kontroli interfejsu mózg-komputer, zarówno pomiędzy użytkownikami, jak i wewnątrz nich, w celu opracowania algorytmów bardziej dostosowanych do zmienności”, podsumowuje Lotte. Ponadto, wraz z międzynarodowymi partnerami, Lotte niedawno rozpoczął prace nad dwoma innymi projektami: wykorzystaniem interfejsu do monitorowania doświadczeń użytkowników w wirtualnych muzeach, BITSCOPE, oraz interfejsem do wykrywania świadomości śródoperacyjnej, gdy pacjenci budzą się podczas operacji, BCI4IA.
Słowa kluczowe
BrainConquest, interfejs mózg-komputer, EEG, elektroencefalografia, technologie wspomagające, udar, rehabilitacja, algorytmy, trening, uczenie się
