Od tekstu do świata wirtualnego: obietnica MUSE
Mimo iż mogą być niebywale ekscytujące, wydarzenia opisywane dajmy na to w książkach historycznych nie zawsze są łatwe do ogarnięcia, zwłaszcza dla małych dzieci, a brnięcie przez setki stron ciężkiego tekstu może być co najmniej nużące. Olbrzymi sukces koncesjonowanych gier wideo inspirowanych historią dowodzi niewątpliwie zainteresowania, ale pokazuje także, że interaktywność może być czasami znacznie lepszym sposobem na przekazywanie opowiadań w atrakcyjny i niezapomniany sposób. Na dzień dzisiejszy jednak droga od książki do gry wideo jest często długa i kosztowna. Ale gdyby tak w niedalekiej przyszłości komputery mogły rozumieć tekst i przekształcać go automatycznie na postaci, sytuacje, działania i obiekty w wirtualnym świecie 3D, zmieniając pasywnych czytelników w aktywnych uczestników opowiadania? Taką właśnie ekscytującą obietnicę złożyli partnerzy dofinansowanego ze środków UE projektu MUSE (Machine Understanding for interactive StorytElling) – ich celem jest ożywienie tekstu poprzez opracowanie innowacyjnego systemu przekładu tekstu na świat wirtualny. Ostatnie dwa i pół roku zespół poświęcił na ewaluację technologii w dwóch scenariuszach: opowiadania dla dzieci i materiały edukacyjne dla pacjentów. W witrynie projektu zamieszono demonstracyjny film wideo z konwersji instrukcji dla pacjenta na grę wideo, w której czytelnik może poruszać się po szpitalu, zapoznać się z procesem przyjęcia do placówki i lepiej zrozumieć leczenie, jakiemu zostanie poddany. To pierwszy, duży krok w kierunku komercjalizacji tego typu przełomowej technologii. MUSE ma potencjał, by wywrzeć olbrzymi wpływ na sektory, takie jak przemysł gier wideo, który może wykorzystać jej metodę przetwarzania języka naturalnego do uproszczenia procesów programowania czy szkolnictwo, które może wykorzystać ją do podnoszenia skuteczności i oddziaływania programów nauczania. Prof. dr Marie-Francine Moens z KU Leuven, koordynatorka projektu, rzuca światło na sposób, w jaki technologia będzie funkcjonować oraz na plany zespołu przybliżenia jej do rynku. Jak zrodziła się koncepcja MUSE? Nosiłam się z tym pomysłem od wielu lat, a mianowicie że osoby uczące się w środowisku edukacyjnym – uzyskując dostęp do informacji – powinny móc cieszyć się żywszym doświadczeniem. Stąd idea automatycznego przekształcania tekstu na działania i sytuacje, które mają miejsce w wirtualnym świecie. W takim świecie użytkownik może ostatecznie stać się częścią opowiadania. Zamiast na przykład czytać lub studiować dosyć nudny tekst historyczny, osoba ucząca się mogłaby wcielić się w jednego z aktorów w scence, w której Napoleon podpisuje traktat. Takie środowisko sprzyjałoby zrozumieniu tekstu i zapamiętaniu jego treści. Projekt MUSE nie wybiega tak daleko, ale kładzie podwaliny pod taką technologię. Jak dokładnie wyglądałby proces konwersji? Zamysł polega na przekładzie działań, podmiotów i obiektów rozpoznanych w tekście na efekty wizualne. Opracowaliśmy zaawansowane komponenty przetwarzania języka naturalnego do przetwarzania semantycznego tekstów. Obejmują rozpoznawanie ról semantycznych w zdaniach (tj. „kto” „co robi” „gdzie”, „kiedy” i „jak”), relacji przestrzennych między obiektami (gdzie zlokalizowany jest obiekt lub osoba) i chronologii zdarzeń. Wykorzystujemy tutaj standardowe adnotacje semantyczne, gdyż zostały one dobrze opracowane w przeszłości i zapewniają adnotowane zbiory danych do szkolenia naszych algorytmów rozpoznawania. Zważywszy na fakt, że rozpoznanie jest często niepewne i w wielu przypadkach potrzebne są dane kontekstowe, aby zrozumieć wypowiedzi w języku naturalnym (pozostawione implicite w tekście), opracowaliśmy ramy sieci bayesowskiej w celu wyszukiwania najbardziej prawdopodobnej interpretacji zdania w świetle dowodów pozyskanych z samego tekstu i wiedzy kontekstowej. Jakie główne rynki są celem dla waszej technologii? Za swój cel obieramy przede wszystkim przemysł gier i wydawców, którzy dostarczają narzędzi do e-uczenia się. Przy tworzeniu wirtualnych światów, sektory te w dużym stopniu polegają aktualnie na wiedzy wypracowanej ręcznie. Automatyczny przekład wypowiedzi w języku naturalnym na instrukcje w świecie graficznym poradziłby sobie z tym wąskim gardłem. Jeżeli chodzi o opowiadania dla dzieci, jakie korzyści zapewnia wasza technologia? Narzędzie MUSE może pomóc dziecku w uczeniu się czytania. Pomoce wizualne mogą być dostosowywane do poziomu czytania dziecka. Narzędzie może pomagać dzieciom nauczyć się wnioskowania w czasie czytania i ostatecznie lepszego rozumienia tekstu. Ponadto może wspomagać rozumienie, zapamiętywanie i ustalanie wzajemnych powiązań tekstów (na przykład w czasie zapoznawania się z tekstem poświęconym naukom ścisłym czy biologii). W tej chwili przeprowadzamy ewaluację zastosowania wizualizacji z udziałem dzieci. Projekt zbliża się ku końcowi. Czy jesteście zadowoleni z dotychczasowych wyników? W sumie jestem zadowolona z wyników. Zwłaszcza jeżeli chodzi o efekty naszych badań nad rozumieniem języka naturalnego. Udało nam się posunąć naprzód stan wiedzy w tej stawiającej wysokie wymagania dziedzinie. W przygotowaniu jest kilka publikacji. Rozumienie języka naturalnego jest niezwykle ważne dla olbrzymiej liczby aplikacji, niemniej nadal wymaga badań podstawowych, zwłaszcza w zakresie automatycznej akwizycji kontekstu percepcyjnego czy wiedzy o świecie. Projekt MUSE zaowocował cennymi spostrzeżeniami, które przełożą się na dalsze prace badawcze. Partner posiadający dużą wiedzę na temat języków programowania opracowanych specjalnie do sterowania wizualizacjami w grafice komputerowej mógłby wzmocnić konsorcjum MUSE, bowiem celem MUSE jest odwzorowywanie języka naturalnego w formie standardów reprezentacji na potrzeby świata grafiki komputerowej, ale takiego eksperta trudno było znaleźć. Kiedy spodziewacie się, że technologia MUSE trafi na rynek? Czy nawiązaliście już kontakt z potencjalnymi partnerami? Technologie językowe będą wykorzystywane przez belgijską firmę typu spin-off o nazwie SmartSpoken, która właśnie jest zawiązywana. Prowadzone są rozmowy z belgijskim producentem gier – Fishing Cactus. Czy macie jakieś dalsze plany po zakończeniu prac nad projektem? Tak, niezwykle interesująca, nowatorska dziedzina badań nad rozumieniem języka naturalnego skupia się na uczeniu się wielomodalnych reprezentacji (na bazie technologii sieci neuronowych, modeli wektorowych, probabilistycznych modeli graficznych itp.), w którym dane tekstowe i wizualne wspomagają zdobywanie i wychwytywanie kontekstu oraz wiedzy o świecie. Ta technologia przynosi korzyści zarówno w zakresie rozumienia języka naturalnego, jak i widzenia komputerowego. Złożyliśmy kilka wniosków na projekty badawcze poświęcone temu zagadnieniu zarówno na szczeblu krajowym, jak i europejskim i mamy nadzieję, że otrzymają wsparcie. Więcej informacji: MUSE http://www.muse-project.eu
Kraje
Belgia