Projekt HCIBRAIN - Metody komunikacji człowiek-komputer do diagnozowania i stymulacji pacjentów z ciężkimi urazami mózgu

Zasadniczym celem badawczym, realizowanym w ramach projektu, było opracowanie koncepcji i metodyki przetwarzania danych otrzymywanych z interfejsów człowiek-komputer HCI (Human-Computer Interface), umożliwiających ocenę funkcji poznawczych pacjentów po urazach mózgu. Stosowano m. in. interfejsy do śledzenia wzroku oraz zestawy kasków elektroencefalograficznych (EEG). Opracowane w ramach projektu oprogramowanie narzędziowe odnosi się do kilku grup zadań diagnostyczno-terapeutycznych. Celem badania była ocena poziomu świadomości za pomocą obiektywnych miar śledzenia wzroku podczas kolejnych sesji angażujących badane osoby do wykonywania ćwiczeń komputerowych. Wyniki uzyskane w oparciu o metodę opracowaną w trakcie tworzenia systemu zostały porównane z wynikami standardowego badania neurologicznego pacjentów. W badaniach, zależnie od kontekstu, uczestniczyła zróżnicowana liczba osób, tzn. od kilkorga do pięćdziesięciu osób. Okazało się, że sześciu spośród pierwszej grupy dziesięciu pacjentów po ciężkich urazach mózgowych przejawiło oznaki świadomego wykonywania co najmniej jednego z pięciu zadań wykorzystanych w badaniu. Tymczasem, przykładowo według pierwszej i kolejnych diagnoz stawianych w toku standardowego badania neurologicznego jeden z tych pacjentów powinien był pozostawać w stanie wegetatywnym, a inny w stanie śpiączki. Opracowana metoda, w przeciwieństwie do stosowanych obecnie subiektywnych skal neurologicznych, pozwoliła na odwzorowanie stanu świadomości pacjentów na skali liczb rzeczywistych, a więc w sposób zobiektywizowany.

Celem badawczym było ponadto zbadanie umiejętności czytania ze zrozumieniem u pacjentów wybudzonych ze śpiączki, ale pozostających w stanie obniżonej świadomości. Do realizacji tego celu również zastosowana została technologia śledzenia wzroku. W toku opracowywania potrzebnego oprogramowania przygotowane zostały różne zadania sprawdzające umiejętność czytania ze zrozumieniem sylab, słów i zdań. Uzyskane wyniki wykazały, że osoby wybudzone ze śpiączki, pozostające w stanie obniżonej świadomości, zachowały umiejętność czytania ze zrozumieniem, w większości przypadków w dużym stopniu, ale miały trudności z rozpoznawaniem błędów w tekście pisanym. Uzyskane wyniki pozwoliły na sformułowanie zaleceń dotyczących rozwoju interfejsów człowiek-komputer, opartych na śledzeniu wzroku, przeznaczonych dla osób z deficytami świadomości.

Część spośród zrealizowanych w projekcie prac badawczych miała na celu przebadanie sposobów parametryzacji i klasyfikacji sygnałów EEG pod kątem maksymalizacji skuteczności rozpoznawania intencji ruchu. Wykorzystano znane wcześniej z literatury obserwacje wykazujące zależność pomiędzy aktywnością elektryczną w różnych partiach mózgu a czynnością wykonywania rzeczywistego ruchu (np. uniesienia ręki). Ponadto, analogiczna aktywność nerwowa pojawia się także w sytuacji wyłącznie wyobrażania sobie ruchu przez osobę badaną. W związku z powyższym, jeden z celów badawczych w projekcie polegał na zaproponowaniu i przebadaniu nowych metod parametryzacji oraz klasyfikacji sygnałów EEG, które ostatecznie zaowocowały stworzeniem klasyfikatora o wysokiej skuteczności rozpoznawania ruchów rzeczywistych i wyobrażonych na podstawie rejestrowanej aktywności nerwowej. Rozpoznanie intencji ruchu jest szczególnie istotne w interfejsach człowiek-komputer, dedykowanych osobom sparaliżowanym, które przez to uzyskują możliwość m. in. sterowania położeniem kursora na ekranie i zatwierdzania wskazywanych opcji, analogicznie do sposobów obsługi aplikacji za pomocą ekranu dotykowego. W celu potwierdzenia powyższej tezy o wysokiej skuteczności proponowanego podejścia przeprowadzono szereg eksperymentów, których celem było wykorzystanie i porównanie różnych metod uczenia maszynowego zastosowanych do klasyfikacji wyobrażonego ruchu.

W efekcie badań udowodniono, że wyniki subiektywnej oceny stanu pacjentów stosowane w neurologii (GCS) korelują z wynikami uzyskiwanymi za pomocą opracowanych interfejsów człowiek-komputer (EGT i EEG), dzięki czemu możliwa jest obiektywizacja ocen pacjentów z porażeniami mózgowymi z użyciem nowoczesnych technologii informatycznych. Wykazano ponadto, że sieci neuronowe (autoenkodery) mogą służyć do skutecznej analizy sygnałów EEG i EGT, prowadzonej w celu ustalenia stopnia świadomości osób po ciężkich urazach mózgu. Wyniki badań przedstawiono w monografii pt.: „Komputerowe oko świadomości”, w 12 publikacjach w czasopismach naukowych, w formie 4 rozdziałów w zagranicznych publikacjach książkowych i w 11 referatach konferencyjnych, a także w 4 wystąpieniach informacyjno-promocyjnych.