Utilizarea potenialului unui program (P300) pentru implementarea unei interfae creier- calculator

Introducere Interfata creier-computer (ICC) este un sistem de comunicare care traduce activitatea creierului in comenzi pentru computer sau alte dispozitive. O ICC permite utilizatorilor sa actioneze in mediul lor folosind doar activitatea creierului fara a fi nevoie de nervii periferici sau de muschi. In aceasta lucrare, este prezentat o ICC care realizeaza o clasificare de inalta precizie si rate mari de transfer atat pentru persoane cu dizabilitati cat si pentru cele sanatoase. Sistemul se bazeaza pe potentialul evocat al P300 si este testat pe inregistrari de la cinci pacienti cu dizabilitati severe si patru subiecti sanatosi. Pentru patru din cei cinci pacienti bolnavi s-a obtinut prezicia clasificarii de 100%. Obiectivul principal in cercatarea ICC este de a dezvolta sisteme care sa faca posibila comunicarea pesoanelor cu deficinte cu alte pesoane, pentru controlul membrelor artificiale sau pentru a controla propriul mediu. Pentru a atinge aceste obiective sunt investigate mai multe aspecte ale sistemelor ICC. Domeniile de cercetare includ evaluari invazive si non-inavzive a tehnicilor de masurare a activitatii creierului, dezvoltarea de noi aplicatii ICC, evaluarea semnalelor de control, dezvoltarea de algoritmi pentru traducerea semnalelor creierului in comenzi pe calculator, dezvoltarea si evaluarea sistemelor ICC specifice subiectilor cu dizabilitati. In lucrarea de fata se utilizeaza un semnal de control care poate fi detectat in mod fiabil si nu necesita antrenarea indelungata a pacientului: potentialul evocat P300. Sistemul P300 de silabisire prin care subiectii puteau sa rosteasca cuvinte prin alegerea secventiala a literelor din alfabet. O matrice 6x6 care contine literele din alfabet si alte simboluri a fost afisata pe un ecran al computerului. Randurile si coloanele matricii au fost luminate in mod aleator. Pentru a alege un simbol, subiectii trebuiau sa numere in liniste de cate ori a fost luminat acesta. Flash-urile de rand sau coloana care contin semnalul dorit considera. Simbolurile vizate ar putea fi deduse cu un algoritm simplu de cautare a liniilor si coloanelor care evoca cea mai mare amplitudine P300. Sistemul prezentat in aceasta lucrare se bazeaz pe o paradigm ce ale la baz potenialul evocat P300 obinut la aplicarea unui stimul vizual. Pentru patru dintre subiectii cu dizabilitati si pentru toti cei sanatosi ratele de comunicare si preciziile de clasificare obtinute au fost ridicate.

Materiale si metode A. Date experimentale Datele au fost descarcate de pe internet. Experimentul pe paza caruia s-au facut inregistrarile sunt descrise in cele ce urmeaza. Utilizatorii au fost confruntati cu un ecran de laptop pe care sunt afisate sase imagini: un televizor, un telefon, o lampa, o usa, o fereastra si un radio. Imaginile au fost selectate in funtie de scenariul aplicatiei in care utilizatorii pot controla aparatele electice printr-un sistem ICC. Imaginile au fost iluminate in secvente aleatoare, o imagine la un moment dat. Fiecare iluminare a unei imagini a durat 100ms si in urmatoarele 300ms nici una dintre imagini nu s-au iluminat, adica intervalul de intrestimulare ISI este de 400ms. Sistemul a fost testat pe cinci subiecti cu dizabilitati si patru subiecti sanatosi. Subiectii cu dizabilitati sunt toti in scaun cu rotile, dar prezinta anumite abilitati de control muscular la nivelul membrelor si sufera de dizartrie usora pana la avansata. Subiectii sanatosi sunt barbati cu varste 30+-2.3. Nici unul dintre subiectii 6-9 nu au cunoscut deficiente neurologice. Fiecare subiect a facut cate patru inregistrari complete. Primele doua sesiuni au fost efectuate intr-o zi si ultimele doua sesiuni intr-o alta zi. Pentru toti subiectii, timpul dintre prima si ultima sesiune a fost de mai putin de doua saptamani. Fiecare sesiune a constat din sase rulari, o rulare pentru fiecare din cele sase imagini. Urmatoarele etape s-au urmarit pentru fiecare din rulari: subiectii au fost rugati sa numere in tacere cat de des o anumita imagine este luminata (de exemplu: acum va rog sa numarati cat de des este flash-uita imagine cu televizorul); cele sase imagini au fost afisate pe ecran si a fost emis un ton de avertizare ; patru secunde mai tarziu dupa tonul de avertizare incepe o secventa aleatoare de flash-uri. Secventa de flash-uri este aleatoare in bloc, acest luctru insemna ca dupa 6 flash-uri, fiecare imagine a fost luminata o data, dupa 12 flash-uri fiecare imagine a fost luminata de 2 ori etc. Numarul de blocuri este ales aleator intre 20 si 25. In medie 22.5 blocuri de cate sase flash-uri sunt afisate la o rulare (ex: o rulare consta in medie din 22.5 probe tinta (P300) si 22.5*5=112.5 probe din afara tintei (non P300) ) in a doua, a treia si a patra sesiune imaginea tinta a fost dedusa, cu un clasificator simplu. La sfarsitul fiecarui ciclu de deducere prin algoritmul de clasificare, imaginea este flashuita de cinci ori pentru a da feedback-ul utilizatorului; dupa fiecare rulare subiectul este intrebat care este rezultatul numararii sale. Acest lucru a fost facut cu scopul de a monitoriza performantele subiectilor. Durata unei rulari este de aproximativ un minut, iar durata unei sesiuni incluzand configurarea electrozilor si pauze scurte intre rulari a fost de aproximativ 30 min. O sesiune cuprinde in medie 810 incercari, iar toate datele pentru un subiect constau in medie din 3240 de incercari.

B. Analiza offline Datele de la primele trei sesiuni au fost folosite pentru a antrena un clasificator, iar datele din ultima sesiune au fost folosite pentru validare. Aceasta procedura a fost repetata de patru ori, astfel incat fiecare sesiune a fost folosita o data pentru validare. s-au extras segmente de durata de 1000ms din inregistare incepand cu declansarea stimulului, adica la inceputul intensificarii unei imagini si se incheie dupa 1000ms de la debutul stimului; datorita ISI de 400ms, ultimii 600ms de la fiecare proces au fost suprapusi cu primele 600 ms de la procesul urmator ; inregistrarile de la fiecare electrod au fost scalate la intevalul [-1,1]. Valorile de clasificare sunt culese din datele de la trei sesiuni si validate de cea de-a patra. Datele contin 405 probe tinta si 2025 probe din afara tintei, iar datele de validare contin 135 probe tinta si 675 din afara tintei (acestea sunt valori medii). Dupa ce clasificatorii au fost calculati, acestia se aplica datelor de validare in felul urmator: pentru fiecare rulare in sesiunea de validare, procesele unice corespunzatoare primelor 20 de blocuri de flash-uri sunt extrase utilizand operatii de preprocesare. Atunci se clasifica si procesele unice. Acest lucru a dus la 20 de blocuri de clasificatori de iesire. Fiecare bloc a constat din sase clasificatori de iesire cate unul pentru fiecare imagine de pe ecran. Pentru a se decide asupra carei imaginii se concentreaza utilizatorul, se insumeaza clasificatorii de iesire pe blocuri pentru fiecare imagine, iar imaginea cu suma cea mai mare este cea selectata. Diferite schimburi intre timpul necesar a lua o decizie si precizia clasificarii au fost simulate prin variatia numarului de clasificatori de iesire insumati, adica numarul de blocuri. Rezultate In figura 2 si figura 3 sunt reprezentate grafic media preciziei de clasificare si rata de transfter corespunzatoare pentru subiectii sanatosi si subiectii cu dizabilitati. Toti subiectii, cu exceptia subiectilor 6 si 9, au realizat o precizie de clasificare de 100% dupa ce 12 sau mai multe blocuri de stimulare au fost mediate. Subiectul 6 in timpul primei sesiuni a obtinut o precizie de clasificare medie mica. In celelalte rulari precizia de clasificare medie dupa mai mult de 12 blocuri a fost de 100%. Performanta mai mica a subiectului 9 se observa in sesiunea 4, in sesiunile 1-3 a ajuns intotdeuna la precizia de clasificare 100%. Motivul pentru care performanta din sesiunea 4 a fost mai slaba poate fi oboseala. Cea mai buna performanta a fost obtinuta de subiectul 8. Se stie ca motivatia si excitatia in genaral duc la cresterea amplitudinii P300. O posibila explicatie pentru performanta subiectului 8 poate fi aceea ca subiectul era foarte motivat.

10 0 9 0 8 0 7 0 Accuracy (%) 6 0 5 0 4 0 3 0 2 0 1 0

4 5 4 0 3 5 Bitrate (bits\min) 3 0 2 5 2 0 1 5 1 0 5 0 5 0

1 00 90 80 70 Accuracy (%) 60 50 40 30 20 10

4 5 4 0 3 5 3 0 2 5 2 0 1 5 1 0 5 0 50

1 0

1 5

2 0

2 5 T e(s) im

3 0

3 5

4 0

4 5

10

1 5

20

25 T e (s) im

30

3 5

40

4 5

S1
10 0 9 0 8 0 7 0 Accuracy (%) 6 0 5 0 4 0 3 0 2 0 1 0 4 5 4 0 3 5 Bitrate (bits\min) 3 0 2 5 2 0 1 5 1 0 5 0 5 0 10 0

S2
4 5 4 0 3 5 Bitrate (bits\min) 3 0 2 5 2 0 1 5 1 0 5 0 5 0

9 0 8 0 7 0 Accuracy (%) 6 0 5 0 4 0 3 0 2 0 1 0

1 0

1 5

2 0

2 5 T e(s) im

3 0

3 5

4 0

4 5

1 0

1 5

2 0

2 5 T e (s) im

3 0

3 5

4 0

4 5

S3

S4 Figura 2.1 Precizia de clasificare si rata de transfer in functie de timp (subiecti cu dizabilitati)

Bitrate (bits\min)

100
10 0 9 0 8 0 7 0 6 0 5 0 4 0 3 0 2 0 1 0 4 5

45 40 35 30 25 20 15 10 5 0 50 Bitrate (bits\min)

90
4 0

80
3 5 3 0 2 5 2 0 1 5 1 0 5 0 5 0 Bitrate (bits\min)

70 Accuracy (%) 60 50 40 30 20 10

Accuracy (%)

1 0

1 5

2 0

2 5 T e( ) im s

3 0

3 5

4 0

4 5

10

15

20

S6
10 0 9 0 8 0 7 0 Accuracy (%) 6 0 5 0 4 0 3 0 2 0 1 0 4 5 4 0 3 5 Bitrate (bits\min) 3 0 2 5 2 0 1 5 1 0 5 0 5 0

25 Time (s)

30

35

40

45

S7
10 0 9 0 8 0 7 0 Accuracy (%) 6 0 5 0 4 0 3 0 2 0 1 0 4 5 4 0 3 5 Bitrate (bits\min) 3 0 2 5 2 0 1 5 1 0 5 0 5 0

1 0

1 5

2 0

2 5 T e (s) im

3 0

3 5

4 0

4 5

1 0

1 5

2 0

2 5 T e(s im )

3 0

3 5

4 0

4 5

S8

S9 Figura 2.2. Precizia de clasificare si rata de transfer in functie de timp (subiecti sanatosi) 5

10 0 9 0 8 0 7 0 Accuracy (%) 6 0 5 0 4 0 3 0 2 0 1 0

45 40 35 Bitrate (bits\min) 30 25 20 15 10 5 0 50

100 90 80 70 Accuracy (%) 60 50 40 30 20 10

45 40 35 30 25 20 15 10 5 0 50 Bitrate (bits\min)
4 5 4 0 3 5 3 0 2 5 2 0 1 5 1 0 5 0 5 0 Bitrate (bits\min)

10

1 5

2 0

2 5 T e (s) im

30

35

40

4 5

10

15

20

25 Time (s)

30

35

40

45

S1
10 0 9 0 8 0 7 0 6 0 5 0 4 0 3 0 2 0 1 0 4 5 4 0 3 5 3 0 2 5 2 0 1 5 1 0 5 0 5 0 Bitrate (bits\min) 10 0

S2

9 0 8 0 7 0 6 0 5 0 4 0 3 0 2 0 1 0

1 0

1 5

2 0

2 5 T e( ) im s

3 0

3 5

4 0

4 5

Accuracy (%)

Accuracy (%)

1 0

1 5

2 0

2 5 T e( ) im s

3 0

3 5

4 0

4 5

S3

S4 Figura 2.3 Precizia de clasificare si rata de transfer in functie de timp (subiecti cu dizabilitati)

100 90 80 70 Accuracy (%) 60 50 40 30 20 10

45 40 35 30 25 20 15 10 5 0 50

100 90 80 70 Accuracy (%) 60 50 40 30 20 10

45 40 35 30 25 20 15 10 5 0 50

Bitrate (bits\min)

10

15

20

25 T e (s) im

30

35

40

45

10

15

20

25 Time (s)

30

35

40

45

S6
100 90 80 70 Accuracy (%) 60 50 40 30 20 10 45 40 35 30 25 20 15 10 5 0 50

S7
10 0 90 80 70 Accuracy (%) 60 50 40 30 20 10 4 5 4 0 3 5 Bitrate (bits\min) 3 0 2 5 2 0 1 5 1 0 5 0 5 0

Bitrate (bits\min)

10

15

20

25 Time (s)

30

35

40

45

10

1 5

2 0

2 5 T e (s) im

3 0

3 5

4 0

4 5

S8

S9 Figura 2.4. Precizia de clasificare si rata de transfer in functie de timp (subiecti sanatosi) 7

Bitrate (bits\min)

Subiect S1 S2 S3 S4 S6 S7 S8 S9 Medie (S1-S4) Medie (S6-S9) Medie Total Tabel 1.

Precizie 8.8 10.8 24.7 19.3 25.9 22.3 49.4 19.3 15.9 29.3 22.6

Timp 13.0 11.2 21.9 29.8 34.1 38.7 64.6 17.0 19.0 38.6 28.8

Precizie 7.1 13.0 28.0 17.0 22.3 19.3 56.3 13.0 16.3 27.6 22.0

Timp 6.5 6.3 19.3 14.9 13.1 19.3 38.7 13.0 11.7 21.0 16.4

Diferenta care se poate fi observata intre subiectii cu dizabilitati si cei sanatosi depinde de performanta masuratorii utilizate. In cazul in care se foloseste pentru masurare precizia maxima de clasificare nu se pot gasi diferente intre subiectii sanatosi si cei cu dizabilitati. Daca se utilizeaza rata de transfer atunci diferentele intre subiectii cu dizabilitati si cei sanatosi pot si observabile. Subiectii sanatosi ating maxime mai mari a ratei de transfer decat cei cu dizabilitati. Precizia clasificarii pentru subiectii cu dizabilitati (in special subiectul 1 si 2) creste mai incet decat la subiectii sanatosi. Concluzii In acesata lucrare am prezentat un sistem eficient ICC bazat pe potentialul P300 pentru subiecti cu dizabilitati. Am aratat ca se poate obtine o buna precizie de clasificare pentru subiectii cu dizabilitati severe. Datorita utilizarii P300, pentru a atinge o precizie de clasificare buna nu a fost necesar un timp ridicat de invatare. Daca se utilizeaza rata de transfer atunci diferentele intre subiectii cu dizabilitati si cei sanatosi pot observabile. Subiectii sanatosi ating maxime mai mari a ratei de transfer decat cei cu dizabilitati Imbunatatirile viitoare a acestei lucrari ar putea consta in testarea pe un numar mai mare de subiecti pentru a confirma rezultatele gasite in lucrarea de fata.