Machine Translated by Google

senzori

Articol

Recunoașterea intenției de imagine motor a semnalului EEG

Bazat pe Învățare profundă a caracteristicilor cu mai multe vizualizări

2 1 1 1
Jiacan Xu 1,*, Hao Zheng , Jianhui Wang , Donglin Li și Xiaoke Fang
1
Școala de Științe și Inginerie Informațională, Universitatea de Nord-Est, Shenyang 110819, China;
wangjianhui@mail.neu.edu.cn (JW); 1910309@stu.neu.edu.cn (DL); fangxiaoke@mail.neu.edu.cn (XF)
2
Școala de Științe și Inginerie Informațională, Universitatea de Tehnologie Shenyang, Shenyang 110870,
China; zhenghao@sut.edu.cn * Corespondență: xujiacan@stumail.neu.edu.cn; Tel.: +86-1347-888-8165

Primit: 10 mai 2020; Acceptat: 18 iunie 2020; Publicat: 20 iunie 2020

Rezumat: Recunoașterea intenției de imagine motrică este unul dintre centrele de cercetare actuale ale studiilor
interfeței creier-calculator (BCI). Poate ajuta pacienții cu diskinezie fizică să-și transmită intențiile de mișcare. În
ultimii ani, s-au făcut progrese în cercetarea privind recunoașterea sarcinii de imagine motrică folosind
învățarea profundă, dar dacă caracteristicile importante legate de imaginile motorii sunt ignorate, aceasta
poate duce la o scădere a performanței de recunoaștere a algoritmului. Această lucrare propune o nouă
metodă de învățare profundă a caracteristicilor multi-view pentru sarcina de clasificare a semnalelor
electroencefalogramei imagistice motorii (EEG). Pentru a obține caracteristici mai reprezentative ale imaginilor
motorii în semnalele EEG, am introdus o reprezentare a caracteristicilor cu mai multe vizualizări bazată pe
caracteristicile semnalelor EEG și diferențele dintre diferitele caracteristici. Au fost folosite diferite metode de
extracție a caracteristicilor pentru a extrage, respectiv, domeniul timp, domeniul frecvență, domeniul timp-
frecvență și caracteristicile spațiale ale semnalelor EEG, astfel încât să le facă să coopereze și să se completeze.
Apoi, rețeaua de mașini Boltzmann (RBM) cu restricții profunde îmbunătățită prin încorporarea vecinilor
stocastici distribuite t (t-SNE) a fost adoptată pentru a învăța caracteristicile cu vizualizare multiplă ale
semnalelor EEG, astfel încât algoritmul a eliminat redundanța caracteristicilor în timp ce a luat în considerare
caracteristicile globale în secvența de trăsături multi-vizualizare, au redus dimensiunea trăsăturilor multi-vizuale și au îmbunătăț
În cele din urmă, a fost aleasă mașina vectorială de suport (SVM) pentru a clasifica caracteristicile cu vizualizare multiplă
profundă. Aplicând metoda propusă de noi la setul de date BCI competiția IV 2a am obținut rezultate excelente de clasificare.

Rezultatele arată că metoda de învățare profundă a caracteristicilor cu vizualizări multiple a îmbunătățit și mai mult acuratețea
clasificării sarcinilor de imagine motrică.

Cuvinte cheie: interfață creier-calculator (BCI); electroencefalografie (EEG); învă are cu mai multe vederi;
rețea neuronală profundă; încorporarea parametrică a vecinului stocastic distribuit în t (pt-SNE)

1. Introducere

Semnalele EEG sunt activități potențiale spontane generate de activitatea nervoasă a creierului și conțin
informații abundente despre activitatea creierului [1]. Cercetările actuale asupra creierului se bazează în principal
pe analiza semnalelor EEG. BCI este cheia pentru ca creierul uman să comunice cu lumea exterioară.
Este o metodă de comunicare fără canal muscular [2–4]. În prezent, există două tehnologii de interfață creier-
calculator, invazive și neinvazive. BCI non-invaziv este utilizat pe scară largă datorită operațiunii sale convenabile
și a costului scăzut [5,6]. Prin intermediul BCI neinvaziv, putem obține diverse modele de semnale de activitate
cerebrală, care sunt studiate pe larg și utilizate în procesarea semnalelor, recunoașterea modelelor, știința
cognitivă, medicină, reabilitare și alte domenii [7,8]. Analiza semnalelor EEG poate ajuta uneori pacienții care nu
pot acționa autonom din cauza leziunilor mușchilor sau nervilor care controlează mișcarea membrelor, cum ar fi
accidente vasculare cerebrale, leziuni ale coloanei vertebrale, leziuni ale nervilor craniocerebrali,

Senzori 2020, 20, 3496; doi:10.3390/s20123496 www.mdpi.com/journal/sensors

Machine Translated by Google

Senzori 2020, 20, 3496 2 din 16

etc [9,10]. Acești pacienți nu pot controla organismul în mod autonom și, în cazuri grave, chiar nu pot comunica
cu oamenii. Prin semnalele EEG, activitatea cerebrală a pacienților poate fi analizată, ajutând pacienții să
comunice cu lumea exterioară, îmbunătățindu-le calitatea vieții de zi cu zi și reducându -le povara mentală [11].
Imaginile motorii pot activa cortexul senzoriomotor, pot produce comoție senzizomotorie, pot trimite semnale EEG
și pot reflecta intenția motorie a subiectului [2,12]. Atunci când subiectul își imaginează o anumită parte a
mișcării membrelor, mai degrabă decât mișcarea reală, zona reflexă corespunzătoare din creierul uman va
afișa modificări potențiale electrice. Prin analizarea modificărilor potențialului electric al semnalelor EEG și
recunoașterea modelului de mișcare imaginat de subiectul curent, dispozitivele externe pot fi controlate pentru a
ajuta subiectul să îndeplinească sarcinile de mișcare corespunzătoare. Prin urmare, analiza semnalelor EEG și
identificarea intențiilor de mișcare sunt de mare importanță în domeniul medicinei de reabilitare a inteligenței
artificiale.
În ceea ce privește modul de a identifica cu exactitate intenția de mișcare a semnalelor EEG, trebuie să
efectuăm cercetări aprofundate asupra semnalelor EEG. Studiile au descoperit că atunci când un subiect își
imaginează mișcarea unui anumit membru, activitatea neuronilor va apărea în zona creierului legată de această mișcare.
Această schimbare de energie se numește desincronizare legată de evenimente (ERD) și sincronizare legată de
evenimente (ERS) [2,12,13]. Cea mai de succes metodă pentru detectarea ERD/ERS este tiparele spațiale comune (CSP).
Acest lucru se datorează faptului că ERD/ERS este direct legată de ritmul senzoriomotor mu și beta, iar banda
de frecvență utilizată în algoritmul CSP este în principal 8-30 Hz [14], acoperind ritmul mu și beta, astfel încât
CSP este aplicat pe scară largă și eficient în domeniul imaginilor motorii ale interfeței creier-calculator (BCI-MI) [4,15].
Având în vedere diferența dintre benzile de frecvență ale răspunsului EEG ale diferiților subiecți, utilizarea
benzilor de frecvență fixă poate duce la unele componente de frecvență inutile și poate crește informațiile
redundante ale caracteristicilor [16]. Ca răspuns la problema dependentă de frecvență a CSP, au fost propuse
unele selecții ale benzilor de frecvență ale CSP, cum ar fi FBCSP [17], CSSP [18], CSSSP [19], SBCSP [20] și DFBCSP
[21]. Aceste îmbunătățiri iau în considerare domeniul de frecvență și caracteristicile spațiale ale semnalelor
EEG, compensează într-o anumită măsură deficiențele algoritmului CSP și arată progrese bune în
recunoașterea sarcinilor de imagine motrică. Cu toate acestea, informațiile imaginii motorii ale semnalelor EEG se
reflectă nu numai în caracteristicile de frecvență și spațiale, ci și în caracteristicile domeniului timp și domeniul
timp-frecvență [22]. Prin urmare, sunt luate în considerare doar domeniul frecvență și domeniul spațial , iar alte
caracteristici ale domeniului sunt ignorate, care pot duce la pierderea de informații legate de imaginile motorii, iar
informațiile pierdute pot fi foarte utile pentru recunoașterea sarcinilor imaginației motorii [2] ]. În ultimii ani,
învățarea profundă a devenit un punct fierbinte de cercetare în diverse domenii, iar utilizarea învățării
profunde pentru a decoda semnalele EEG a atras atenția multor savanți.
Li i colab. a propus mașina Boltzmann restricționată cu structură profundă hibridă (RBM) [23] și mașina
Boltzmann restricționată cu discriminare spațială temporală (ST-DRBM) [24], ambele fiind aplicate la detectarea
potențialelor legate de evenimente. Lu i colab. a aplicat mașina Boltzmann cu restricție profundă la
recunoașterea imaginilor motorii a semnalelor EEG [25], caracteristicile domeniului de frecvență ale semnalelor
EEG după FFT sau descompunerea pachetului wavelet (WPD) au fost efectuate pentru a antrena rețeaua și apoi a
identificat sarcina imaginară motorie. În structura profundă a rețelei RBM, se presupune de obicei că setul de
date al rețelei de nivel superior urmează distribuția Gaussiană. Cu toate acestea, în seturile de date reale,
valorile anormale nu pot fi evitate. Prin urmare, pot apărea unele probleme deoarece algoritmul este sensibil la
date anormale [26].
Ca răspuns la problemele de mai sus, această lucrare a propus o nouă metodă de învățare profundă a
caracteristicilor multi-view. Am introdus cadrul de învățare cu mai multe vederi în sistemul de recunoaștere a
sarcinilor de imagine motorie EEG. Metoda folosește rețeaua neuronală de feedforward profundă RBM
îmbunătățită de t-SNE și CSP pentru a învăța caracteristicile multi-view ale semnalului EEG și utilizează o
mașină vectorială de suport (SVM) pentru a clasifica și recunoaște caracteristicile deep multi-view, cadrul a
metodei propuse este prezentată în Figura 1. În ceea ce privește reținerea mai completă a informațiilor EEG
legate de imaginile motorii, pentru caracteristicile domeniului timp ale semnalelor EEG originale și caracteristicile
domeniului frecvență și frecvența timp după filtrarea trece-bandă și descompunerea pachetelor wavelet, am
adoptat CSP pentru a le extrage caracteristicile spațiale pentru a stabili caracteristici multi-view, astfel încât multi-view
Machine Translated by Google

Senzori 2020, 20, 3496 3 din 16

Senzori 2020, 20, x PENTRU EXAMINARE DE PARTEA 3 din 16

caracteristicile aveau domeniul timp, domeniul frecvenței, domeniul timp-frecvență și caracteristicile spațiale ale
a avut domeniul timp, domeniul frecvenței, domeniul timp-frecvență și caracteristicile spațiale ale semnalelor EEG EEG în
același timp. Numim această parte inițializarea caracteristicilor cu mai multe vizualizări, așa cum se arată în
semnale în același timp. Numim această parte inițializarea caracteristicilor multi-view, așa cum se arată în zona galbenă din
Figura 1. În al doilea rând, introducem caracteristicile multi-view obținute în RBM profund.
zona galbenă din Figura 1. În al doilea rând, introducem caracteristicile multi-view obținute în rețeaua RBM profundă
pentru pre-antrenament, ceea ce reduce dimensionalitatea caracteristicilor multi-view, eliminând
rețea pentru pre-training, care reduce dimensionalitatea caracteristicilor multi-view, eliminând informațiile inutile. Apoi t-
SNE a fost folosit pentru a corecta rețeaua neuronală profundă antrenată, care rezolvă
informatii inutile. Apoi t-SNE a fost folosit pentru a corecta rețeaua neuronală profundă antrenată, care reprezintă
problema aglomerației în spațiul latent, și sporește incluziunea rețelei. Această parte este prezentată
rezolvă problema aglomerației în spațiul latent și îmbunătățește incluziunea rețelei. Această parte este în Figura 1 ca zonă
albastră. Numim această învățare profundă a caracteristicilor cu mai multe vizualizări. În cele din urmă, am ales SVM
prezentată în figura 1 ca zonă albastră. Numim această învățare profundă a caracteristicilor cu mai multe vizualizări. În sfârșit, am ales
pentru a recunoaște caracteristicile profunde de vizualizare multiplă ale imaginilor motorii, prezentate în zona violet din Figura 1.
SVM pentru a recunoaște caracteristicile profunde de vizualizare multiplă ale imaginilor motorii, prezentate în zona violet
din figură. Acest algoritm realizează rezultate excelente de clasificare în recunoașterea imaginilor motorii cu patru clase
1. Acest algoritm obține rezultate excelente de clasificare în recunoașterea sarcinii motorii cu patru clase pentru setul de
date BCI Competition IV 2a.
sarcină de imagini pentru setul de date BCI Competition IV 2a.

Etapa de antrenament Inițializarea caracteristicilor Multi-view Etapa de testare

Antrenament EEG multicanal Test EEG multicanal

Semnal Semnal

Semnal în Semnal din domeniul Semnal timp- Semnal în Semnal din domeniul Semnal timp-
domeniul frecvenței timpului frecvență domeniul frecvenței timpului frecvență
F1 F2 F3
W1
Model spațial Model spațial
comun (CSP) Model spațial W2 comun (CSP) Model spațial
comun (CSP) comun (CSP)
Model spațial Model spațial
W3
F1' F2' comun (CSP) comun (CSP)
F3'
F
Învățare profundă a funcțiilor cu vizualizare multiplă
RBM

RBM re ea
t-SNE parametric

RBM

RBM t-SNE

t-SNE parametric

Clasificare
model Clasificarea probelor de testare folosind
Train SVM clasificator
clasificatorul SVM antrenat

Figura
Figura 1.
1. Cadrul
Cadrul metodei
metodei propuse.
propuse.

Această lucrare este împărțită în următoarele secțiuni: A doua secțiune descrie algoritmul
Această lucrare este împărțită în următoarele secțiuni: A doua secțiune descrie teoria algoritmului și procesul
experimental specific. A treia secțiune prezintă rezultatele experimentelor.
teorie și procesul experimental specific. A treia secțiune prezintă rezultatele experimentelor.
AA patra secțiune
patra secțiune discută
discută aceste
aceste rezultate
rezultate experimentale.
experimentale. Secțiunea
Secțiunea a cinceaaceastă
a cincea rezumă rezumă această lucrare.
lucrare.

2. Metode
2. Metode
În această secțiune, introducem metoda de constituire și achiziție a datelor EEG utilizate în această lucrare.
În această secțiune, introducem metoda de constituire și achiziție a datelor EEG utilizate în aceasta
În continuare, a fost descrisă compoziția caracteristicilor multi-view. Apoi, baza de selecție și experimentală
hârtie. În continuare, a fost descrisă compoziția caracteristicilor multi-view. Apoi, baza de selecție și procesul algoritmului
de învățare profundă a caracteristicilor multi-view sunt explicate în detaliu. În sfârșit, selecția
Procesul experimental al algoritmului de învățare a caracteristicilor multi-view profunde sunt explicate în detaliu. În
final, au fost propuse strategia unor parametri importanți de rețea și clasificatorul.
s-au propus strategia de selecție a unor parametri importanți de rețea și clasificatorul.

2.1. Setul de date

2.1. Setul de date

În experimente, datele EEG ale imaginilor motorii cu mai multe clase au provenit de la competiția BCI IV
În experimente, datele EEG ale imaginilor motorii cu mai multe clase au provenit din setul de date BCI competiție IV
2a. Setul de date a fost obținut de la nouă subiecți diferiți care efectuează imagistica motrică de patru clase
2a set de date. Setul de date a fost obținut de la nouă subiecți diferiți care îndeplinesc patru sarcini motorii de clasă,
inclusiv mâna stângă (clasa 1), mâna dreaptă (clasa 2), picioarele (clasa 3) și limba (clasa 4). Datele EEG
sarcini de imagistică, inclusiv mâna stângă (clasa 1), mâna dreaptă (clasa 2), picioarele (clasa 3) și limba (clasa 4). pentru
fiecare subiect a constat din 288 de încercări ale sarcinii de imagine motrică cu patru clase și fiecare clasă de sarcini a fost
Datele EEG pentru fiecare subiect au constat în 288 de încercări ale sarcinii de imagine motrică cu patru clase și fiecare
a fost testat de 72 de ori. Semnalele EEG au fost înregistrate cu 22 de canale, eșantionate la 250 Hz și trece-bandă
clasa de sarcină a fost testată de 72 de ori. Semnalele EEG au fost înregistrate cu 22 de canale, eșantionate la 250 Hz și
filtrate cu trecere de bandă între 0,5 și 100 Hz. Paradigma conform căreia sarcina de imaginație cu o singură mișcare
este ilustrată în Figura 2.
Machine Translated by Google

Senzori 2020, 20, 3496 4 din 16

filtrată între 0,5 și 100 Hz. Paradigma în care este ilustrată sarcina de imaginație cu o singură mișcare 4 din 16
Senzori 2020, 20, x PENTRU EXAMINARE PEER
Figura 2.

Bip

Tac
Cruce de fixare Imagini motorie Pauză

0 1 2 3 4 5 6 7 8 t(e)

Figura 2. Schema de timp a unei probe în setul de date BCI Competition IV 2a.
Figura 2. Schema de timp a unei probe în setul de date BCI Competition IV 2a.
2.2. Inițializarea caracteristicilor Multi-View

2.2. Inițializarea caracteristicilor Multi-View

În multe studii despre recunoașterea intenției pentru imaginile motorii EEG, în general, EEG-ul original
datele suntstudii
În multe utilizate direct
despre ca date deintenției
recunoașterea antrenament
pentrumodel, dar
imaginile datorită
motorii EEG,semnalelor EEG extrem
în general, EEG-ul decare
original, complexe,
se caracterizează
prin
datele raportul
sunt semnal-zgomot
utilizate direct ca date instabil, variabil în
de antrenament timp, dar
model, neliniar și scăzut,
datorită este dificil.
semnalelor EEG extrem de complexe, care să obțină rezultate
sunt bune folosindprin
caracterizate doarraportul
datele EEG originale pentru
semnal-zgomot analiză.
instabil, Prin
variabil înurmare, o mai potrivită
timp, neliniar și scăzut, este dificil să se analizeze semnalele EEG
prinrezultate
obțineți utilizareabune
metodei de extracție
folosind a caracteristicilor.
doar datele Deși caracteristică
EEG originale pentru analiză. Printradițională
urmare, metodele de extracție mai adecvate pot
extrage
metoda caracteristicile
de analiză semnalelor
a semnalelor EEGEEG,
esteacestea fiind de obicei
prin utilizarea unice.
metodei deAcest studiu
extracție a caracteristicilor. Deși tradiționalul a folosit
metode
metodele diferite de
de extracție extracție a caracteristicilor
a caracteristicilor pentru a extrage
pot extrage caracteristicile cele trei
semnalelor EEG,tipuri de sunt
acestea caracteristici din EEG
de obicei unice. original
Acest semnal și-a
extras
Studiul caracteristicile
a folosit spațiale pentru
diferite metode a formaacaracteristicile
de extragere multi-vizualizări
caracteristicilor pentru a extrageale semnalelor EEG, de caracteristici din original ,
cele trei tipuri
structura
Semnalul EEG șieste
le-auprezentată în zona galbenă
extras caracteristicile din Figura
spațiale pentru 1. Aceste
a forma caracteristici
caracteristicile ale diferitelor
multi-vedere scale
ale EEG se pot
completează reciproc
pentru
semnale, a obțineeste
structura caracteristici
prezentată EEG
înmai cuprinzătoare
zona legate de
galbenă din Figura imaginile
1. Aceste motorii. ale diferitelor scale se pot completa reciproc
caracteristici
pentru a obține caracteristici EEG mai cuprinzătoare legate de imaginile motorii.
2.2.1. Caracteristici domeniului timp

2.2.1. Caracteristici domeniului timp

Semnalul EEG original este semnalul electric variabil în timp al activității din grupul creierului
celule
Semnalulcolectate desemnalul
EEG original este instrumentul electronic.
electric care variază în timp alIn curs din
activității degrupul
achizitie a fost
de zgomote dotat
și artefacte cu cateva
cerebrale.
Am folosit setul de instrumente EEGLAB în MatLab pentru a efectua eliminarea zgomotului și îndepărtarea artefactelor
celule colectate de instrumentul electronic. În procesul de achiziție, a fost echipat cu o anumită procesare pe semnalul EEG original
și a luat
zgomote semnalulAm
și artefacte. EEGfolosit
procesat
setulcade
caracteristică din domeniul
instrumente EEGLAB timpului,
în MatLab pentru a efectua eliminarea zgomotului, iar artefactul l-a
desemnat ca F1.
procesarea de eliminare pe semnalul EEG original și a luat semnalul EEG procesat ca caracteristică din domeniul timpului, l-a notat ca
1.
2.2.2. Caracteristicile domeniului de frecvență

În analiza
2.2.2. Caracteristicile imaginilor
domeniului motorii EEG, folosim de obicei banda de frecvență de 8–30 Hz, care acoperă
de frecvență
ritmuri senzoriomotorii mu i beta. Cu toate acestea, în această bandă de frecvență unică, unele frecvențe inutile
În analiza imaginilor motorii EEG, folosim de obicei banda de frecvență de 8-30 Hz, care acoperă componentele, va
reduce efectul de clasificare al sistemului. În plus, frecvența de răspuns
ritmuri senzoriomotorii mu i beta. Cu toate acestea, în această bandă de frecvență unică, unele frecvențe inutile pot
varia în funcție de subiectul diferit. Prin urmare, această lucrare a folosit filtre trece-bandă pentru a împărți
componentele vor reduce efectul de clasificare al sistemului. În plus, frecvența de răspuns banda de frecvență utilă (8–
30 Hz) în semnalul EEG în mai multe sub-benzi, inclusiv 8–12 Hz,
poate varia în funcție de subiectul diferit. Prin urmare, această lucrare a folosit filtre trece-bandă pentru a împărți 12–16 Hz, 16–20
Hz, 20–24 Hz și 24–30 Hz, făcând-o să fie caracteristica domeniului de frecvență F2.
banda de frecvență utilă (8–30 Hz) din semnalul EEG în mai multe sub-benzi, inclusiv 8–12 Hz, 12–16 Hz, 16–20 Hz, 20–24 Hz și 24–30
Hz, a făcut-o să fie caracteristica domeniului de frecvență 2.2.3. Caracteristicile domeniului timp-frecvență 2.

Domeniuldomeniului
2.2.3. Caracteristicile timp-frecvență descrie caracteristicile de frecvență ale semnalului în diferite
timp-frecvență
perioade de timp. Este compatibil cu informațiile din domeniul timp și al frecvenței
Domeniul timp-frecvență descrie caracteristicile de frecvență ale semnalului în semnal de timp diferit și poate
reflecta mai pe deplin caracteristicile semnalului. Transformarea wavelet este comună
perioade. Este compatibil cu informațiile din domeniul timp și din domeniul frecvenței ale semnalului și cu metoda de transformare a
semnalelor din domeniul timpului în domeniul timpului și al frecvenței, dar doar recompune
poate reflecta mai pe deplin caracteristicile semnalului. Transformarea wavelet este o metodă comună pentru partea de
joasă frecvență a semnalului atunci când se descompune și nu continuă să descompună
transformarea semnalelor din domeniul timpului în domeniul frecvenței timpului, dar recompune doar partea de
frecvență înaltă joasă, ceea ce face ca efectul său de descompunere asupra semnalului să scadă pe măsură ce semnalul este
parte de frecvență a semnalului atunci când se descompune și nu continuă să descompună, crește
frecvența înaltă [27]. Din fericire, descompunerea pachetelor wavelet poate rezolva exact această problemă.
partea de frecvență, care face ca efectul său de descompunere asupra semnalului să scadă pe măsură ce frecvența semnalului
În comparație cu descompunerea wavelet, descompunerea pachetului wavelet are o diviziune mai detaliată a
crește [27]. Din fericire, descompunerea pachetelor wavelet poate rezolva exact această problemă. Comparat planul timp-
frecvență al semnalului și are, de asemenea, un efect de analiză bun asupra frecvenței înalte
cu descompunerea wavelet, descompunerea pachetului wavelet are o diviziune mai detaliată a planului de frecvență temporală a
semnalului și are, de asemenea, un efect de analiză bun asupra părților de înaltă frecvență care reprezintă detaliile semnalului
[28]. Prin urmare, WPD a fost utilizat pentru a obține caracteristici timp-frecvență ale semnalelor EEG din această lucrare.
Machine Translated by Google

Senzori 2020, 20, 3496 5 din 16

părți reprezentând detalii de semnal [28]. Prin urmare, WPD a fost utilizat pentru a obține caracteristici timp-frecvență ale
semnalelor EEG din această lucrare.

În abordarea CSP, presupunem că matricele X1 și X2 sunt semnale EEG multicanal în cadrul sarcinii de imagine motorie a
două clasificări. În ecuația (1), putem obține semnalul Zi filtrat prin filtrul spațial W și caracteristicile spațiale fi :

Zi = W × Xi

Zi(t) 2
t=1

Pentru datele imaginilor motorii cu patru clase, am ales strategiile unu versus odihnă și două versus două.
Am extras caracteristicile spațiale ale F1, F2 și , respectiv, F3 și am înregistrat caracteristicile extrase ca F1
0 0 0

Caracteristicile F1 , F2 , și F3
0 0 0

0 0 0
F3

Înglobarea parametrică a vecinilor stocastici distribuite în t (pt-SNE) este o nouă tehnică de reducere a
dimensionalității parametrilor. Este o rețea neuronală profundă de tip feedforward compusă din RBM-uri
multistrat și backpropagation [26]. A folosit rețeaua RBM pentru a învăța maparea parametrilor din spațiul de
dimensiuni mari X la spațiul potențial Y și a adoptat metoda t-SNE pentru a optimiza rețeaua în
Machine Translated by Google

Senzori 2020, 20, 3496 6 din 16

antrenament [33]. Procesul de antrenament al algoritmului de reducere a dimensiunii pt-SNE include în principal
următoarele două etape. În primul rând, am antrenat o stivă de RBM-uri, apoi am folosit stiva de RBM-uri pentru a
construi o rețea neuronală profundă pre-antrenată, numită pre-training. În al doilea rând, rețeaua preantrenată a
fost reglată prin utilizarea backpropagation, care este reducerea la minimum a funcției de cost care poate reține
structura locală a datelor în spațiul latent, numită finetuning.

2.3.1. Preantrenamentul

În rețelele neuronale tradiționale, setarea greutăților inițiale este foarte importantă. Când greutatea
inițială a fost setată la mai mare, ar fi găsită valoarea minimă locală mai proastă. Când am ales greutăți
inițiale mai mici, valoarea gradientului în stratul inițial a devenit mai mică, ceea ce a condus la situația că
rețeaua neuronală multistrat nu poate fi antrenată [25,34]. Pentru a evita această problemă, am folosit deep
RBM ca algoritm de pretraining pentru deep learning, care constă dintr-o rețea RBM multi-strat și învață doar
un strat de caracteristici la un moment dat [34].
În cadrul pregătirii preliminare, munca principală a fost antrenarea stivei de RBM-uri și apoi construirea rețelei
neuronale feed-forward pentru preinstruire. RBM este un model bazat pe energie cu straturi vizuale și ascunse [34,35].
Datele originale sunt modelate în conformitate cu nodul vizual v, iar structura potențială a
datelor este modelată în funcție de nodul ascuns h. Structura rețelei este demonstrată în Figura 3a.
Energia de distribuție
EXAMINARE PEER comună a stratului vizibil și a stratului ascuns este obținută din ecuația (3). În cazul în care vi Senzori 2020, 20, x PENTRU 7 din 16

iar bi reprezintă nodurile vizuale și părtinirea lor, hj și cj reprezintă nodurile ascunse și părtinirea acestuia,
iar
RBM.WijApoi,
reprezintă ponderea
algoritmul conexiunii
de divergență dintre nodurile
contrastiva vi și hjpentru
este utilizat : antrenate ca intrarea
a prezice cea maiprimului strat al arețelei
bună valoare
fiecărui nod de strat ascuns. În cele din urmă, valoarea nodului ascuns obținut în (3) pasul anterior este
E(v,
antrenat ca date de intrare pentru al h) = strat
doilea X Wijvihj X bivi
al RBM. Până cjhj
X moment,
în acest primul strat de pregătire a
i
rețelei RBM este finalizat, iar acest proces estei,jrepetat pentru a finalizaj antrenamentul întregii rețele RBM
multistrat pentru a oferi pregătire pentru etapa ulterioară de reglare fină.

d'1 d
b'1 c'1 h''1
2500
a1 h1 h'1 d1 e1 RBM

v1 b1 c1 d'2 h'''1
b'2 c'2
h''2 d2 2500
a2 h2 h'2 e2
v2 b2 c2 h'''2 500
d'3
RBM
h''3 d3
. . . .
. . . .
. . . . . 500
un .
bm cm
. ro
500
vn
dk h'''d RBM

hm am
sunt cm h''k
d'k 500

Stratul 1
Caracteristica
Stratul 2 Stratul 4
Stratul 3 Multi-View RBM

(A) (b)

Figura 3. Ode
structură structură de rețea
rețea a mașinii a mașinii restricționate
Boltzmann Boltzmann restricționate (RBM). (a)schematică
(RBM). (a) Diagrama Diagrama schematică a patru
a rețelei RBM Figura 3.
a straturilor; (b)O
RBM cu patru straturi; (b)
Diagrama schematică a numărului de noduri de strat ascunse din fiecare strat al rețelei RBM.
Rețeaua RBM.

În ceea
activarea ce Condiția
2.3.2. privește de
structura
reglarespecială a RBM, nod
fină a fiecărui atunci când este
ascuns este dată starea nodurilor
independentă vizuale,
condiționat, deci
probabilitatea de activare a ascunse Pentru a obține parametrii de rețea mai precisi și caracteristici de
deep learning mai recunoscute, nodul j este prezentată în ecuația (4). Deoarece structura RBM
este simetrică, condiția de activare a t-SNE adoptat pentru a ajusta parametrii rețelei RBM multistrat de
preantrenare, iar procesul fiecărui nod vizual este, de asemenea, independent condiționat atunci când
este dată starea nodurilor ascunse. a retropropagarii este prezentată în Figura 4. În algoritmul SNE,
am presupus că punctele de date Adică probabilitatea de activare a nodului vizual i este prezentată
în ecuația (5) în spațiul de dimensiuni înalte, iar spațiul de dimensiuni mici au urmat o Distribuția
gaussiană și a folosit probabilitățile dintre două puncte de date atât în spațiul de date, cât și în spațiul
1
latent în loc de distanțe P(hj = 1|v) = (4) și a minimizat diferența dintre ele [36]. Cu toate acestea, va
reduce distanța
spațiul de dimensiuni reduse, ceeaCa de 1 + exp
ceurmare, ( grav
este maidupă P i Wijvi
pentru cj)sigmoid(cj
=
două punctele
punctede
+ Xdatesunt
Wijvi)
după maparea în
ce au fost mapate în care
spațiul
i demai îndepărtate.
dimensiuni joase,
punctele din diferite clustere naturale din spațiul de dimensiuni înalte nu sunt în mod evident separate
sau chiar agregate, ceea ce este problema de aglomerare a algoritmului SNE [37].

În ceea ce privește soluționarea problemei înghesuirii, forma de distribuție a spațiului de dimensiuni

înalte a rămas neschimbată, iar distribuția gaussiană în spațiul de dimensiuni joase a fost înlocuită cu t
Machine Translated by Google

Senzori 2020, 20, 3496 7 din 16

1
P vj = 1|h = = sigmoid(bi + X Wijhj) (5)
1 + exp ( P j Wijhj bi) j

Modelul parametrilor RBM se învață făcând distribuția marginală pe vizual

nodurile din modelul, Pmodel(v), este infinit aproximativ de distribuția de date cu dimensiuni mari
Pdata(v). Deoarece starea nodului vizual sub model este necunoscută, modelul RBM este învățat
folosind divergenta contrastiva [35]. Divergența contrastiva este un algoritm de învățare rapidă pentru
RBM care măsoară diferența dintre distribuția modelului și distribuția datelor prin
KL(Pdata||Pmodel) KL(P1||Pmodel), unde P1(v) reprezintă distribuția de date a nodurilor vizuale care
efectuează o iterație RBM.
În preantrenament, un RBM cu patru straturi este aplicat antrenamentului pe straturi care este structura
X-500-500-2500-d, așa cum se arată în Figura 3b. Unde X reprezintă dimensiunea caracteristicilor cu mai multe vizualizări
F și d reprezintă dimensiunea caracteristică după învățarea RBM. În antrenamentul RBM-urilor, sigmoidul
funcția a fost folosită ca funcție de activare în primele trei straturi ascunse ale rețelei, ceea ce face
stratul ascuns are distribuție Bernoulli. În această parte, rata de învățare a fost de 0,007, ponderea a fost
0,005, numărul de iterații a fost 70 și impulsul a fost de 0,5 pentru primele zece iterații și 0,7 pentru
restul. În etapa finală a antrenamentului RBM, al patrulea strat ascuns, care urmărește să facă rezultatul
rețeaua mai stabilă, am folosit funcția de activare liniară. În această secțiune, rata de învățare a fost
0,0002, greutatea a fost 0,003, numărul de iterații a fost 80 și impulsul a fost 0,6 pentru prima
zece iterații și 0,8 pentru restul. În primul rând, caracteristica multi-vizualizare F este antrenată ca intrare a primului strat de
Rețeaua
Senzori RBM.
2020, Apoi, algoritmul
20, x PENTRU EXAMINARE de divergență
DE LA contrastiva este utilizat pentru a prezice cea mai bună valoare a fiecăruia
8 din 16

PEER , nod strat ascuns. În cele din urmă, valoarea nodului ascuns obținut în pasul anterior este antrenată ca
2 + 2în acest moment, primul nivel de pregătire a rețelei RBM este
datele de intrare pentru al doilea strat al RBM. Până
=
finalizat, iar acest proces este (repetat
|) pentru a finaliza
( ) ( (antrenamentul
|) întregii rețele RBM multistrat
(11)
pentru a asigura pregătirea pentru etapa ulterioară de reglare fină. +1
2
( | ))(1 + ‖ ( | ) ( | )‖ /) 2

2.3.2. Reglaj fin

Pentru a promova calculul matricei comune de distribuție a probabilității în mare Pentru a obține parametri de
rețea mai precisi și caracteristici de învățare profundă mai recunoscute,
spațiu dimensional necesar în parametrul t-SNE, trebuie să subdivizăm datele de antrenament în t-SNE pe care l-am
adoptat pentru a ajusta parametrii rețelei RBM multistrat de preantrenament și
loturi. Aici, 100 de puncte de date au fost selectate ca un lot, iar algoritmul de gradient conjugat a fost procesul de
propagare inversă este prezentat în Figura 4. În algoritmul SNE, am presupus că
efectuat pentru a minimiza diferența de distribuție a probabilității comune între punctele de date înalte din spațiul de
dimensiuni înalte și spațiul de dimensiuni joase au urmat un gaussian
spațiu vizual și spațiu potențial de dimensiuni reduse. Apoi au fost adoptate 50 de iterații de propagare
inversă și au fost utilizate probabilitățile dintre două puncte de date atât în spațiul de date, cât și în cel latent.
pentru
spațiulaîn
corecta
loc deparametrii
distanțe și parametrului t-SNE retea.
a minimizat diferența Pentru
dintre experimentele
ele [36]. de retropropagare,
Cu toate acestea, se va reduce
perplexitatea distribuțiilor condiționate a fost setată la 25, care este varianța distanței gaussiene a
punctelor de date după maparea în spațiul de dimensiuni reduse, ceea ce este mai grav.
distribu iile. Din aceasta, obținem parametrii de rețea ajustați și completăm backpropagarea pentru două puncte care
sunt mai îndepărtate. Ca rezultat, după ce a fost mapat în spațiul de dimensiuni reduse,
a rețelei neuronale de feed-forward profunde. În faza de ajustare a parametrilor rețelei, punctele din diferite
clustere naturale din spațiul de dimensiuni înalte nu sunt în mod evident separate sau
gradul de libertate al distribuției t este un parametru care are o influență mai mare asupra rețelei. Am
agregat chiar și, ceea ce este problema de aglomerare a algoritmului SNE [37].
va discuta cum să alegeți valoarea lui în următoarea Secțiune 2.4.

Stratul 1 Stratul 2 Stratul 3 Stratul 4

h h' h'' h'''
RBM RBM RBM RBM
Caracteristica
Multi-View

t-SNE

Figura 4. Schema schematică a t-SNE ajustată rețelei de pre-antrenament RBM.

Figura 4. Schema schematică a t-SNE ajustată rețelei de pre-antrenament RBM.

În ceea ce privește soluționarea problemei aglomerației, forma de distribuție a înalte-dimensionale

2.4. Optimizarea parametrilor rețelei
spațiul neschimbat, iar distribuția gaussiană în spațiul de dimensiuni joase a fost înlocuită cu
lucruÎn
se întregul
datoreazăproces
faptului
de învățare
că rezultatele
a parametrului
potrivirii gaussiene
t-SNE, există
tind doi
să parametri,
devieze de dimensiunea
la locația t-distribuție [37]. Acest
și graduleșantioanelor
majoritatea de libertate, care
atunci auseoconfruntă
când influențăcu mai
valorimare asupra
aberante. rezultatului
Distribuția învățării.
t este o distribuție Reprezintă
tipică cu coadă lungă și aceasta

dimensiunea
este mai mare
caracteristicii
poate reținedupă
contribuțiile
algoritmul
aduse
de de
învățare
un număr
profundă
mic de cu
valori
parametrul
aberante.
t-SNE.
DupăCumaparea
cât valoarea
spațiului de date la
cu cât, sunt mai multe informații despre caracteristici, dar cu atât este mai mare redundanța. Cu ,
cât valoarea este mai mică, cu atât sunt mai puține informații despre caracteristici și, de
asemenea, mai rapid procesele ulterioare, dar cu atât mai mici nu pot mapa complet informațiile
, de
eficiente ale datelor cu dimensiuni mari. Și este gradul de libertate al distribuției t utilizat
reglareîn
fină.
etapa
Cu cât este mai mare valoarea cozii distribuției t mai subțire. Din aceasta, valoarea depinde de
dimensiunea problemei de aglomerare. A mllr vl f wll rl n lrr rn wn nrl lr whl lrr vl f
Machine Translated by Google

Senzori 2020, 20, 3496 8 din 16

spațiu latent modelat de rețeaua neuronală feedforward, termenul de qij este definit după cum
urmează, unde α reprezintă gradele de libertate ale distribuției Student-t:

α+1
2 2
1 + || f(xi |W) f xj |W || /α
qij = α+1
(6)
2
1+
P ||
k,l f(xk |W) f(xl |W)||2 /α

Astfel, gradientul funcției de cost constituit de probabilitate comună față de pondere

W se exprimă ca:
δC δC δ f(xi |W)
δW
= δW
(7)
δ f(xi |W)

Printre ei:

α+1
δC 2α + 2 2 2
= α X pij qij (f(xi |W) f(xj |W))(1 + || f(xi |W) f xj |W || /α) (8)
δ f(xi |W)
j

Pentru a promova calculul matricei de distribuție a probabilității comune P în spațiul dimensional înalt
necesar în parametrul t-SNE, trebuie să subdivizăm datele de antrenament în loturi. Aici, 100 de puncte de
date au fost selectate ca un lot și a fost realizat un algoritm de gradient conjugat pentru a minimiza diferența de
distribuție a probabilității comune între spațiul vizual de dimensiuni mari și spațiul potențial de dimensiuni
reduse. Apoi au fost adoptate 50 de iterații de backpropagation pentru a corecta parametrii rețelei parametrului
t-SNE. Pentru experimentele de retropropagare, perplexitatea distribuțiilor condiționate Pi a fost setată la 25,
care este varianța σi a distribuțiilor gaussiene.
Din aceasta, obținem parametrii de rețea ajustați și completăm propagarea înapoi a rețelei neuronale de feed-
forward profunde. În faza de ajustare a parametrilor rețelei, gradul de libertate α al distribuției t este un
parametru care are o influență mai mare asupra rețelei. Vom discuta cum să alegem valoarea lui α în
următoarea Secțiune 2.4.

2.4. Optimizarea parametrilor rețelei

În întregul proces de învățare a parametrului t-SNE există doi parametri, dimensiunea d și gradul de
libertate α, care au o influență mai mare asupra rezultatului învățării. D reprezintă dimensiunea caracteristicii
după algoritmul de învățare profundă cu parametrul t-SNE . Cu cât valoarea lui d este mai mare, cu atât sunt mai
multe informații despre caracteristică, dar cu atât este mai mare redundanța. Cu cât valoarea lui d este mai mică,
cu atât informațiile caracteristice sunt mai puține și, de asemenea, procesele ulterioare sunt mai rapide, dar cu cât d
mai mic nu poate mapa complet informațiile eficiente ale datelor cu dimensiuni mari. Și α este gradul de libertate
al distribuției t utilizat în etapa de reglare fină. Cu cât valoarea lui α este mai mare, cu atât coada distribuției t este
mai subțire. Din aceasta, valoarea lui α depinde de dimensiunea problemei de aglomerare. O valoare mai mică a α
va duce la o separare mai mare între clusterele naturale, în timp ce o valoare mai mare a α va cauza abateri ale
eșantionului din cauza punctelor anormale. Prin urmare, găsirea optimilor d și α este deosebit de importantă în
algoritmul parametrului t-SNE.
Referindu-ne la găsirea combinației optime de parametri, am folosit setul de date al primului subiect din
seturile de date BCI competiția IV 2a și am efectuat o căutare transversală pentru a găsi valorile optime ale d și α.
Setarea intervalului de căutare transversală d la 5–70 cu o dimensiune a pasului de 5. Și intervalul de căutare
transversală a α a fost 4–48, dimensiunea pasului a fost 4. Folosind învățarea profundă a caracteristicilor de
vizualizare multiplă propusă, setarea diferitelor dimensiuni latente d și gradele de libertate α ale distribuției t
pentru a calcula acuratețea clasificării, rezultatele sunt prezentate în Figura 5. Se poate observa clar că cu cât
dimensiunea d este mai mare, cu atât precizia este mai mare. Cel mai bun rezultat de clasificare apare atunci când
valoarea lui d este 60 sau 70. Având în vedere eficiența algoritmului, a fost selectată dimensiunea spațială latentă
d = 60. Și rețeaua cu gradul de libertate α = 32 a avut cel mai bun grad de reducere a caracteristicilor. Prin urmare,
gradul de libertate al distribuției t a fost selectat ca α = 32.
Machine Translated by Google

Senzori 2020, 20, 3496 9 din 16

Senzori 2020, 20, x PENTRU EXAMINARE DE PARTEA 9 din 16

Figura
Figura5.5.Selectarea optimăa aparametrilor
Selecția optimă parametrilorαșiși.d.

2.5. Selectarea algoritmului Classifer

Pentru caracteristicile extrase cu mai multe vizualizări profunde, un algoritm de clasificare adecvat a identificat tipurile acestora,
Pentru caracteristicile extrase cu mai multe vizualizări profunde, un algoritm de clasificare adecvat a identificat
tipurile
precumacestora,
și SVM aiar SVM
fost a fost algoritmul
algoritmul de învățare
de învățare automatăautomată
utilizatutilizat
pentrupentru clasificare.
clasificare. Din cauza
Datorită convenabilității
funcționării sale sale
convenabile și procesării ușoare a seturilor de date de eșantioane mici, a fost utilizat pe scară largă [38,39]. În plus,

pe numărul de mașini vector suport în loc de dimensiunea spațiului eșantion, ceea ce a evitat
dezastru dimensional. Prin urmare, am ales SVM ca clasificator pentru învățarea profundă a funcțiilor multi-view în
această hârtie.

3. Rezultate

În această secțiune, recurgem la metoda propusă pentru a testa seturile de date BCI competiție IV 2a.

indicatori de evaluare în experiment. Toate experimentele au fost efectuate cu mediul Matlab 2018b , folosind Intel Core
i7–8750h 2,2 GHz cu 16 GB de RAM.
Performanța de recunoaștere a algoritmului experimental a fost evaluată prin clasificare
Performanța de recunoaștere a algoritmului experimental a fost evaluată prin precizia clasificării și scorul
kappa [4]. Dintre acestea, rata de precizie a clasificării este cea mai frecventă

metrica utilizată pentru a evalua performanța unui clasificator. S-a obținut din matricea de confuzie prin raportul dintre
suma elementelor diagonale și numărul total de probe:

PQ
=1 nii
i=1 × 100%
100% ×
Acc = (9)
N

scorul reflectă generalizarea modelului și consistența în tratarea diferitelor categorii [40].

reflectă generalizarea modelului și consistența în tratarea diferitelor categorii [40]. Poate
se obține folosind următoarea ecuație:

1po pe
kappa = (10)
1 pe
Machine Translated by Google

Senzori 2020, 20, 3496 10 din 16

unde po este egal cu precizia, iar pe este suma pentru produsul numărului real de eșantioane pentru fiecare
clasa și numărul de eșantioane prezis corect împărțit la pătratul numărului de eșantioane:

a1 × b1 + a2 × b2 + · · · + am × bm
pe = (11)
n×n

Numărul real de mostre din fiecare clasă este a1, a2, . . . , am, respectiv, și numărul de
probe din fiecare clasă prezis corect este b1, b2, . . . , respectiv bm . Numărul de clasă de mostre este
m și n este numărul total de probe.
În experimentele acestei lucrări, am extras caracteristicile cu o singură vizualizare și cu mai multe vizualizări ale tuturor
subiecții din setul de date BCI competiția IV 2a și au folosit SVM pentru a clasifica aceste caracteristici. Acuratetea
de clasificare și scorul kappa sunt prezentate în Tabelul 1. Caracteristica cu o singură vizualizare rezultă în tabel
reprezintă rezultatele clasificării caracteristicilor după învățare profundă când doar domeniul temporal, frecvența
Au fost luate în considerare caracteristicile domeniului sau frecvența timpului ale semnalului EEG. Se poate vedea din
tabelul care efectuează clasificarea atunci când se ia în considerare doar domeniul frecvenței sau frecvența timp
caracteristicile domeniului este mai bună decât aceea când au fost luate în considerare numai caracteristicile domeniului timp
pe majoritatea setului de date. Numai caracteristica domeniului timp al setului de date furnizată de al nouălea subiect este
superior celorlalte două caracteristici cu o singură vizualizare. Acest lucru se poate datora diferenței de frecvență a
Semnal EEG între acest subiect și alții, ceea ce duce la ignorarea anumitor caracteristici de frecvență
la extragerea caracteristicilor domeniului frecvență și timp-frecvență. În plus, găsim în tabel
că performanța de clasificare a caracteristicilor multi-view după învățarea profundă este mult mai bună decât atât
a caracteristicilor cu o singură vizualizare. Mai ales când efectul de clasificare pentru caracteristicile cu o singură vizualizare este scăzut, după

folosind metoda de învățare profundă a caracteristicilor multi-view, efectul de clasificare este mult îmbunătățit. Aceasta este
datorită faptului că caracteristicile cu o singură vizualizare au pierdut unele informații relevante importante, dar profunde
metoda de învățare a caracteristicilor cu vizualizare multiplă poate exprima mai pe deplin informațiile relevante despre imaginile motorii.

Tabelul 1. Precizia clasificării și compararea scorului kappa între caracteristica Multi-view și

Vedere unică aplicată pe setul de date 2A pentru competiția IV BCI.

Metode Timp de vizualizare unică Vedere unică Vedere unică Multi-View

Domeniu Domeniul de frecventa Timp-Frecvență

Subiectul 1 75,8929 (0,6786) 80,3571 (0,7381) 79,4643 (0,7262) 86,6071 (0,8214)

Subiectul 2 50,4505 (0,3399) 54,9550 (0,3994) 52,2523 (0,3635) 61,2613 (0,4838)
Subiectul 3 76,3636 (0,6849) 80,9091 (0,7454) 79,0909 (0,7211) 87,2727 (0,7696)
Subiectul 4 58,8000 (0,4506) 70,8000 (0,6102) 64,6000 (0,5278) 75,2000 (0,6664)
Subiectul 5 47,2727 (0,2954) 45,4545 (0,2709) 50,9091 (0,3439) 64,5455 (0,5024)
Subiectul 6 44,3182 (0,25771) 48,8636 (0,31709) 47,7273 (0,30111) 65,9091 (0,5301)
Subiectul 7 (0,25771) (0,25771) (0,31709) (0,31709) 64,6000 (0,5278) 83,7838 (0,7837)
Subiectul 8 (0,25771) (0,25771) 70,8000 (0,6102) 50,9091 (0,3439) 89,9083 (0,8655)
Subiectul 9 47,7273 (0,36,7273) (0,36,727)
92,0792 (0,8942)

In medie 65,9511 (0,5458) 69,3812 (0,5914) 66,4586 (0,5523) 78,5074 (0,6278)

Precizia recunoașterii și scorul kappa al semnalelor EEG de patru clase obținute folosind deep
Metoda de învățare a caracteristicilor cu vizualizare multiplă propusă în această lucrare sunt enumerate în Tabelele 2 și 3. În aceste tabele,

am comparat metoda cu alte metode care se ocupă de același set de date. Se poate vedea din
rezultă că utilizarea metodei noastre de clasificare a datelor EEG a imaginilor motorii a avut o performanță excelentă în ceea ce privește precizia

si consistenta.
În tabelul 2, algoritmul FBCSP este una dintre cele mai vechi metode aplicate imaginilor motorii cu mai multe clase.
Semnale EEG [41]. Este un algoritm clasic îmbunătățit de CSP, care a folosit clasificatorul SVM pentru caracteristici
extras de FBCSP. SVM-FBCSP este o versiune îmbunătățită a FBCSP, care a recomandat Hilbert
transforma pentru a extrage anvelopa semnalului și apoi a ales SVM pentru a clasifica caracteristicile [42]. BO este un
metoda de optimizare a hiperparametrilor care a folosit optimizarea bayesiană pe baza extragerii CSP
caracteristici [43]. În comparație cu cei trei algoritmi, pentru al șaptelea subiect, precizia de clasificare a
Machine Translated by Google

Senzori 2020, 20, 3496 11 din 16

SVM-FBCSP este mai bun decât metoda noastră, dar precizia medie a algoritmului nostru este cu 10,7574% mai mare
decât FBCSP, cu 10,3774% mai mare decât BO și cu 7,3274% mai mare decât SVM-FBCSP. Aghaei et al. propus
un algoritm de tipar spațial comun de generalizare spațio-spectrală, numit SCSSP [44]. Metoda
a luat în considerare caracteristicile spectrale ale semnalelor EEG, dar metoda noastră a luat în considerare domeniul timpului,
caracteristicile domeniului frecvență și domeniul timp-frecvență. Pe majoritatea setului de date, clasificarea
efectul metodei noastre este mai bun decât algoritmul SCSSP. dar precizia clasificării celui de-al șaptelea subiect
este mai mic decât SCSSP, care este redus doar cu 3,7162.%. Prin urmare, precizia de clasificare a noastră
metoda este mai bună decât cea a altor algoritmi CSP îmbunătățiți.

Tabelul 2. Comparația preciziei clasificării cu alte rezultate publicate aplicate la competiția BCI
Setul de date IV 2A. Cel mai bun rezultat pentru fiecare subiect este afișat cu caractere aldine.

FBCSP BO Monolitic FBCSP-SVM SCSSP DFFN Propus

Metode CW-CNN [42]
[41] [43] Rețea [46] [42] [44] [7] Metode

Subiectul 1 76.00 82,12 83,13 82,29 86,11 67,88 83,20 86,6071

Subiectul 2 56.50 44,86 65,45 60,42 60,76 42,18 65,69 61,2613
Subiectul 3 81.25 86,6 80,29 82,99 86,81 77,87 90,29 87,2727
Subiectul 4 61.00 66,28 81,60 72,57 67,36 51,77 69,42 75.2000
55.006
Subiectul 5 Subiectul 48,72 76,70 60,07 62,50 50,17 61,65 64,5455
45.25 Subiectul 7 53,3 71,12 44,10 45,14 45,97 60,74 65,9091
Subiectul 8 81.2582,75 72,64 84,00 86,11 90,63 87,5 85,18 83,7838
Subiectul 9 82,33 82,66 77,08 81,25 85,79 84,21 89,9083
70,75 76,35 80,74 75,00 77,08 76,31 85,48 92,0792

In medie 67,75 68.13 78,41 71.18 73.07 65.05 76,44 78,5074

Tabelul 3. Comparația valorii Kappa cu alte rezultate publicate aplicate pe setul de date 2A pentru competiția IV BCI.
Cel mai bun rezultat pentru fiecare subiect este afișat cu caractere aldine.

SS-MEMDBF Miao Monolitic FBCSP sMLR TSSM Propus

Metode CW-CNN [42]
[45] et al. [2] Rețea [46] SVM [42] [47] SVM [48] Metode

Subiectul 1 0,86 0,6481 0,67 0,7640 0,8150 0,7407 0,70 0,8214

Subiectul 2 0,24 0,3657 0,35 0,4720 0,4770 0,2685 0,32 0,4838
Subiectul 3 0,70 0,6632 0,65 0,7730 0,8240 0,7685 0,75 0,7696
Subiectul 4 0,68 0,5046 0,62 0,6340 0,5650 0,4259 0,54 0,6664
Subiectul 5 0,36 0,3241 0,58 0,4680 0,5000 0,2870 0,32 0,5024
Subiectul 6 0,34 0,2963 0,45 0,2550 0,2690 0,2685 0,34 0,5301
Subiectul 7 0,66 0,7188 0,69 0,8150 0,8750 0,7315 0,70 0,7837
Subiectul 8 0,75 0,6354 0,70 0,6940 0,7500 0,7685 0,69 0,8655
Subiectul 9 0,82 0,6458 0,64 0,6670 0,6940 0,7963 0,77 0,8942

In medie 0,60 0,5336 0,59 0,6160 0,6410 0,5617 0,571 0,6278

Mai mult, SS-MEMDBF [45] este o metodă de recunoaștere a sarcinilor de imagine motorie bazată pe multivariate.
descompunerea în mod empiric propusă de Gaur și colab. Scorul kappa al acestui algoritm este mai bun
decât algoritmul nostru pe primul și al patrulea set de date, dar scorul kappa al algoritmului pe al doilea
setul de date este de numai 0,24, în timp ce scorul kappa al metodei noastre este 0,4838. Aceasta arată că clasificarea
rezultatul algoritmului SS-MEMDBF pe cel de-al doilea set de date poate fi orientat către anumite tipuri de sarcini.
În media scorului kappa, algoritmul nostru oferă și o anumită îmbunătățire.
În metoda Monolithic Network [46], autorul a folosit o variantă a bancii de filtre discriminative
model spațial comun (DFBCSP) pentru a extrage caracteristicile semnalului și apoi a dezvoltat un model optimizat pentru Bayes
Rețeaua CNN pentru clasificare. După extragerea caracteristicilor FBCSP, algoritmul CW-CNN intră
le în CNN pentru clasificare [42]. Algoritmul DFFN este o convoluție densă de fuziune a caracteristicilor
rețea neuronală folosind tehnologia CSP și CNN [7]. Acești trei algoritmi au adoptat CNN pentru a învăța
caracteristicile spațiale extrase de CSP. Printre acestea, scorul kappa mediu al CW-CNN
algoritmul este cel mai mare, dar pe al șaselea set de date, scorul kappa al algoritmului este 0,2690, mai mic
decât cel al algoritmului nostru, care este 0,5301. DFFN a obținut rezultate bune la a doua și a treia
seturi de date, dar precizia medie a algoritmului nostru este mai bună decât aceasta. Algoritmul rețelei monolitice
are cele mai bune rezultate de clasificare, dar precizia medie a clasificării și scorul kappa mediu
ale algoritmului sunt mai mici decât metoda propusă în acest articol. Se poate observa că clasificarea
Machine Translated by Google

Senzori 2020, 20, 3496 12 din 16

rezultate obținute prin luarea în considerare a caracteristicilor multi-view ale semnalelor EEG și efectuarea învățării profunde
sunt superioare utilizării doar unei părți a funcțiilor pentru învățare profundă.
În ansamblu, precizia medie de clasificare a metodelor utilizate în acest studiu este de 78,5074%, iar
acuratețea medie a altor metode este între 65,05%–78,41%, ceea ce depășește toți algoritmii de comparație.
Scorul kappa depășește, de asemenea, majoritatea celorlalte metode, având cele mai bune patru scoruri kappa, care sunt
furnizate de subiectele 2, 6, 8 și, respectiv, 9. Prin urmare, algoritmul de învățare a caracteristicilor multi-view profunde
propus în această lucrare are un efect bun asupra recunoașterii intenției de imagine motorie a semnalului EEG.
În plus, am comparat SVM cu unii algoritmi de clasificare utilizați în mod curent, cum ar fi
arbore de decizie, analiză discriminantă liniară (LDA), k-cel mai apropiat vecin (KNN), bayesian naiv (NB)
și clasificatorii de ansamblu (discriminant subspațial (SD)), cu rezultatele prezentate în Tabelul 4. Pentru
acuratețea medie a diferiților algoritmi de clasificare, performanța KNN și arborele de decizie
a fost obișnuită, în timp ce LDA, NB, SD și SVM au avut rezultate bune. Preciziile lor medii au fost mai mari
de 71,74%, în special SVM și SD care au dat 78,5074% și, respectiv, 77,46%. Pentru fiecare set de date,
SVM a dat rezultate de clasificare mai optime, în cazul în care îmbunătățirea atât pe a doua, cât și pe a noua
seturile de date au depășit 3%. Se poate observa că SVM a fost mai potrivit pentru a face față setului nostru de date decât altele
clasificatoare, poate obține rezultate de clasificare ideale și a rezolvat nevoia de clasificatoare. In concluzie,

SVM este un clasificator mai bun pentru algoritmii de învățare a caracteristicilor cu vizualizare profundă.

Tabelul 4. Comparația preciziei cu alți clasificatori. Cel mai bun rezultat pentru fiecare subiect este afișat în
caractere îndrăznețe.

Arborele de decizie a metodelor LDA KNN NB SD SVM

Subiectul 1 74,5 85,4 75.3 82,7 86.3 86,6071

Subiectul 2 43.9 59,0 47,7 50,5 58.2 61,2613
Subiectul 3 78,8 86,9 77,5 85,6 89.1 87,2727
Subiectul 4 48,8 68.2 50,6 63,9 72.4 75.2000
Subiectul 5 52,2 59,6 55,4 57,4 65,4 64,5455
Subiectul 6 44,2 65,2 53,7 62,7 65,7 65,9091
Subiectul 7 73.2 80,3 72.4 81.2 82.1 83,7838
Subiectul 8 70,8 87,7 75.3 84.1 89,5 89,9083
Subiectul 9 75,6 81.4 77,4 77,6 88,4 92,0792

In medie 54,64 74,86 65.03 71,74 77,46 78,5074

4. Discutie

În secțiunea anterioară, am clasificat și recunoscut caracteristica sarcinilor de imagini motorii ale EEG
semnale folosind metoda de învățare a caracteristicilor cu vizualizare multiplă profundă și a comparat efectele de recunoaștere
cu alte metode. Rezultatele comparației arată că, pe seturile de date furnizate de majoritatea subiecților,
caracteristicile extrase cu ajutorul metodei de învățare a caracteristicilor deep multi-view propusă în această lucrare sunt
superioară altor metode de comparare în efectul de clasificare, dar referindu-se la cuprinzător
evaluarea metodei proiectate, o vom discuta din următoarele aspecte.
În primul rând, am considerat că pierderea de informații legate de imaginile motorii în semnalele EEG poate duce
la o reducere a efectului de clasificare. Pentru a exprima mai complet informațiile relevante,
am extras caracteristicile multi-view ale semnalelor EEG. În secțiunea 3, am comparat clasificarea
efectele caracteristicilor de vizualizare multiplă și de vizualizare unică. Aici, am folosit vecinul stocastic t-distribuit
Metoda de încorporare (t-SNE) pentru a analiza vizual caracteristicile cu mai multe vizualizări F și caracteristicile cu o singură vizualizare, F1 ,
0

F2 , și F3 , a primului subiect, așa cum se arată în Figura 6. t-SNE este o reducere a dimensionalității caracteristice
0 0

algoritm de vizualizare, care mapează datele cu dimensiuni mari în spațiul cu dimensiuni reduse
densitatea de probabilitate dintre ele, deci valorile punctelor împrăștiate din figură nu au
semnificație numerică. Cele patru grafice din Figura 6 sunt efectele de vizualizare ale celor patru caracteristici.
Din figură se poate observa că pentru același set de date, pozițiile de distribuție ale celor patru tipuri
sarcinile de imagine motrică sunt în general consecvente în fiecare vizualizare. În figura 6a, distribuția
dintre punctele caracteristice este împrăștiată și există multe tipuri diferite de puncte caracteristice care se suprapun
Machine Translated by Google

Senzori 2020, 20, 3496 13 din 16

împreună. În Figura 6b, punctele caracteristice din patru tipuri sunt strâns distribuite într-o formă de spirală.
În Figura 6c, punctele caracteristice ale fiecărei clase sunt în mod evident distribuite în zone diferite. Caracteristica
distribuția punctelor de același tip este densă, dar nu există o distanță mare față de alte clustere naturale.
Cu toate
Senzorii acestea,
2020, în Figura
20, x PENTRU 6d, punctele
EXAMINARE PEER caracteristice ale fiecărui tip sunt distribuite îndeaproape și există o distanță mare
13 din 16

de la alte tipuri de puncte caracteristice și doar câteva puncte caracteristice intră în alte zone de puncte caracteristice.

caracteristici,
observa că, în punctele
comparație
caracteristice
cu caracteristicile
cu vizualizare
cu o singură
multiplăvizualizare,
de diferite punctele
tipuri sunt
caracteristice
separate efectiv
cu vizualizare
și au mai bune
multiplă
. Se poate
de diferite tipuri
sunt efectiv separate
recognoscibilitate. și au o mai bună recunoaștere.

(A) (b)

(c) (d)

Figura 6. Vizualizarea
Vizualizarea caracteristicilor
caracteristicilor cu o singură
cu o singură vedere
vizualizare și cumulte
și cu mai mai multe
vederivizualizări ale semnalelor
ale semnalelor EEG: (a) Caracteristici
EEG: (a) Caracteristici cu ovedere
cu o singură singură vedere Figura 6.

aale
semnalelor din
semnalelor domeniul
din timpului;
domeniul (b)(b)
timpului; Caracteristici dede
Caracteristici vizualizare unică
vizualizare aleale
unică semnalelor din
semnalelor domeniul
din frecvenței;
domeniul (c)(c)
frecvenței; Caracteristici decu
Caracteristici vizualizare
o singură unică
vizualizare

aa semnalelor
semnalelordin
dindomeniul
domeniultimp-frecvență; (d)(d)
timp-frecvență; Caracteristici cu mai
Caracteristici multe
cu mai vizualizări.
multe vizualizări.

Apoi, am
Apoi, am adoptat
adoptat algoritmi
algoritmi de
de învățare
învățare profundă
profundă pentru
pentru aa reduce
reduce dimensiunile
dimensiunile caracteristicilor
caracteristicilor multi-view
cu mai multe vizualizări
și pentru a
îmbunătăți eficiența
îmbunătățirea computațională.
eficienței Această
de calcul. Această lucrare
lucrare a folosit
a folosit algoritmul
algoritmul parametrului
parametrului t-SNEt-SNE pentru
pentru învățarea profundă. În
procesulare.
învă de În
învățare,
procesulalgoritmul a folosit
de învățare, distribuția
algoritmul probabilității
a folosit distribuțiaîntre
probabilității între punctele de date de date pentru a
modelade
puncte înmodelat
spațiul latent, a reținut
în spațiul caracteristicile
latent, efective ale datelor,
au păstrat caracteristicile efectivea eliminat
ale datelor, au eliminat influența caracteristicilor
redundante
influența asupra rețelei,
caracteristicilor au stabilit asupra
redundante o separare eficientă
rețelei, între
a stabilit o separare eficientă între clusterele naturale naturale, a rezolvat
problemaa aglomerației
clustere, spațiului
rezolvat problema potențial, a
aglomerației îmbunătățit
spațiului precizia
potențial, clasificării.precizia clasificării. Caracteristicile sale neliniare l-
a îmbunătățit
au făcut să nu fie
Caracteristicile respingător
neliniare l-au atunci
făcutcând
să încorporează date neliniare
nu fie respingător atuncicu dimensiuni
când mari în datelor neliniare cu
încorporarea
dimensiuni
spațiu mari în spațiul
cu dimensiuni cuÎn
reduse. dimensiuni reduse.
optimizarea În optimizarea
parametrului parametrului
de rețea, dimensiuneadeoptimă
rețea α, a
dimensiunea optimă a
datelor în spațiul
latentdin
datele trebuie
spațiulmodificată. Acesta poate
latent să fie modificate. fi motivul
Acesta pentrupentru
poate fi motivul care valoarea gradului
care valoarea de de
gradului libertate
libertateαse
este
referă la
este legat de
dimensiunea dimensiunea
intrinsecă intrinsecălatentă.
și dimensiunea și dimensiunea latentă. Când
Când dimensiunea dimensiunea
intrinsecă intrinsecă este mai mare cu cât dimensiunea
este neschimbată,
latentă estecu
neschimbat, stabilită, cu atât este
cât dimensiunea mai mic
latentă gradul
este de libertate
mai mare, cu atât optim. Gradul
este mai de libertate
mic gradul de libertate optim. Este legat de numărul de
punctede
gradul anormale.
libertateCa efect
este dede
legat clasificare,
numărulmetoda propusă
de puncte a fostÎn
anormale. mai bună
efect de clasificare, propus
decât unii
metoda algoritmi
a fost îmbunătățiți
mai bună de extracție
decât niște algoritmi a caracteristicilor
îmbunătățiți CSP șiametode
de extracție de învățare
caracteristicilor CSP și profundă folosind CNN. Acest
învățare profundă
metode folosind CNN. Acest lucru demonstrează că algoritmul nostru a aflat informațiile importante despre
Imaginile motorului semnalului EEG, care au oferit o nouă direcție de dezvoltare pentru recunoașterea intenției semnalului EEG.

În fine, mai sunt câteva probleme de rezolvat în metoda propusă în această lucrare. În primul rând, în algoritm,
extragerea caracteristicilor multi-vizuale și rețeaua de învățare profundă sunt două module independente. În al doilea rând,
formarea în rețea necesită o cantitate mare de date. Când setul de date este prea mic, acesta
Machine Translated by Google

Senzori 2020, 20, 3496 14 din 16

demonstrează că algoritmul nostru a învățat informațiile importante despre imaginile motorului semnalului EEG, care au
oferit o nouă direcție de dezvoltare pentru recunoașterea intenției semnalului EEG.
În fine, mai sunt câteva probleme de rezolvat în metoda propusă în această lucrare. În primul rând, în
algoritm, extragerea caracteristicilor multi-vizuale și rețeaua de învățare profundă sunt două module independente.
În al doilea rând, instruirea în rețea necesită o cantitate mare de date. Când setul de date este prea mic, va duce la
supraadaptare, dar colectarea unor cantități mari de date EEG de la fiecare subiect necesită timp. Sperăm că într-un fel,
atunci când avem deja o cantitate mare de date de la alți subiecți, va trebui să fie colectată doar o cantitate mică de date
despre subiecții actuali pentru a construi o rețea ideală. În al treilea rând, modelul nostru de rețea este aplicabil numai setului
de date BCI competiție IV 2a. Atunci când se clasifică alte seturi de date, este posibil să nu se obțină cel mai bun efect de
clasificare deoarece parametrii importanți din rețea au o relație mai mare cu dimensiunile intrinseci și perplexitatea setului de
date utilizat. Ne așteptăm ca aceste probleme să fie rezolvate în viitor, astfel încât algoritmii de învățare a caracteristicilor
cu vizualizare profundă pot fi aplicați mai pe scară largă.

5. Concluzii

În această lucrare, a fost propusă o metodă de învățare a caracteristicilor bazată pe vizualizare multiplă profundă,
iar această metodă a fost aplicată la recunoașterea sarcinilor de imagini motorii ale semnalelor EEG. În conformitate cu
caracteristicile semnalelor EEG, au fost construite caracteristici cu mai multe vizualizări și au fost folosite rețele neuronale de
feed-forward profunde pentru a învăța caracteristici cu mai multe vizualizări. Folosind SVM pentru a clasifica caracteristicile
multi-view profunde obținute prin învățare, rezultatele clasificării au fost comparate cu câțiva algoritmi de recunoaștere avansați.
Rezultatele experimentale arată că, în comparație cu alți algoritmi, acuratețea recunoașterii metodei noastre a fost mai
mare. A fost efectuată analiza vizuală a caracteristicilor profunde multi-view. Analiza a arătat că învățarea profundă a
caracteristicilor cu mai multe vizualizări a agregat același tip de caracteristici și a discriminat diferite tipuri de caracteristici. Se
poate observa că algoritmul de învățare profundă a caracteristicilor multi-view propus în această lucrare a avut o mare
semnificație în recunoașterea intenției imaginilor motorii ale semnalului EEG.

Contribuții autor: Conceptualizare, JX și JW; Curatarea datelor, JX; Analiza formală, JX; Achiziție de finanțare, HZ și JW; Ancheta,
JX; Metodologie, JX; Software, JX; Validare, JX și DL; Vizualizare, JX; Redactarea proiectului original, JX; Scriere revizuire și editare,
HZ, JW, DL și XF Toți autorii au citit și au fost de acord cu versiunea publicată a manuscrisului.

Finanțare: Această cercetare nu a primit finanțare externă. APC a fost finanțat de Hao Zheng.
Conflicte de interese: Autorii nu declară niciun conflict de interese.

Referințe

1. Daly, JJ; Wolpaw, JR Interfețe creier-calculator în reabilitarea neurologică. Lancet Neurol.

2008, 7, 1032–1043. [CrossRef]
2. Miao, M.; Wang, A.; Liu, F. Aplicarea algoritmului de colonie de albine artificiale în optimizarea caracteristicilor pentru motor
clasificarea imaginilor EEG. Calculator neuronal. Aplic. 2017, 30, 3677–3691. [CrossRef]
3. Farahat, A.; Reichert, C.; Sweeney-Reed, CM; Hinrichs, H. Rețele neuronale convoluționale pentru decodarea focalizării sub
acoperire a atenției și a hărților de vizibilitate pentru vizualizarea caracteristicilor EEG. J. Neural Ing. 2019, 16, 066010.
[CrossRef]
4. Razi, S.; Mollaei, MRK; Ghasemi, J. O metodă nouă de clasificare a sarcinii de imagine motrică multiclasă BCI bazată
pe teoria Dempster-Shafer. Inf. Sci. 2019, 484, 14–26. [CrossRef]
5. Mejia Tobar, A.; Hyoudou, R.; Kita, K.; Nakamura, T.; Kambara, H.; Ogata, Y.; Hanakawa, T.; Koike, Y.; Yoshimura, N.
Decodificarea flexiei și extensiei gleznei din surse de curent corticale estimate din metode de înregistrare a activității
cerebrale neinvazive. Față. Neurosci. 2017, 11, 733. [CrossRef] [PubMed]
6. Kumar, S.; Sharma, A.; Tsunoda, T. O abordare îmbunătățită de selecție a bancilor de filtre discriminatorii pentru
clasificarea semnalului EEG al imaginilor motorii folosind informații reciproce. Bmc Bioinf. 2017, 18, 126–137. [CrossRef]
7. Li, DL; Wang, JH; Xu, JC; Fang, XK Fuziunea densă a caracteristicilor bazată pe rețele neuronale convoluționale pentru
clasificarea EEG a imaginilor motorii. Acces IEEE 2019, 7, 132720–132730. [CrossRef]
Machine Translated by Google

Senzori 2020, 20, 3496 15 din 16

8. Bărbie, ZY; Ang, KK; Wang, CC; Auan, CT; Zhang, HH; IEEE. Model spațial comun al bancului de filtre cu mai multe clase pentru
imagini cu patru clase de motor BCI. În Proceedings of the 2009 Annual International Conference of the Ieee Engineering
in Medicine and Biology Society, New York, NY, SUA, 3-6 septembrie 2009.
9. Wolpaw, JR; Birbaumer, N.; McFarland, DJ; Pfurtscheller, G.; Vaughan, TM interfețe creier-calculator
(BCI) pentru comunicare și control. Suppl. Clin. Neurofiziol. 2004, 57, 607–613.
10. Ang, KK; Guan, C. strategii bazate pe EEG pentru a detecta imaginile motorii pentru control și reabilitare.
IEEE Trans. Sistemul neuronal Reabilitare. ing. 2017, 25, 392–401. [CrossRef]
11. Baig, MZ; Aslaml, N.; Shum, HPH Tehnici de filtrare pentru selectarea canalelor în imaginile motorii EEG
aplicații: un sondaj. Artif. Intelege. Rev. 2020, 53, 1207–1232. [CrossRef]
12. Mahmoudi, M.; Shamsi, M. Clasificare multi-clasă EEG a semnalului de imagini motor prin găsirea de segmente de timp
optime și caracteristici folosind informații reciproce bazate pe SNR. Australi. Fiz. ing. Sci. Med.
2018, 41, 957–972. [CrossRef] [PubMed]
13. Wang, L.; Liu, XC; Liang, ZW; Yang, Z.; Hu, X. Analiza și clasificarea BCI hibrid pe baza imaginilor motorii și a imaginilor
vorbirii. Măsurare. 2019, 147, 12. [CrossRef]
14. Majidov, I.; Whangbo, T. Clasificarea eficientă a imaginilor motorii Electroencephalography Signals Using
Metode de învățare profundă. Senzori 2019, 19. [CrossRef] [PubMed]
15. Kumar, S.; Sharma, A. O nouă abordare de reglare a parametrilor pentru clasificarea îmbunătățită a semnalului EEG al
imaginilor motorii. Med. Biol Ing. Calculator. 2018, 56, 1861–1874. [CrossRef] [PubMed]
16. Li, Y.; Zhang, XR; Zhang, B.; Lei, MEA; Cui, WG; Guo, YZ O rețea neuronală convoluțională la scară mixtă cu proiecție de
canal pentru decodarea EEG a imaginilor motorie. IEEE Trans. Sistemul neuronal Reabilitare. ing. 2019, 27, 1170–1180.
[CrossRef]
17. Ang, KK; Barbie, ZY; Zhang, HH; Guan, CT Filter Bank Common Spatial Pattern (FBCSP) în interfața Brain-Computer. În
Proceedings of the 2008 International Joint Conference IEEE on Neural Networks, New York, NY, SUA, 8 mai 2008; p. 2390–
2397.
18. Lemm, S.; Blankertz, B.; Curio, G.; Muller, KR Filtre spatio-spectrale pentru îmbunătățirea clasificării
un singur test EEG. IEEE Trans. Biomed. ing. 2005, 52, 1541–1548. [CrossRef]
19. Dornhege, G.; Blankertz, B.; Krauledat, M.; Losch, F.; Curio, G.; Muller, KR Optimizarea combinată a filtrelor spațiale și
temporale pentru îmbunătățirea interfeței creier-calculator. IEEE Trans. Biomed. ing. 2006, 53, 2274–2281.
[CrossRef]
20. Novi, Q.; Guan, C.; Dat, TH; Xue, P. Sub-band Common Spatial Pattern (SBCSP) pentru interfața creier-calculator. În
Proceedings of the 2007 3rd International IEEE/EMBS Conference on Neural Engineering, Kohala Coast, HI, SUA, 2–5 mai
2007; pp. 204–207.
21. Thomas, KP; Guan, C.; Lau, CT; Vinod, AP; Ang, KK O nouă metodă discriminativă de model spațial comun pentru interfețele
creier-computer pentru imaginile motorii. IEEE Trans. Biomed. ing. 2009, 56, 2730–2733.
[CrossRef]
22. Jiang, Y.; Deng, Z.; Chung, F.-L.; Wang, G.; Qian, P.; Choi, K.-S.; Wang, S. Recunoașterea semnalelor EEG epileptice folosind un
nou sistem fuzzy TSK multiview. IEEE Trans. Fuzzy Syst. 2017, 25, 3–20. [CrossRef]
23. Li, J.; Yu, ZL; Gu, Z.; Wu, W.; Li, Y.; Jin, L. O rețea hibridă pentru detectarea și analiza ERP bazată pe
mașină Boltzmann restricționată. IEEE Trans. Sistemul neuronal Reabilitare. ing. 2018, 26, 563–572. [CrossRef]
24. Li, J.; Yu, ZL; Gu, Z.; Tan, M.; Wang, Y.; Li, Y. Mașină Boltzmann restrictivă discriminativă spațio-temporală pentru
detectarea și analiza potențialului legat de evenimente. IEEE Trans. Sistemul neuronal Reabilitare. ing. 2019, 27, 139–151.
[CrossRef] [PubMed]
25. Lu, N.; Li, T.; Ren, X.; Miao, H. O schemă de învățare profundă pentru clasificarea imaginilor motorii bazată pe mașini
Boltzmann restricționate. IEEE Trans. Sistemul neuronal Reabilitare. ing. 2017, 25, 566–576. [CrossRef] [PubMed]
26. Maaten, LVD Învățarea unei înglobări parametrice prin păstrarea structurii locale. J. Mach. Învăța. Res.
2009, 5, 384–391.
27. Mohseni, M.; Shalchyan, V.; Jochumsen, M.; Niazi, IK Decodificarea mișcărilor complexe ale membrelor superioare din
semnalele EEG pre-mișcări folosind modele spațiale comune de wavelet. Calculator. Metode Programe Biomed.
2020, 183, 10. [CrossRef]
28. Yang, B.; Li, H.; Wang, Q.; Zhang, Y. Extragerea caracteristicilor bazate pe subiect prin utilizarea Fisher WPD-CSP în interfețele
creier-calculator. Calculator. Metode Programe Biomed. 2016, 129, 21–28. [CrossRef]
29. Blankertz, B.; Tomioka, R.; Lemm, S.; Kawanabe, M.; Muller, KR Optimizarea filtrelor spațiale pentru EEG robust
analiză cu un singur proces. Semnal IEEE. Proces. Mag. 2008, 25, 41–56. [CrossRef]
Machine Translated by Google

Senzori 2020, 20, 3496 16 din 16

30. Miao, M.; Zeng, H.; Wang, A.; Zhao, C.; Liu, F. Extracția și clasificarea caracteristicilor spațiale-frecvență-temporale discriminative
ale imaginilor motorii EEG: O regresie rară și abordare bazată pe clasificator bayesian naiv ponderat. J. Neurosci. Metode
2017, 278, 13–24. [CrossRef]
31. Nasihatkon, B.; Boostani, R.; Jahromi, MZ O abordare hibridă eficientă liniară și nucleu CSP pentru EEG
extragerea caracteristicilor. Neurocomputing 2009, 73, 432–437. [CrossRef]
32. Jafarifarmand, A.; Badamchizadeh, MA; Khanmohammadi, S.; Nazari, MA; Tazehkand, BM Un nou cadru neuro-fuzzy autoreglat
pentru clasificarea semnalelor EEG în imaginile motorii BCI.
IEEE Trans. Fuzzy Syst. 2018, 26, 1485–1497. [CrossRef]
33. Li, MA; Luo, XY; Yang, JF Extragerea caracteristicilor neliniare ale imaginilor motorii EEG folosind t-SNE parametric.
Neurocomputing 2016, 218, 371–381. [CrossRef]
34. Hinton, GE; Salakhutdinov, RR Reducerea dimensionalității datelor cu rețele neuronale. tiin ă
2006, 313, 504–507. [CrossRef] [PubMed]
35. Hinton, GE; Osindero, S.; Teh, YW Un algoritm de învățare rapidă pentru rețele de credință profunde. Calculator neuronal.
2006, 18, 1527–1554. [CrossRef] [PubMed]
36. Hinton, G.; Roweis, S. Stochastic vecin înglobare. În Proceedings of the Advances in Neural Information
Processing Systems, Cambridge, MA, SUA, 1 octombrie 2003; p. 833–840.
37. Laurens, VDM; Hinton, G. Vizualizarea datelor folosind t-SNE. J. Mach. Învăța. Res. 2008, 9, 2579–2605.
38. El, LM; Yang, XB; Lu, HJ O comparație a ansamblului de mașini vectoriale suport pentru clasificare. În Proceedings of the 2007
International Conference on Machine Learning and Cybernetics, Hong Kong, China, 19–22 august 2007; p. 3613–3617.

39. Cortes, C.; Vapnik, V. Rețele de suport-vector. Mach. Învăța. 1995, 20, 273–297. [CrossRef]
40. Dai, M.; Zheng, D.; Na, R.; Wang, S.; Zhang, S. Clasificarea EEG a imaginilor motorii folosind un nou profund
cadrul de învățare. Senzori 2019, 19, 551. [CrossRef] [PubMed]
41. Ang, KK; Barbie, ZY; Wang, C.; Guan, C.; Zhang, H. Algoritmul de model spațial comun al bancului de filtre pe BCI
concurența IV seturile de date 2a și 2b. Față. Neurosci. 2012, 6, 39. [CrossRef] [PubMed]
42. Sakhavi, S.; Guan, C.; Yan, S. Învățarea informațiilor temporale pentru interfața creier-calculator folosind rețele neuronale
convoluționale. IEEE Trans. Învățare rețea neuronală. Syst. 2018, 29, 5619–5629. [CrossRef]
43. Bashashati, H.; Ward, RK; Bashashati, A. Interfețele computerizate pentru creier personalizate de utilizator folosind optimizarea
bayesiană. J. Neural Ing. 2016, 13, 026001. [CrossRef]
44. Aghaei, AS; Mahanta, MS; Plataniotis, KN Modele spațio-spectrale comune separabile pentru imaginile motorii
sisteme BCI. IEEE Trans. Biomed. ing. 2016, 63, 15–29. [CrossRef]
45. Gaur, P.; Pachori, RB; Wang, H.; Prasad, G. O clasificare BCI multi-clasă bazată pe EEG, folosind filtrarea bazată pe
descompunere în modul empiric multivariat și geometria Riemanniană. Expert Syst. Aplic. 2018, 95, 201–211.
[CrossRef]
46. Olivas-Padilla, BE; Chacon-Murguia, MI Clasificarea imaginilor motorii multiple folosind convoluția profundă
rețele neuronale și filtre spațiale. Aplic. Soft Comput. 2019, 75, 461–472. [CrossRef]
47. Zeng, H.; Song, A. Optimizarea clasificării EEG cu o singură încercare prin regresie logistică cu matrice staționară în interfața
creier-calculator. IEEE Trans. Învățare rețea neuronală. Syst 2016, 27, 2301–2313. [CrossRef] [PubMed]
48. Xie, X.; Yu, ZL; Lu, H.; Gu, Z.; Li, Y. Clasificarea imaginilor motorii bazată pe învățarea sub-varietă biliniară a matricelor
simetrice pozitiv-definite. IEEE Trans. Sistemul neuronal Reabilitare. ing. 2017, 25, 504–516. [CrossRef]
[PubMed]

© 2020 de către autori. Licențiat MDPI, Basel, Elveția. Acest articol este un articol cu acces liber distribuit
în conformitate cu termenii și condițiile Creative Commons Attribution
Licență (CC BY) (http://creativecommons.org/licenses/by/4.0/).