Recunoașterea gesturilor mâinilor bazate pe EMG prin frecvență

profundă în timp

Recunoașterea gestului mâinii a fost aplicată în multe domenii în ultimii ani, cum ar fi
interacțiunea om-computer (HCI), proteze inteligente, dispozitive de reabilitare, virtual simulare,
recunoașterea limbajului semnelor etc. De exemplu, în zona de reabilitare, gestul mâinii poate fi
folosit pentru controlul robotului braț pentru a crește autonomia persoanelor cu nevoi speciale și
dizabilități. Printre toate opțiunile de achiziție de date cum ar fi mănuși și senzori de vedere,
Electromiografia (EMG) este o abordare ușoară a interacțiunii om-computer pentru mână
recunoașterea gesturilor, deoarece nu este afectată de variații de iluminare, poziție și orientare a
mâinii.

Recunoașterea gesturilor de mână bazate pe EMG a devenit una dintre cele mai adecvate
abordări pentru viața asistată și reabilitare. Cu toate acestea, aplicația comercială a EMG este
încă în stadiul incipient. Una dintre problemele majore este acuratețea recunoașterii gesturilor.

Pentru a rezolva această problemă, tehnicile de învățare automată au a fost exploatat pe scară
largă. Cele mai populare clasificatoare utilizate pentru recunoașterea gestului mâinii include
mașină vectorială de sprijin, k-cei mai apropiați vecini (K-NN), arbore de decizie, pădure
aleatorie, analiză liniară discriminantă etc. Deși au făcut-odeja am înregistrat unele progrese,
aceste abordări necesită masiv ingineria manuală a caracteristicilor și performanța recunoașterea
depinde în mare măsură de cantitatea și calitatea caracteristici lucrate manual. Rețea neuronală
profundă, care a fost utilizat pe scară largă în viziunea computerizată și recunoașterea vorbirii,
aprinde o nouă modalitate de recunoaștere a gestului mâinii.

Comparativ cu ingineria caracteristicilor, rețeaua neuronală profundă valorificați învățarea

caracteristicilor, ceea ce înseamnă că poate fi automat aflați caracteristica ascunsă a datelor fără
caracteristică manual extracţie. Rețeaua neuronală convoluțională (CNN) este una dintre
mainstream de algoritmi de învățare profundă. Arhitectura CNN este analog cu modelul de
conectivitate al neuronii din creierul uman și a fost inspirat de organizarea cortexului vizual.
CNN profită de neuroni în locație diferită care împart aceleași greutăți cu detectează în mod
eficient același model în diferite părți ale intrare. CNN a demonstrat performanțe superioare și
abilități de generalizare în multe domenii, comparativ cu cele tradiționale învățare automată. Dar
aplicarea sa în EMG trebuie încă să fie explorat mai departe.

Pentru a detecta în mod eficient modelele din datele EMG pentru mână recunoașterea
gesturilor, o învățare profundă în frecvență de timp cadru este proiectat.
În primul rând, folosim o metodă de analiză timp-frecvență, STFT, pentru a transforma datele de
intrare din seria temporală în domeniu timp-frecvență, astfel încât frecvența care variază în timp
informațiile pot fi bine prezentate. Apoi, proiectăm un CNN multistrat pentru a învăța în mod
inteligent caracteristicile ascunse ale informațiile de frecvență segmentate localizate în timp ale
datelor EMG.

Analiza timp-frecvență s-a dovedit eficientă în monitorizarea tranzitorie a semnalului

care variază în timp. Transformată Fourier tratează semnalul care variază în timp ca un semnal
staționar și oferă informații despre frecvență mediată pe întreaga durată interval de timp, care va
pierde multă informație de timp. informațiile despre timp sunt întotdeauna printre cele mai
interesante părți ale un semnal, cum ar fi deriva, tendință, începutul și sfârșitul evenimentului etc.
În schimb, STFT poate oferi frecvență localizată în timp informații. În primul rând, semnalul este
separat în segmente de ferestre mici și se presupune că fiecare segment este staționar. Apoi,
transformata Fourier este aplicată pentru a analiza fiecare fereastră a semnalului.

Recunoașterea gesturilor de mână bazată pe EMG a atras excelentă Atenţie. Învățarea

profundă este cea mai promițătoare metodă pentru recunoasterea formelor. CNN este o
arhitectură populară printer algoritmi de învățare profundă, care s-au dovedit eficienți în viziunea
pe computer și recunoașterea vorbirii. În studiul nostru, noi au conceput un nou cadru de învățare
profundă pentru mână recunoașterea gestuală a 7 activități de pe 8 canale EMG multi-sesiune.
Un CNN multistrat cu 5 etape are a fost conceput pentru a executa recunoașterea modelului
EMG. În plus, deoarece EMG este un semnal zgomotos de serie temporală, la fel înainte
alimentându-l în CNN, am transformat semnalul în domeniu timp-frecvență de către STFT
pentru a face reprezentarea datelor mai multe atribute de frecvență care variază în timp. Rata de
recunoaștere de 83% dintre subiecți este atins, ceea ce dovedește că acest cadrul propus este
eficient pentru a recunoaște gestul mâinii din datele EMG.

Sursa: Qi Wang, Xianping Wang