O revizuire a mănușilor senzoriale bazate pe sisteme pentru

recunoașterea limbajului semnelor Stadiul tehnicii între 2007 și 2017

Abstract
Pierderea capacității de a vorbi sau de a auzi are efecte psihologice și sociale asupra persoanelor
afectate din cauza lipsei unei comunicări adecvate. Au fost implementate intervenții științifice multiple și
sistematice care variază în funcție de context pentru a depăși dificultățile legate de dizabilități. Sistemele
de recunoaștere a limbajului semnelor (SLR) bazate pe mănuși senzoriale sunt inovații semnificative care
urmăresc să procure date despre forma sau mișcarea mâinii umane. Tehnologia inovatoare pentru
această problemă este în principal limitată și dispersată. Tendințele și lacunele disponibile ar trebui
explorate în această abordare de cercetare pentru a oferi informații valoroase asupra mediilor
tehnologice. Astfel, se efectuează o revizuire pentru a crea o taxonomie coerentă pentru a descrie cele
mai recente cercetări împărțite în patru categorii principale: dezvoltare, cadru, recunoaștere a gesturilor
cu mâna,și recenzii și sondaje. Apoi, efectuăm analize ale sistemelor de mănuși pentru caracteristicile
dispozitivelor SLR, dezvoltăm o foaie de parcurs pentru evoluția tehnologiei, discutăm limitările acesteia
și oferim informații valoroase despre mediile tehnologice. Acest lucru îi va ajuta pe cercetători să
înțeleagă opțiunile și lacunele actuale din acest domeniu, contribuind astfel la această linie de cercetare.
Cuvinte cheie: limbajul semnelor ; mănușă ; senzor ; recunoașterea gesturilor ; recunoașterea
tiparului ; interfață om-mașină (MMI) ; clasificare

1. Introducere
Conform statisticilor Federației Mondiale a Surzilor și Organizației Mondiale a Sănătății, aproximativ
70 de milioane de oameni din lume sunt surzi-muți. Un total de 360 de milioane de oameni sunt surzi, iar
32 de milioane dintre acești indivizi sunt copii [ 1 ]. Majoritatea persoanelor cu deficiențe de vorbire și de
auz nu pot citi sau scrie în limbi obișnuite. Limbajul semnelor (SL) este limba maternă utilizată de surzi și
muți pentru a comunica cu ceilalți. SL se bazează în primul rând pe gesturi, mai degrabă decât pe voce,
pentru a transmite sens și combină utilizarea formelor degetelor, mișcările mâinilor și expresiile faciale
[ 2]]. Acest limbaj are următoarele defecte principale: o mulțime de mișcări ale mâinilor, un vocabular
limitat și dificultăți de învățare. Mai mult, SL nu este familiar celor care nu sunt surzi și muti, iar
persoanele cu dizabilități se confruntă cu dificultăți serioase în comunicarea cu persoane capabile.
Această barieră de comunicare afectează negativ viața și relațiile sociale ale persoanelor surde [ 3 ].
Astfel, oamenii muti trebuie să folosească un dispozitiv de traducere pentru a comunica cu persoane
capabile. Acest lucru poate fi realizat prin dezvoltarea unei mănuși echipate cu senzori și un circuit
electronic. Câteva avantaje ale utilizării acestui dispozitiv sunt că nu este necesară o procesare complexă
a datelor [ 4 ]; nu există limitări ale mișcărilor, cum ar fi așezarea în spatele unui birou sau scaun;
recunoașterea formei mâinii nu este afectată de starea de fundal [5 , 6 ]; este un dispozitiv de mănuși
ușor, bazat pe SLR, care poate fi transportat pentru a face mobilitatea ușoară și confortabilă [ 7 , 8 ]; și
este un sistem de recunoaștere care poate fi utilizat pentru învățarea SL atât pentru oamenii muti cât și
pentru cei abili [ 9 ]. În plus, numeroase tipuri de aplicații sunt implicate în prezent în sistemele de
recunoaștere a gesturilor, cum ar fi SLR, interfețe de calculator de substituție, robotică de asistență
socială, jocuri imersive, obiecte virtuale, telecomandă, medicină-îngrijire a sănătății, recunoașterea
gestuală a limbajului mâinii / corpului etc. [ 10 , 11 , 12 , 13 , 14 , 15]. Aceste beneficii sunt descrise în
detaliu în secțiunea 5.1. Scopul acestui studiu este de a analiza sistemele de mănuși utilizate pentru
SLR pentru a obține cunoștințe despre sistemele actuale din acest domeniu. În plus, este prezentată o
foaie de parcurs pentru evoluția tehnologiei; prezintă caracteristici ale sistemelor SLR și discută limitele
tehnologiei actuale. Acest obiectiv poate fi atins răspunzând la următoarele șase întrebări de cercetare:
(1) Câte tipuri de studii relevante sunt publicate pe SLR pe mănuși? (2) În ce măsură au fost elaborate
sistemele SLR în studiile preliminare în ceea ce privește detaliile și tehnologiile? (3) Ce tipuri de mișcări
au fost recunoscute în studiile anterioare? (4) Ce tipuri de senzori au fost utilizați în publicațiile primare?
(5) Ce limbi au dezvoltat sistemele de mănuși pentru SLR în studiile preliminare? (6) Cum au fost
evaluate eficacitatea și eficiența sistemelor SLR în studiile inițiale? Scopul a fost să înțeleagă opțiunile și
lacunele disponibile în acest domeniu pentru a sprijini cercetătorii, oferind informații valoroase asupra
mediilor tehnologice. Pașii luați în acest studiu pentru a oferi o revizuire sistematică a literaturii și un
studiu sistematic de cartografiere sunt în conformitate cu pașii explicați în lucrarea David Moher [Pașii
luați în acest studiu pentru a oferi o revizuire sistematică a literaturii și un studiu sistematic de
cartografiere sunt în conformitate cu pașii explicați în lucrarea David Moher [Pașii luați în acest studiu
pentru a oferi o revizuire sistematică a literaturii și un studiu sistematic de cartografiere sunt în
conformitate cu pașii explicați în lucrarea David Moher [16 ] și alte lucrări de cercetare
[ 11 , 17 , 18 , 19 , 20 , 21 ].
SL este un limbaj vizual-spațial bazat pe componente poziționale și vizuale, cum ar fi forma
degetelor și a mâinilor, locația și orientarea mâinilor și mișcările brațelor și ale corpului.  Aceste
componente sunt utilizate împreună pentru a transmite sensul unei idei. Structura fonologică a SL are, în
general, cinci elemente ( Figura 1 ). Fiecare gest în SL este o combinație de cinci elemente de
bază. Aceste cinci blocuri reprezintă elementele valoroase ale SL și pot fi exploatate de sisteme
inteligente automate de recunoaștere SL (SLR) [ 22 ].
Intervențiile științifice pentru a depăși dificultățile legate de dizabilități sunt multiple și sistematice și
variază în funcție de context. Una dintre intervențiile importante sunt sistemele SLR care sunt utilizate
pentru a traduce semnele SL în text sau vorbire pentru a stabili comunicarea cu indivizii care nu cunosc
aceste semne [ 18 ]. Sistemele SLR bazate pe mănușa senzorială se numără printre cele mai
semnificative eforturi care vizează obținerea de date pentru mișcarea mâinilor umane. Trei abordări
( Figura 2 ), și anume, bazate pe viziune, bazate pe senzori și o combinație a celor două, sunt adoptate
pentru a capta configurațiile mâinilor și a recunoaște semnificațiile corespunzătoare ale gesturilor [ 23 ].
Sistemele bazate pe viziune folosesc camerele ca instrumente principale pentru a obține datele de
intrare necesare ( Figura 3 ). Principalul avantaj al utilizării unei camere este că elimină necesitatea de
senzori în mănuși senzoriale și reduce costurile de construcție ale sistemului. Camerele sunt destul de
ieftine, iar majoritatea laptopurilor folosesc o cameră cu specificații ridicate din cauza neclarității cauzate
de o cameră web. Cu toate acestea, în ciuda camerei cu specificații ridicate, pe care o posedă
majoritatea smartphone-urilor [ 18 ], există diverse probleme, cum ar fi câmpul vizual limitat al
dispozitivului de captare, costuri de calcul ridicate [ 24 , 25 ] și necesitatea mai multor camere pentru a
obține robustețe rezultate (din cauza problemelor de profunzime și ocluzie [ 26 , 27]); aceste probleme
sunt inerente acestui sistem și fac întregul sistem inutil pentru dezvoltarea aplicațiilor de recunoaștere în
timp real. În [ 28 ], sunt prezentate două noi tehnici de extragere a caracteristicilor combinate ale
histogramei de orientare și caracteristicilor statistice (COHST) și caracteristicilor Wavelet pentru
recunoașterea semnelor statice ale numerelor de la 0 la 9, ale limbajului semnelor americane (ASL).
Performanța sistemului este măsurată prin extragerea a patru caracteristici diferite - Histogramă de
orientare, Măsuri statistice, Caracteristici COHST și Caracteristici Wavelet - utilizând o rețea neuronală.
Cea mai bună performanță a sistemului atinge o precizie de 98,17% cu caracteristicile Wavelet. În [  29],
este prezentat un sistem care utilizează transformate Wavelet și rețele neuronale (NN) pentru a
recunoaște gesturile statice ale alfabetelor în limbajul semnelor persane (PSL). Este capabil să
recunoască 32 de alfabete PSL selectate cu o rată medie de recunoaștere de 94,06%. În [ 30 ],
recunoașterea ASL se realizează folosind transformata Hough și NN neuronal. Aici, au fost folosite doar
20 de semne diferite de alfabete și numere. Performanța sistemului a fost măsurată prin variația nivelului
de prag pentru detectarea marginii Canny și a numărului de probe pentru fiecare semn utilizat. Rata
medie de recunoaștere obținută a fost de 92,3% pentru valoarea prag de 0,25. În [  31], un sistem bazat
pe viziune cu Aproximare B-Spline și un clasificator de mașini vectoriale de suport (SVM) au fost utilizate
pentru recunoașterea alfabetelor și cifrelor în limbajul semnelor indiene. Au fost utilizate 50 de eșantioane
din fiecare alfabet din A – Z și numere de la 0–5, iar sistemul a obținut o precizie medie de 90% și
respectiv 92% pentru alfabete și, respectiv, numere. În [ 32], un model 3D al posturii mâinii este generat
din două imagini 2D din două perspective care sunt ponderate și combinate liniar pentru a produce
caracteristici 3D unice care vizează clasificarea a 50 de cuvinte ArsL izolate folosind o rețea neuronală
cuplată cu impulsuri hibride (PCNN) ca caracteristică tehnica generatorului, urmată de automat finit
nedeterminist (NFA). Apoi, algoritmul „cea mai bună potrivire” este folosit pentru a găsi semnificația cea
mai probabilă a unui gest. Acuratețea recunoașterii ajunge la 96%. În [ 33], o combinație de modele
binare locale (LBP) și analiza componentelor principale (PCA) este utilizată pentru a extrage caracteristici
care sunt introduse într-un model Markov ascuns (HMM) pentru a recunoaște un lexicon de 23 de cuvinte
ArSL izolate. Ocluzia nu este rezolvată, deoarece orice stare de ocluzie este tratată ca un singur obiect,
iar recunoașterea este efectuată. Sistemul obține o rată de recunoaștere de 99,97% în modul dependent
de semnat. Un detector dinamic de piele bazat pe tonul culorii feței este utilizat în [ 34 ] pentru
segmentarea mâinilor. Apoi, se utilizează o tehnică de urmărire a petei pentru a identifica și urmări
mâinile. Este utilizat un set de date de 30 de cuvinte izolate. Sistemul propus are o rată de recunoaștere
de 97%. Diferite tehnici de transformare (și anume transformatele Fourier, Hartley și Log-Gabor) au fost
utilizate în [ 27], pentru extragerea și descrierea caracteristicilor dintr-o acumulare de cadre de semne
într-o singură imagine a unui set de date în limbajul semnelor arabe. Au fost aplicate în total trei tehnici de
transformare, precum și felii dintr-o acumulare de cadre de semne. Sistemul a fost testat folosind trei
clasificatoare: k-nearest neighbour (KNN), SVM și. În general, precizia sistemului a atins peste 98%
pentru transformarea Hartley, care este comparabilă cu alte lucrări care utilizează același set de date.
Utilizarea unui anumit tip de mănuși instrumentate care sunt echipate cu diferiți senzori, și anume,
senzori de flexie (sau îndoire), accelerometre (ACC), senzori de proximitate și senzori de răpire, este o
abordare alternativă cu care se pot obține date legate de gesturi ( Figura 4 ). Acești senzori sunt utilizați
pentru a măsura unghiurile de îndoire pentru degete, răpirea dintre degete și orientarea (rularea,
înălțimea și gura) încheieturii mâinii. Gradele de libertate (DoF) care pot fi realizate folosind astfel de
mănuși variază de la 5 la 22, în funcție de numărul de senzori încorporați în mănușă. Un avantaj major al
sistemelor bazate pe mănuși față de sistemele bazate pe vedere este că mănușile pot raporta direct
datele relevante și cerute (gradul de îndoire, înălțime etc.) în ceea ce privește valorile tensiunii către
dispozitivul de calcul [ 35], eliminând astfel necesitatea procesării datelor brute în valori semnificative. În
schimb, sistemele bazate pe viziune trebuie să aplice algoritmi de urmărire și extragere a caracteristicilor
specifice fluxurilor video brute, crescând astfel cheltuielile de calcul [ 10 , 36 ]. Mai târziu, vom revizui în
detaliu articolele legate de această abordare.
A treia metodă de colectare a datelor gestuale brute folosește o abordare hibridă care combină
sistemele bazate pe mănuși și camere. Această abordare utilizează eliminarea reciprocă a erorilor pentru
a spori precizia și precizia generală. Cu toate acestea, nu s-a efectuat multă muncă în această direcție
din cauza costurilor și a cheltuielilor generale ale întregii configurări. Cu toate acestea, sistemele de
realitate augmentată produc rezultate promițătoare atunci când sunt utilizate cu metodologia de urmărire
hibridă [ 3 ].

2. Materiale și metode
Eforturile intense și dureroase de a găsi soluții realiste și fezabile pentru a depăși obstacolele de
comunicare sunt provocări majore întâmpinate de surzi și muți. Prin urmare, a fost subliniată
implementarea unui sistem care identifică SL în ramurile sale software și hardware.
2.1. Cu privire la materialele sistemului
În ceea ce privește componentele hardware, sistemul de recunoaștere bazat pe mănuși este
compus din trei unități principale ( Figura 5 ): intrare, procesare și ieșire.
2.1.1. Unitate de intrare
Datorită dezvoltărilor științifice și tehnice din domeniul circuitelor electronice, senzorii au atras
atenția, ceea ce a dus la investiții în caracteristicile senzorilor în multe aplicații mici și mari. Senzorul este
principalul jucător în măsurarea datelor mâinii în ceea ce privește îndoirea (forma), mișcarea, rotația și
poziția mâinii.
A. Senzori folosiți pentru a detecta îndoirea degetelor
Cea mai proeminentă mișcare care poate fi efectuată de cele patru degete (roz, inel, mijloc și index)
se îndoaie spre palmă și apoi revine la poziția inițială. Degetul mare are avantaje unice față de celelalte
degete, permițându-i astfel să se miște liber în șase grade de libertate (DOF). În general, mișcarea
predominantă în SL legată de degete este îndoirea. Inclinarea degetelor poate fi detectată utilizând
diferite metode, așa cum se arată în literatură. Senzorul flexibil ( Figura 6 ), care determină cantitatea de
curbură a degetelor utilizată de un număr mare de cercetători și dezvoltatori, este cel mai frecvent dintre
aceste tipuri de senzori [ 21 , 37 , 38 , 39 , 40]. Tehnologia senzorului Flex se bazează pe elemente
rezistive din carbon. Când substratul este îndoit, senzorul produce o ieșire de rezistență corelată cu raza
de îndoire - cu cât raza este mai mică, cu atât este mai mare valoarea rezistenței. Astfel, rezistența
senzorului flexibil crește pe măsură ce corpul componentei se îndoaie. Senzorul flex este foarte subțire și
ușor, deci este și foarte confortabil, iar cele mai comune dimensiuni disponibile sunt de 2,2 inci și 4,5 inci.
Prețul senzorului flexibil este între $ 9 și $ 15, în funcție de dimensiunea. Senzorul optic folosit pentru a
măsura unghiul curburii degetelor - pentru a-i determina forma prin cantitatea de lumină care trece prin
canal - depinde de tehnologia optică [ 41 , 42 , 43]. Senzorii optici sunt detectoare electronice care
transformă lumina sau o schimbare a luminii într-un semnal electronic. Mai mult, se utilizează perechea
combinată de rezistență dependentă de diodă-lumină (LED-LDR) ( Figura 7 ), dar nu frecvent, pentru a
detecta îndoirea degetului. LDR este o componentă care are o rezistență (variabilă) care se schimbă
odată cu intensitatea luminii care cade asupra sa [ 44 ]. Ambele tehnologii optice funcționează pe măsura
intensității luminii, astfel încât atunci când degetul este drept, densitatea luminii primite va fi foarte
semnificativă, iar opusul va fi adevărat atunci când degetul se îndoaie. Ambele sunt potrivite pentru
persoanele cu handicap ale căror degete abia pot efectua chiar mișcări foarte mici.
Un senzor tactil (cunoscut și sub numele de rezistență sensibilă la forță) este un dispozitiv robust de
film cu grosime de polimer, a cărui rezistență se schimbă atunci când se aplică o forță ( Figura 8 ). Acest
senzor poate măsura forța între 1 kN și 100 kN. Rezistența senzorului tactil se modifică pe măsură ce se
aplică mai multă presiune sau forță. Când nu există presiune aplicată, senzorul arată ca un circuit deschis
și, pe măsură ce presiunea crește, rezistența scade [ 35 ]. Astfel, senzorul tactil este utilizat pentru a
calcula cantitatea de forță plasată pe deget, prin care se poate determina dacă degetul este curbat sau
drept [ 39 , 45 ]. Un senzor tactil are un diametru rotund, 0,16 inch, 0,5 inch și 1 inch. Costul mediu al unui
senzor tactil este între $6 și 25 USD .
Un alt principiu a fost exploatat în scopul de a afla forma degetului printr-un câmp magnetic aplicat
și pentru a determina variația tensiunii pe un conductor electric. În consecință, cele de mai sus ar putea fi
realizate prin utilizarea senzorului magnetic cu efect Hall (HEMS). Senzorul unipolar Hall Effect (MH183)
utilizat poate detecta polii sudici ai magnetului și este ușor disponibil. Senzorii de efect sunt așezați pe
vârfurile degetelor, iar magnetul este așezat pe palma cu polul sud orientat spre vârf, așa cum se arată
în Figura 9 . Când Polul Sud este adus pe fața frontală a senzorului Hall, acesta generează o ieșire de
0,1-0,4V. În același scop, alte articole s-au bazat pe utilizarea tehnicii senzorului ACC pentru a constata
forma degetelor [ 4 , 11, 14 , 46 ]. Senzorul este ușor, cu un nivel ridicat de precizie de recunoaștere și
are un cost de fabricație redus.
b. Senzori folosiți pentru a detecta mișcarea și orientarea mâinii
Având în vedere că posturile SL sunt alcătuite din mișcări ale mâinilor și ale încheieturii mâinii,
acestea ar trebui luate în considerare. În ciuda beneficiilor utilizării senzorilor pentru a determina forma
degetului, mișcările mâinilor nu pot fi distinse prin acești senzori. Caracteristicile senzorului ACC îi permit
să distingă mișcarea și rotația încheieturii mâinii ca un alt factor pe lângă capacitatea sa de a determina
forma degetului. Prin urmare, ACC cu trei axe care furnizează diferențele de accelerație de-a lungul
fiecărei axe este utilizat pentru a surprinde orientarea și mișcarea încheieturii mâinii pentru a reprezenta
corect funcția importantă a unei mănuși de senzor. ADXL335 (Adafruit Industries, New York, NY, SUA)
( Figura 10) este un accelerometru complet cu 3 axe subțire, mic, de mică putere, cu ieșiri de tensiune
condiționate de semnal. Măsoară accelerarea cu o gamă minimă de 3g. Acest dispozitiv măsoară
accelerația statică a gravitației în aplicațiile de detectare a înclinării și accelerația dinamică rezultată din
mișcare, șoc sau vibrație. ADXL335 conține o structură micro-prelucrată de suprafață din polisilicon
construită deasupra unei plăci de siliciu. Arcurile din polisilicon suspendă structura pe suprafața
napolitanei și oferă rezistență împotriva forțelor de accelerație. Un condensator diferențial, format din
plăci fixe independente atașate la masa în mișcare, măsoară devierea structurii. Accelerarea
dezechilibrează condensatorul, care, la rândul său, are ca rezultat o ieșire a senzorului cu amplitudine
proporțională cu accelerația experimentată. Prețul variază de la$ 9 $ deschisă 24 , în funcție de versiunea
ACC.
Combinarea unui ACC cu 3 axe și a unui giroscop cu 3 axe pe aceeași placă îl face potrivit pentru
măsurarea mișcării urmărite; dispozitivul prezintă date referitoare la accelerații în toate cele trei direcții
plus rotații în jurul fiecărei axe [ 42 , 48 , 49]. Giroscopurile măsoară viteza unghiulară și cât de repede se
rotește ceva în jurul unei axe. Dacă cineva încearcă să monitorizeze orientarea unui obiect în mișcare,
este posibil ca un accelerometru să nu ofere suficiente informații pentru a ști exact cum este orientat.
Spre deosebire de accelerometre, giroscopii nu sunt afectați de gravitație, așa că fac o mare
complementare unul cu celălalt. Se vede de obicei viteza unghiulară reprezentată în unități de rotații pe
minut (RPM) sau grade pe secundă (° / s). Cele trei axe de rotație sunt fie referite ca x, y și z, fie roll, pitch
și yaw. IMU și anume MPU6050 (InvenSense, San Jose, CA, SUA) ( Figura 11) este un cip de 6 grade
de libertate de la compania Invensense, care conține un accelerometru cu trei axe și un giroscop cu trei
axe. Este operat de pe o sursă de 3.3V și comunică prin protocolul serial I2C la o viteză maximă de 400
kHz. Măsurarea accelerometrului este citită de unitatea de microcontroler (MCU), utilizând 16-bit Analog
to Digital Conversion (ADC). Prețul MPU6050 este de aproximativ 30 USD .
 În plus, adăugarea unui magnetometru cu 3 axe la un accelerometru cu 3 axe și un giroscop cu 3
axe va obține un senzor de unitate de măsurare inerțială cu 9 axe (IMU) care oferă informații 9DoF plus
rulare, gălăgie și înălțime în timpul mișcării și orientării mână. Senzorul de câmp amagnetic este un
dispozitiv de sisteme microelectromecanice la scară mică (MEMS) pentru detectarea și măsurarea
câmpurilor magnetice (magnetometru) [ 46 , 51 , 52 ]. Versiunea IMU MPU-9250 ( Figura 12) înlocuiește
popularul sfârșit de viață (EOL) MPU-9150 și scade consumul de energie cu 44%. Potrivit InvenSense,
„performanța zgomotului giroscopic este de 3 ori mai bună, iar gama completă a busolei este de peste 4
ori mai bună decât ofertele competitive.” MPU-9250 utilizează convertoare analog-digitale (ADC) pe 16
biți pentru digitalizarea tuturor celor nouă axe, făcându-l o placă de 9 grade de libertate foarte
stabilă. Prețul MPU-9250 este de aproximativ 15 USD .
2.1.2. Unitate de procesare
Microcontrolerul este mintea sistemului care este responsabilă pentru colectarea datelor de la
senzorii furnizați de mănușă și efectuarea procesării necesare a acestor date pentru a recunoaște și a
transfera semnul în portul de ieșire care urmează să fie prezentat în etapa finală. Un microcontroler de
înaltă performanță cu un microcip cu microcontrolere AVR pe 8 biți bazat pe un computer cu set de
instrucțiuni redus (RISC), care combină memoria flash de 32 KB de programare în sistem (ISP) cu
capacități de citire-scriere numite ATmega ( Figura 13 a), a fost utilizat în [ 8 , 9 , 35 , 50 ]. Un
microcontroler MSP430G2553 (TEXAS INSTRUMENTS, Dallas, TX, SUA), ( Figura 13b) s-a utilizat ADC
cu 8 canale, 10 biți (convertor analogic la digital) [ 37 ]. Modulele centrale de procesor ARM7 și ARM9
sunt utilizate de [ 54 , 55 ], respectiv. Mai mult, așa cum se găsește în literatură, a fost utilizată o
platformă electronică open-source numită Arduino. Mai multe plăci Arduino sunt disponibile pe piață, cum
ar fi Arduino Nano, Uno, Mega etc .; de exemplu, Arduino Uno (Arduino, Italia), ( Figura 13 c) se bazează
pe microcontrolerul ATmega328P și are 14 intrări / ieșiri digitale, 6 intrări analogice, un cristal cuarț de 16
MHz și conexiune USB [ 6 , 8 , 21 , 37 , 56 , 57 , 58, 59 ]. Odroid XU4 (Hardkernel2, Anyang, Coreea de
Sud) ( Figura 13 d), produs de Hardkernel2, utilizează un procesor Samsung Exynos5 Octa 5410 care
este format din 4 nuclee CPU fiecare cu nuclee Cortex ™ -A15; a fost utilizată pentru dezvoltarea mănușii
de date [ 59 ].
2.1.3. Unitate de ieșire
În mod obișnuit, un utilizator interacționează cu dispozitivul prin intermediul dispozitivelor de ieșire,
astfel încât dispozitivele de ieșire joacă un rol important în realizarea celor mai bune performanțe ale
dispozitivelor implementate în domeniul SLR. Principalul dispozitiv adoptat de cercetători ca rezultat a
fost ecranul computerului [ 3 , 4 , 35 , 40 , 48 , 60 , 61 , 62 ]. Alte dispozitive care atrag atenția
cercetătorilor sunt afișajul cu cristale lichide (LCD) [ 12 , 35 , 57 , 63 ], difuzorul [ 38 , 46 , 54 , 64], sau
ambele [ 6 , 51 , 55 , 65 , 66 , 67 , 68 ]. În cele din urmă, smartphone-ul este o altă alternativă aleasă
pentru ieșirea sistemului [ 9 , 42 , 48 , 59 , 69 ].
2.2. Metode de învățare prin gesturi
Software-ul, care este o componentă esențială a fiecărui sistem, joacă un rol important în
procesarea datelor, pe lângă posibilitatea de a îmbunătăți ieșirile sistemului. Dezvoltarea de software
pentru sistemele SLR este legată de metodele utilizate în procesul de clasificare pentru a recunoaște
gesturile. Una dintre metodele directe comune pentru efectuarea recunoașterii statice a posturii este
potrivirea prototipului (cunoscută și sub numele de potrivire șablon statistic), care operează pe baza
statisticilor pentru a determina cea mai apropiată potrivire a valorilor informațiilor dobândite cu eșantioane
predefinite de formare numite „șabloane” [ 3]. De fapt, această metodă se caracterizează prin lipsa
necesității unor procese de antrenament complicate sau a unei calibrări largi, crescând astfel viteza
acesteia. Din punct de vedere al recunoașterii tiparelor, rețeaua neuronală artificială (ANN) este cea mai
populară metodă utilizată pentru învățarea automată în domeniul recunoașterii [ 67 , 70 ]. Prin urmare,
este posibil să se antreneze această tehnică pentru a distinge atât gesturile statice și dinamice, cât și
clasificarea posturii, pe baza datelor obținute din mănușa de date [ 41 , 43 , 54 , 70 , 71 ]. Fuzzy Logic pe
termen lung a fost folosit în multe domenii care necesită luarea deciziilor umane; unul dintre aceste
domenii este recunoașterea limbajului semnelor [ 4, 21 , 42 , 72 ]. La fel, există un alt algoritm util; de
fapt, se încadrează în sfera învățării automate folosite pentru a oferi o clasificare precisă și mai puțin
complicată prin reducerea dimensionalității cu clustering îmbunătățit, care este cunoscut sub numele de
Analiză Discriminantă Lineară (LDA) [ 46 , 61 ]. Modelele ascunse Markov (HMM) sunt o tehnică populară
care și-a arătat potențialul în numeroase aplicații precum viziunea pe computer, recunoașterea vorbirii,
biologia moleculară și SLR [ 53 , 73 , 74 , 75 , 76 ]. Pe lângă HMM, KNN este folosit și pentru clasificarea
gesturilor cu mâna [ 63], iar clasificatorul KNN cu mașini de suport vector (SVM) a fost aplicat în
clasificarea posturii în [ 77 ]. KNN este aplicat în activitatea de recunoaștere a semnelor ASL [ 40 ].
2.3. Seturi de date de instruire
Atenția acordată mănușii senzoriale se datorează capacității sale de a capta datele necesare pentru
a fotografia forma și mișcarea mâinii în scopul recunoașterii gesturilor SL. În ciuda faptului că SL are o
mulțime de posturi, multe studii s-au concentrat pe un set selectiv de posturi care pot fi la fel de mici ca
unele litere ale alfabetului [ 21 , 44 , 47 , 51 , 78 ]; sau posturile celor mai des folosite cuvinte
[ 37 , 41 , 45 , 55 , 56 , 72 , 77 , 79 ]; sau o combinație de alfabet, numere și cuvinte [6 ] să efectueze
experimentele lor și să dezvolte un sistem SLR. Alții au contribuit la extinderea bazei de date de gesturi
alocate în scopul dezvoltării unui sistem care să le distingă și să le facă să includă fie alfabete întregi
[ 4 , 11 , 35 , 46 , 50 , 57 , 64 , 65 , 70 ], numere în intervalul 0-9 [ 10 ], sau ambele, în același sistem
[ 39 , 42 , 69]. Mai mult, alții au contribuit la efortul lor de a distinge anumite cuvinte și fraze, chiar
propoziții, alese pentru a acoperi o gamă largă de circumstanțe din viața reală, cum ar fi familia,
cumpărăturile, educația, sportul etc. [ 54 , 73 , 74 , 75 , 78 , 80 , 81 , 82 , 83 ]. Figura 14 ilustrează
numărul de articole din fiecare varietate a gesturilor menționate anterior.
Tabelul 1 prezintă detalii suplimentare cu privire la baza de date utilizată în majoritatea studiilor
anterioare, cum ar fi tipul de gesturi utilizate cu frecvența efectuării acestor gesturi. În plus, tabelul
clarifică cine a creat semnele alături de numărul de interpreți. Se indică, de asemenea, numărul total de
probe utilizate în experimente.

3. Rezultatele analizei
Bazele de date, și anume Institutul de ingineri electrici și electronici (IEEE), Web of Science (WOS)
și ScienceDirect, au fost adoptate în acest studiu, deoarece acoperă publicații științifice de înaltă calitate
(de exemplu, reviste, articole, lucrări de conferință și lucrări de atelier) legate de informatică. La fel, după
cum sugerează [ 66], 691 de articole, inclusiv 590 din ScienceDirect, 53 din IEEE Xplore și 48 din Web of
Science, au fost obținute ca rezultate principale ale cercetării. Șaisprezece înregistrări duplicate au fost
eliminate prin eliminarea manuală, rezultând astfel 675 de hârtii unice pentru analiză. Screeningul
rezumatelor și metadatelor a condus la excluderea în continuare a 449 de lucrări, deoarece acestea nu
se potriveau cu niciuna dintre interogările noastre de căutare. Un total de 226 de studii au rămas pentru
analiza textului complet. Analiza a exclus alte 155 de înregistrări din cauza neîndeplinirii criteriilor de
includere. Studiile ar trebui să fie relevante pentru dezvoltarea unui sistem SLR utilizând o mănușă
senzorială și ar trebui să aibă versiuni accesibile, online, cu text integral. Mai mult, au fost acceptate doar
publicațiile scrise integral în limba engleză. Figura 15 prezintă procesul de selecție a articolelor adoptat în
acest studiu.
În screeningul final, au fost identificate 71 de studii care îndeplinesc criteriile de includere. Lucrările
incluse în identificarea elementelor importante pentru fiecare studiu au fost citite de mai multe ori și toate
aceste informații au fost listate într-un singur fișier Excel. Aceste informații se refereau la tipul articolului,
motivația, problemele, obstacolele și provocările. De asemenea, a fost identificat limbajul surd vizat de
studiu, cu accent pe tipurile de senzori și instrumente utilizate, precum și metodele și algoritmii care au
fost adoptați în aceste studii. Majoritatea înregistrărilor (78,87%; 56/71) sunt lucrări de dezvoltare care se
referă la eforturi autentice de a dezvolta un sistem de recunoaștere sau de a împărtăși expertiza în acest
sens. Alte lucrări (9,85%; 7/71) sunt propuneri de modele sau cadre pentru a rezolva situația dificilă a
persoanelor surde și mute. Câteva articole (8,45%;6/71) demonstrează lucrările existente privind
recunoașterea unui SL specific sau a unui sistem general de recunoaștere pentru a investiga
caracteristicile și dezavantajele dorite și aplicațiile noilor instrumente de asistență. Cea mai mică parte a
studiilor (2,81%; 2/71) include articole care se concentrează pe detectarea gestului mâinii și aplicațiile
sale în SLR. Aceste tipare au fost observate pentru a crea patru categorii generale de articole (recenzie și
sondaj, dezvoltare, cadru și alte gesturi de mână) și pentru a răspunde la întrebările care au fost inițial
postate. Ulterior, grupurile au fost rafinate în taxonomia literaturii (2/71) include articole care se
concentrează pe detectarea gesturilor mâinii și aplicațiile sale în SLR. Aceste tipare au fost observate
pentru a crea patru categorii generale de articole (recenzie și sondaj, dezvoltare, cadru și alte gesturi de
mână) și pentru a răspunde la întrebările care au fost inițial postate. Ulterior, grupurile au fost rafinate în
taxonomia literaturii (2/71) include articole care se concentrează pe detectarea gesturilor mâinii și
aplicațiile sale în SLR. Aceste tipare au fost observate pentru a crea patru categorii generale de articole
(recenzie și sondaj, dezvoltare, cadru și alte gesturi de mână) și pentru a răspunde la întrebările care au
fost inițial postate. Ulterior, grupurile au fost rafinate în taxonomia literaturii (Figura 16 ). Categoria
principală a fost, de asemenea, împărțită în subcategorii, asigurându-se în același timp că nu s-au produs
suprapuneri. Categoriile observate sunt enumerate în următoarele secțiuni.
3.1. Revizuirea și sondarea articolelor
Importanța articolelor de recenzie este bine recunoscută în rândul celor care lucrează în cercetări
care urmăresc să absoarbă noi fenomene, să le introducă în comunitatea cercetătorilor și să extragă
meta-statistici pentru a înțelege posibilitățile și efectele fenomenelor asupra instituirii schimbării. În ciuda
importanței acestui tip de articole, dintre cele 71 de studii, doar șase au aparținut categoriei de revizuire și
sondaj, care a constat din trei grupuri, și anume revizuirea generală [ 84 ], bazată pe sistem SLR
[ 17 , 84 , 85 ], și pe bază de mănuși [ 11 , 21]. Documentele de analiză generală oferă o imagine
completă a sistemului de mănuși utilizat, cu o explicație a aplicațiilor sale. Mai mult, acest tip de hârtie
analizează caracteristicile dispozitivului, oferă o foaie de parcurs pentru dezvoltarea tehnologiei și
abordează limitările tehnologiilor existente și tendințele în limitele cercetării. Articolele legate de sistemul
bazat pe mănuși analizează problemele de dezvoltare ale mai multor sisteme actuale care sunt folosite
ca interpret al SL-ului specific pentru a comunica cu surzii și mutii. Prin aceste lucrări, se obține o
abordare comparativă definitivă pentru selectarea tehnologiei adecvate și pentru sistemele de traducere
ale unui anumit SL. Un sistem bazat pe recunoaștere oferă o imagine de ansamblu asupra cercetării
privind SLR, analizează componentele esențiale ale SL,surprinde mai multe metode și tehnici de
recunoaștere care pot ajuta la dezvoltarea unui sistem de recunoaștere a limbajului semnelor cu un
vocabular larg și evidențiază punctele tari și punctele slabe ale sistemelor dezvoltate.
3.2. Sistem de dezvoltare pentru SL
Majoritatea studiilor (56/71 lucrări) obținute prin procesul de cercetare au aparținut categoriei de
dezvoltare. Aceste articole au fost clasificate în diferite subiecte și aplicații. Studiile selectate au fost
clasificate în subcategorii pe baza tipurilor de mănuși și senzori utilizați.
3.2.1. Sistem necomercial bazat pe mănuși
Definit pe larg, un senzor de mănuși necomercial este o componentă electronică, unitate sau
subsistem care distinge mișcările mâinilor sau modificările îndoirii degetelor și trimite date către alte
dispozitive electronice, adesea către un procesor de computer. Acest senzor este dezvoltat și fabricat prin
efort de sine. Majoritatea lucrărilor aparțineau acestei categorii (39/71). Articolele din această categorie
pot fi distribuite în următoarele două subcategorii, în funcție de porțiunea membrului superior al corpului
care trebuie distins.
Prima subcategorie, banda degetelor (17/39): toate articolele listate în această categorie sunt
relevante pentru dezvoltarea unui model, sistem sau dispozitiv pentru recunoașterea gesturilor prin
detectarea degetelor. Aceste articole au raportat potențialele tipuri de senzori care pot fi folosiți pentru a
determina cantitatea de curbură a degetelor, identificând avantaje și dezavantaje. De asemenea, ele
elucidează dimensiunea setului de date care poate fi distinsă pe lângă menționarea acurateței obținute în
timpul implementării sistemului. Figura 17listează mostre ale mănușii dezvoltate, care pot captura
îndoirea degetelor. Zece senzori flex au fost folosiți pentru a obține date de îndoire a degetelor. Doi
senzori au fost atașați la fiecare dintre cele două articulații peste fiecare deget. Multiplexorul analogic de
mare viteză și putere redusă (MPC506A, TEXAS INSTRUMENTS, Dallas, TX, SUA) a fost utilizat pentru
a colecta 10 semnale analogice de intrare de la senzorii flexibili pentru a prelucra date utilizând
microcontrolerul MSP430G2231 (TEXAS INSTRUMENTS, Dallas, TX, STATELE UNITE ALE AMERICII).
Codul din datele primite de microcontroler de la multiplexor a fost apoi aranjat sub forma unui pachet cu
un caracter marcator, iar acest pachet a fost trimis utilizând un chipset transceptor Bluetooth EZ430-
RF2560 (TEXAS INSTRUMENTS, Dallas, TX, SUA) către un telefon mobil . Modulul Bluetooth transmite
la o rată de 11520 baud. Odată ce unghiurile au fost găsite folosind software-ul instalat pe mobil,acestea
sunt comparate cu ipostazele cunoscute din baza de date. Apoi, se calculează un parametru de eroare
pentru fiecare dintre aceste ipostaze. În cele din urmă, un sintetizator de text în vorbire este folosit pentru
a converti informațiile colectate în voce [44 ]. În [ 9], a fost dezvoltată o mănușă de recunoaștere a
gesturilor cu 5 senzori ADXL 335 ACC cu trei axe. Microcontrolerul ATmega 2560 (Microchip Technology,
Chandler, AZ, SUA) decodifică gesturile limbajului semnelor americane (ASL), luând în considerare
orientarea axei în raport cu gravitația și tensiunea corespunzătoare a acestora. Prin intermediul unui
modul Bluetooth (SPP-TTL INTERFACE), alfabetul / cuvântul este trimis către o aplicație Android pentru
a le converti în text și voce. A fost prezentat un sistem de recunoaștere a degetelor pentru a ajuta
persoanele cu handicap să își exprime intențiile folosind doar un deget. Cinci senzori de fibre optice
înconjurau fiecare deget. Pentru a reprezenta puterea semnalelor optice, au fost utilizate 8 cifre pentru a
măsura fiecare îndoire a degetului. Sistemul a folosit un modul de rețea neuronală cu 3 straturi pentru a
învăța gesturile de intrare cu programul MATLAB. Nodurile de intrare reprezintă valorile caracteristicii
alese;nodurile ascunse folosesc TANSIG (Tan-Sigmoid) ca funcție de transfer. Funcția de transfer Purelin
(liniar) a fost utilizată pentru un nod de ieșire. Cele șase valori diferite au servit ca rezultate pentru cele
șase gesturi de mână predefinite. Algoritmul Back-Propagation este utilizat pentru antrenament, iar
metoda de validare înzecită este aplicată la 792 de înregistrări [7 ]. În [ 2 ], cinci senzori flex au fost
montați pe mănușă pentru a recunoaște limbajul semnelor britanic și indian. Mărimea senzorilor flexibili
utilizați a fost de aproximativ 112 mm și aproximativ 0,43 mm grosime. Microcontrolerul MSP430F149
(TEXAS INSTRUMENTS, Dallas, TX, SUA) a comparat gesturile cu semnale electrice echivalente
corespunzătoare stocării memoriei. Cuvântul valid a fost afișat pe ecranul LCD și rostit din difuzor.
Sistemul semn către Letter Translator (S2L) a fost dezvoltat ca în [ 12]. Sistemul constă dintr-o mănușă,
șase senzori flexibili, componente discrete, un microcontroler și un LCD. Cinci senzori flexori au fost
montați pe fiecare deget și unul pe încheietura mâinii. Intrările analogice a șase senzori sunt convertite în
zerouri pe doi biți, unul corespunzător fiecărei litere pentru cei cinci senzori flexibili. Rezultatul final a fost
produs prin intermediul unor condiții „dacă”. O pereche LED-LDR a fost utilizată în [ 37 ] pentru a detecta
îndoirea degetelor (o pereche pentru fiecare deget). Microcontrolerul MSP430G2553 (TEXAS
INSTRUMENTS, Dallas, TX, SUA) convertește valorile analogice de tensiune în eșantioane digitale și
codul ASCII al alfabetului englez 10. ZigBee Bluetooth a fost folosit pentru a transmite gesturi
recunoscute. Codul ASCII primit este afișat pe computer, iar sunetul corespunzător este redat. MĂNUVA
DE VORBIRE ELECTRONICĂ a fost prezentată în [38 ]. Senzorul flex a fost foarte subțire și ușor (4,5
inci). Microcontrolerul TMEGA32L de 8 biți AVR ® de 8 biți, de înaltă performanță, cu consum redus,
cu arhitectură RISC ADC de 10 biți, a fost utilizat pentru a recunoaște alfabete ASL prin intermediul
algoritmului de potrivire a șabloanelor. SpeakJet IC a introdus cele 72 de elemente de vorbire
preconfigurate (alofoane). În [ 41], a fost investigată fiabilitatea senzorilor de rezistență pe traducerea
ASL prin imagine / interacțiune virtuală. Pentru realizarea experimentului s-au folosit doi senzori flex.
Semnalul de mișcare al degetului arătător și al degetului mijlociu a fost trimis microcontrolerului Arduino
Uno. Sistemul a testat cele șase litere „A, B, C, D, F și K”, precum și numărul „8” folosind Fuzzy Logic prin
intermediul software-ului MATLAB. Datele a patru gesturi au fost obținute folosind o mănușă de date
echipată cu cinci senzori flexibili. Schimbarea rezistenței senzorilor flex a fost introdusă în Arduino Nano
pentru a implementa algoritmul de potrivire a șabloanelor pentru a recunoaște gestul specific și comanda
audio preînregistrată care a fost stocată pe cardul de memorie Secure Digital (SD); acesta a fost apoi
transmis printr-un difuzor și afișarea textului printr-un afișaj LCD de 16 × 2 [  68]. Structura hardware a
[ 63 ] constă din trei senzori flexibili, un amplificator de instrumentație INA 126, un convertor analog-digital
(ADC), un microcontroler 16F877A și un LCD. Senzorii au fost așezați pe trei degete, și anume, degetul
inelar, mijlociu și arătător, pentru a identifica literele alfabetului din ortografia degetului ASL. Douăzeci și
șase de caractere ASL au fost stocate în biblioteca de microcontroler Programmable Intelligent Computer
(PIC). Datele gesturilor obținute au fost comparate cu 26 de caractere ASL care au fost stocate în
biblioteca de microcontrolere a PIC, iar litera potrivită a fost afișată pe ecranul LCD. Mănușa de date a
recunoscut cu succes până la 70% din caracterele ASL. Sistemul propus în [ 57] conținea o pereche de
mănuși senzoriale încorporate cu senzori flex și de contact. Fiecare mănușă este formată din nouă
senzori flexibili, opt senzori de contact, microcontrolere ATmega328P (Microchip Technology, Chandler,
AZ, SUA) și un modul Bluetooth XBee (Digi International, Minnetonka, MN, SUA). Senzorii flex de la F1 la
F5, și anume „senzorii de flexie exterioară”, au fost folosiți pentru a calcula modificările de încovoiere pe
partea de sus a celor cinci degete, iar senzorii de flex de la F6 la F9, și anume „senzorii de flexie
interioară”, au fost folosiți pentru a detecta modificări de orientare sub deget (cu excepția degetului mare).
Un set de date de 36 de gesturi ASL unice a fost folosit pentru a evalua sistemul; motorul de
recunoaștere bazat pe potrivirea șabloanelor se află în microcontrolerul principal, care procesează
intrarea și identifică gestul. Precizia sistemului a fost de la 83,1% la 94,5% cu un cost de
aproximativ30 USD . Sistemul de recunoaștere a gesturilor bazat pe mănuși ASL este prezentat în [  60 ].
Variația rezistenței electrice a cinci senzori flexori personalizați a fost procesată ca intrare la un
microcontroler Arduino ATMega328; apoi, a fost comparat cu valorile stocate corespunzătoare gesturilor.
Performanța sistemului atinge o precizie de până la 80%. Costul sistemului este de aproximativ mai mic
de 5 USD în condiții de laborator folosind componente de la raft.
A doua subcategorie, degetele și banda de încheietură (22/39): această categorie cuprinde fiecare
studiu realizat pentru a dezvolta un model, sistem sau dispozitiv pentru recunoașterea gesturilor prin
detectarea înclinărilor degetelor și a orientării încheieturii mâinii. Aceste articole au analizat mai multe
tipuri de senzori pentru detectarea mișcărilor degetelor și încheieturilor. Au fost prezentate și avantajele și
dezavantajele sistemelor de recunoaștere. S-au descris seturile de date și eșantioanele utilizate și s-a
precizat acuratețea atinsă în timp ce sistemul a fost implementat. Figura 18 prezintă mostre ale mănușii
dezvoltate care pot capta flexia și răpirea degetelor, precum și măsurarea mișcării mâinii. GesTALK, un
sistem independent, a fost prezentat pentru a converti gesturile statice în vorbire [ 66]. Sistemul poate
vocaliza literele pe baza gesturilor statice și poate pronunța un șir de cuvinte concatenând cuvinte.
Sistemul vocalizează literele ASL și Pakistan Language Language (PSL) exprimate prin gesturi statice
făcute de persoana surdă. Mănușa a constat din 11 elemente rezistive, unul pentru fiecare deget și unul
pentru răpire. Mai mult, pasul și rularea încheieturii au fost măsurate folosind doi senzori. Sistemul ar
putea recunoaște 24 din 26 de litere cu o precizie de 90%. O mănușă senzorială fără fir a fost dezvoltată
în [ 4], ca un nou design al American SL pentru a recunoaște gestul de ortografie a degetelor. În plus față
de un ACC 3D, mănușa avea cinci senzori flexibili de 4,5 inci și cinci senzori de contact. Datele de
formare au fost colectate de la șase subiecți cu deficiențe de vorbire prin gesturi de ortografie ASL.
Sistemul a extras 21 de caracteristici din senzori, iar experimentul a arătat că mănușa de date poate fi
îmbunătățită cu 12,3% folosind un model simplu Gaussian multivariat. Sistemul bazat pe mănuși a fost
propus pentru a urmări gesturile mâinilor. Sistemul detectează mișcările mâinilor utilizând măsurători de
atitudine și inerțiale [ 59]. Sistemul prototip a constat din șase unități de măsură inerțiale (UMI); cinci erau
în partea superioară a fiecărui deget și unul era la încheietura mâinii. Fiecare modul IMU oferă măsurători
ACC 9-D, giroscop și magnetometru la o rată de 100 Hz, precum și atitudine (orientare) estimată folosind
un filtru Kalman extins. Procesul de recunoaștere a fost realizat prin aplicarea Analizei Discriminante
Liniare (LDA) asupra semnalelor de intrare trimise către un computer încorporat Odroid XU4 folosind un
hub USB. Sistemul a obținut o precizie de 85%. AcceleGlove, care cuprinde șase senzori ADXL202, ACC
a fost dezvoltat pentru recunoașterea posturii vietnameze SL [ 58]. Sistemul a fost modelat pentru cele 23
de alfabete vietnameze, precum și două posturi pentru „spațiu” și „punctuație”. Datele colectate de la
IMU-uri s-au referit la articulațiile încheieturii mâinii și ale degetelor. Sistemul bazat pe reguli fuzzy a fost
utilizat pentru a efectua procesul de clasificare a gesturilor. Douăzeci din cele 23 de litere au obținut o
recunoaștere de 100%, iar precizia medie a sistemului a ajuns la 92%. O mănușă inteligentă a fost
dezvoltată pentru a surprinde posturile mâinii și a traduce aceste posturi în text simplu, în funcție de
sistemul de achiziție și control al datelor [ 50]. Trei tipuri de senzori au fost folosiți în acest prototip de
mănuși de date: cinci senzori flex, cinci senzori de forță, unul montat pe un deget, șase cip DoF
MPU6050, tri-ax ACC și senzori de giroscop tri-ax. Toți acești senzori au fost conectați la Arduino mega,
iar rezultatul a fost afișat pe un LCD sau un telefon inteligent. Sistemul electronic ar putea recunoaște
alfabetul ASL (20 din 26 de litere) și a obține o precizie medie de 96%. De asemenea, a fost prezentată o
abordare holistică pentru a dezvolta un sistem de mănuși inteligente în timp real pentru a converti
gesturile SL statice în vorbire utilizând potrivirea șablonului statistic [ 3 ]. Software-ul „Language Trainer &
Voice Convertor” a achiziționat cinci senzori flexibili personalizați și un ACC cu 3 axe împreună cu o placă
de microcontroler Arduino Duemilanove.
O mănușă haptică a fost prezentată ca un mijloc vital de a obține date de la diferite semne de mână,
iar programul LabVIEW a servit ca interfață cu ajutorul platformei Arduino [ 47 ]. Arduino Mega a fost
folosit pentru a colecta semnale gestuale de la cei cinci senzori flexibili personalizați, senzori de contact și
un ADXL335 ACC, amplasați pe mănușă. Senzorii flex au fost montați pe fiecare deget, iar senzorii de
contact au fost așezați între fiecare deget adiacent. O mănușă electronică a fost echipată cu cinci senzori
flexibili, un ACC și un senzor de contact pentru a recunoaște gesturile statice și dinamice și a transforma
aceste gesturi în informații vizuale pe un ecran LCD, voce printr-un difuzor sau ambele [ 67].]. Sistemul
încorporat este compus din mănuși de date cu senzori flex și un ACC pentru a detecta înclinarea
degetelor și rotația mâinii; după aceea, aceste semne sunt procesate de un microcontroler, iar vocea de
redare este ieșirea sistemului [ 79 ]. Mănușa mapează orientarea mâinii și îndoirea degetelor cu ajutorul
unui senzor ACC și Hall Effect. Dispozitivul este modelat pentru a transforma gesturile SL în mesaje
textuale [ 36]. Patru senzori de efect Hall (MH183), care au fost așezați pe toate degetele, cu excepția
degetelor mari, au fost folosiți pentru a detecta polii sudici ai magnetului așezat pe palmă pentru a
măsura înclinarea degetului. ADXL535 a fost, de asemenea, inclus pentru a înregistra orientarea mâinii
prin intermediul tripletului informațiilor despre axele x, y, z (tensiuni). Datele achiziționate din mănușă au
fost transmise către scriptul MATLAB pentru a detecta numărul de gesturi (0-9) efectuate de utilizator și
acuratețea recunoașterii (aproximativ 96%). Într-un alt studiu, două elemente, și anume, metoda de
poziționare 3D și tehnica de detectare optică, au fost utilizate pentru a crea o mănușă cu costuri reduse
pentru interpretarea gesturilor [ 56]. Un set de diode emițătoare de lumină (LED) a avut un vârf de emisie
de 940 nm (modelul LTE-4602), o fotodiodă compatibilă (același model) și o fibră polimerică (PMMA).
Acești senzori optici au fost utilizați pentru a captura înclinarea degetelor și a cipului LSM330DLC; ACC
pentru 3 axe și giroscopul cu 3 axe au fost utilizate pentru a determina mișcarea mâinii. A fost prezentat
un sistem de traducere pentru a interpreta gesturile Urdu SL folosind o mănușă de date purtabilă [  6].
Cinci senzori flexibili de 4,5 inci în lungime au fost așezați pe fiecare deget și un accelerometru MMA
7361 (SparkFun Electronics, Niwot, CO, SUA), a fost plasat pe palmă. Mănușa conținea, de asemenea,
Arduino Mega 2560, unitatea Graphical Liquid Crystal Display (GLCD) și modulul de redare WTV020 SD.
Analiza componentelor principale (PCA) a fost selectată pentru a obține coeficienții setului de
antrenament și pentru a crea o matrice de date de 300 × 8 (m × n). Aceste matrice de coeficienți au fost
utilizate pentru a transforma atât media salvată a valorilor senzorilor pentru fiecare gest, cât și
componentele de intrare în timp real. PCA a fost realizat folosind MATLAB 7. Performanța sistemului a
atins o precizie de 90%. Abordarea bazată pe mănuși este utilizată pentru sistemele de recunoaștere a
mișcării mâinilor. Astfel, abordarea poate recunoaște mai multe cuvinte, numere,și alfabetul SL din
Malaezia când difuzorul poartă mănușa cu 10 senzori de înclinare (doi senzori pentru fiecare deget); un
ACC cu 3 axe pentru a determina mișcarea mâinii prin valori de rostogolire, înălțime și gălăgie; și un
microcontroler și modul Bluetooth pentru a trimite datele convertite către un telefon mobil. Sistemul a fost
testat pe câteva gesturi ale limbii semnelor malaysiene folosind un șablon de potrivire, iar acuratețea a
variat de la 78,33% la 95% [69 ]. Douăzeci și șase de gesturi de mână corespund literelor alfabetelor, iar
alte 10 gesturi reprezintă numere, care pot fi recunoscute de modelul de mănuși de date prezentat în
această lucrare [ 51 ]. Au fost folosiți cinci senzori flex, unul pe fiecare deget și degetul mare alimentat
către Arduino uno printr-un pin analogic (A0 la A4). Pentru a determina înclinarea palmei, a fost utilizat un
ADXL335 ACC, iar 2 8 (256) gesturi au fost capacitatea sistemului de a stoca gesturile învățate pentru
procesul de potrivire. Combinarea senzorilor flexibili cu nouă grade de libertate, senzorul ACC și ARM9
au permis măsurarea gradului de îndoire a degetelor și a orientării mâinii [ 54]. Prin urmare, această
combinație poate distinge mai multe posturi SL cu ajutorul metodei de potrivire. Sistemul este format din
două mănuși; fiecare mănușă conținea cinci senzori flexibili de 4,5 de 95 mm lungime. În plus, un IMU de
9 DoF a fost folosit pentru a detecta orientarea și mișcarea palmei. Sistemul a fost testat cu alfabetul
fonetic, cum ar fi a, b, c, zh, ch și alte litere fonetice, cu o precizie medie de peste 88%.
3.2.2. Sistem comercial bazat pe mănuși
Sistemul comercial bazat pe mănuși este un mijloc de a face față problemei comunicării pentru
persoanele surde și mut. Sistemul folosește tehnologia de detectare a îndoirii pentru a capta acțiunile
mâinilor și ale degetelor în măsurători digitale ale unghiului articular. Mai multe studii (12/71 lucrări) au
folosit mănuși comerciale diferite pentru a recunoaște diferite SL. Unii dintre ei (7/12) au folosit o mănușă
comercială populară numită CyberGlove (GLV) ( Figura 19 ). Mănușa elastică ușoară este echipată cu 22
de senzori subțiri și flexibili care sunt practic nedetectabili. Mănușa este formată din trei senzori atașați la
fiecare deget, patru senzori de abducție între degete, un senzor cu arc de palmă și senzori pentru a
măsura flexia și răpirea încheieturii mâinii. Prețul este de aproximativ $40.000 pe pereche pentru
Cybergloves cu 22 de senzori. Un traducător ASL (în cuvinte scrise în limba engleză) a fost dezvoltat
folosind rețele neuronale artificiale (ANN). Sistemele, bazate pe mănușa Cyberglove ™ și un dispozitiv de
urmărire a mișcării 3-D Flock of Birds, au fost utilizate pentru a surprinde flexia degetelor și traiectoria
mâinii. Datele senzorilor au fost procesate de două rețele neuronale, și anume, o rețea de recunoaștere a
cuvintelor și o rețea de viteză, cu 60 de cuvinte ASL. Acuratețea recunoașterii acestor două sisteme este
de 92%, respectiv 95% [ 81 ]. Un model de mână 3D a fost conceput pentru a afișa postura legată de
cuvintele recondiționate. Un model de mână 3D a fost construit folosind java 3D. Sistemul a segmentat și
a recunoscut cuvintele continue, care au fost înregistrate folosind CyberGlove în timp real. Eficiența
recunoașterii a fost testată folosind arborele index [43 ]. Un Cyberglove ™ și un FlockofBirdss 3-D tracker
de mișcare sunt utilizate pentru a colecta mișcarea mâinii și îndoirea. Cele 15 unghiuri de îndoire, trei
poziții și trei citiri de orientare din Turma Păsărilor au fost clasificate folosind o rețea neuronală cu mai
multe straturi. ANN constă din 151 variabile de intrare, 100 de neuroni ascunși și 50 de neuroni de ieșire.
Un algoritm de propagare înapoi Levenberg – Marquardt a fost folosit pentru antrenarea a 50 de cuvinte
în ASL, iar sistemul a atins aproximativ 90% precizie de recunoaștere [ 74]. O probabilitate bazată pe
segmente a fost prezentată pentru a detecta și recunoaște gesturile continue ale ASL. O rețea bayesiană
(BN) a fost utilizată pentru a segmenta semnele continue. În scopul recunoașterii au fost aplicate un
câmp aleatoriu condițional cu două straturi (CRF), împreună cu clasificatorii mașinii de vector suport
(SVM). Performanța sistemului a avut o precizie medie de 89% [ 61 ]. O nouă abordare a fost propusă
prin combinarea datelor dobândite de la mănușile senzorilor, iar sistemul de urmărire manuală a folosit
teoria Dempster-Shafer pentru dovezi. Performanța de recunoaștere a 100 ArSL cu două mâini a atins o
precizie de aproximativ 96,2% [ 86]. CyberGlove a fost folosit pentru a colecta înclinarea degetelor și
mișcarea mâinilor. Un arbore de decizie liniar cu Fisher's linear discriminant (FLD) a fost folosit pentru a
clasifica 27 de forme de mâini semnând Exact English (SEE). Traiectoria mișcării mâinii a fost clasificată
folosind analiza componentelor principale de cuantizare vectorială (VQPCA). Sistemul a obținut o precizie
de recunoaștere de până la 96,1% [ 87 ]. Mai mult, câțiva (4/12) au experimentat cu o altă mănușă de
date comerciale cunoscută sub numele de mănușa de date 5DT pentru a-și dezvolta sistemele SLR. 5DT
Data Glove Ultra este disponibil în două variante, cu cinci sau 14 senzori pe mănușă. 5DT Data Glove 5
Ultra ( Figura 20) este echipat cu cinci senzori de fibră optică pentru a măsura flexia și unul suplimentar
pentru a măsura mâna de orientare (pitch și roll). 5DT Data Glove 14 Ultra constă din 14 senzori din fibră
optică (doi senzori pe deget), precum și răpirea între degete. Mănușa este, de asemenea, echipată cu doi
senzori de înclinare pentru a măsura pasul și rularea mâinii. Costul unei mănuși este de aproximativ 995
de dolari. Un model 3D pentru detectarea mișcării degetelor și a mâinilor a fost dezvoltat pentru a motiva
crearea unui sistem de învățare bazat pe mănuși. Sistemul a folosit mănușa de date 5DT 14 ultra-mișcare
pentru a surprinde gesturile de ortografie japoneze. Acest sistem ajută un cursant să recunoască erorile
de mișcare intuitiv [ 70]. Manuscrisul a prezentat dezvoltarea de software pentru a ajuta persoanele care
suferă de deficiențe de vorbire și auz, în funcție de locația de reglare a degetelor cu mănuși 5DT. Mănușa
5DT cu cinci senzori a fost folosită pentru a traduce semnele manuale în cuvinte și fraze. Recunoașterea
gesturilor a fost efectuată utilizând o rețea neuronală cu mai multe straturi. Configurația NN constă dintr-
un strat de intrare (cinci neuroni de intrare), trei straturi ascunse și un strat de ieșire (douăzeci și șase de
neuroni de ieșire). Diferiti algoritmi, și anume, propagarea înapoi, propagarea elastică, propagarea rapidă,
gradientul conjugat scalat și propagarea Manhattan, au fost folosite pentru a antrena rețeaua folosind
programul Matlab [ 82]. Arhitectura în timp real a fost prezentată pentru a recunoaște SL spaniolă în ceea
ce privește recunoașterea gesturilor și a mișcării. O 5DT Data Glove 14 Ultra a fost utilizată pentru
recunoașterea semnelor în timp real. Un clasificator ierarhic bazat pe distanță a fost propus pentru a
recunoaște 30 de semne ale alfabetului spaniol [ 78 ].
O singură lucrare (1/12) din această revizuire a literaturii a adoptat mănușa de date DG5 VHand în
implementarea sarcinii. Au fost dezvoltați doi traducători în timp real pentru American SL. O mănușă
DG5-VHand ( Figura 21 ) a fost echipată cu cinci senzori de îndoire și un ACC cu 3 axe, care permite
detectarea atât a mișcărilor mâinii, cât și a orientării mâinii. Mănușile sunt potrivite pentru operații fără fir
și sunt alimentate cu o baterie. Dispozitivul costă aproximativ $750 pentru o mănușă wireless din
stânga. O tehnică nouă a clasificat datele secvențiale pentru SL arabă folosind o pereche de mănuși DG5
VHand. K-Near Neighbor modificat (MKNN) a fost utilizat pentru clasificarea unui set de date bazat pe
senzori. Setul de date consta din 40 de propoziții, care au fost capturate folosind două mănuși DG5-
VHand. Performanța soluției propuse a atins o precizie de recunoaștere de 98,9% [ 40 ].
3.2.3. Sistem bazat pe senzori bi-canal
Tranzacționarea cu senzori multimodali prin fuzionarea datelor de pe diverse canale nu este
necesară pentru a înțelege pe deplin conotațiile posturii semnului. Prin urmare, a fost propusă
recunoașterea posturii mâinii bazată pe fuziunea datelor de electromiografie multi-canal (EMG) și senzori
inerțiali, cum ar fi un ACC cu trei axe. Beneficiile posibile ale combinației de semnale ACC și EMG sunt
utilizate pentru a obține mai multe grade de libertate a mâinilor [ 77]. Pentru a clasifica 72 de cuvinte în
limbajul semnelor chineze (CSL) s-au folosit un arbore de decizie și un flux ascuns Markov. MMA7361, cu
3 axe ACC a fost montat pe partea din spate a antebrațului lângă încheietura mâinii pentru a capta
informații despre orientările mâinii și traiectorii. Senzorii EMG au fost amplasați pe cinci locații de pe
suprafața mușchilor antebrațului. Rata generală de recunoaștere a sistemului a fost de până la 72,5%.
Sistemul de detectare pentru SL germană cu o bază de date mică a fost investigat utilizând un singur
canal de electromagnetism unic (EMG) și accelerație unică (ACC) pentru a recunoaște semnele pentru
vocabularele de nivel de șapte cuvinte [ 83]. Experimentul a fost realizat pe șapte gesturi de semn (70 de
eșantioane de la fiecare subiect), cu clasificatorul k-Cel mai apropiat vecin (k-NN, cu k = 5) și
SVM. Sistemul a obținut o precizie medie de 99,82% pentru recunoașterea dependentă de subiect și
88,75% pentru starea generală. Informațiile din ACC cu trei axe și electromiograma cu cinci canale a
mâinii semnatarului au fost analizate utilizând entropia în mod intrinsec către SLR greacă automată. Un
experiment a fost efectuat pe un lexicon de 60 de cuvinte cu trei semnatari nativi și repetat de 10
ori. Sistemul a folosit entropia în mod intrinsec (IMEn) prin utilizarea unui computer împreună cu MATLAB
R2007a. Experimentul a arătat că rata de recunoaștere a atins precizia clasificării de 93% [ 76 ].
3.2.4. Sistem hibrid pentru SLR
O categorie mică include lucrări asociate cu combinarea abordărilor bazate pe viziune și mănuși
pentru achiziționarea datelor SLR. Sistemul hibrid a fost propus pentru a profita de utilizarea măsurătorilor
senzorului inerțial și pentru a contribui la creșterea valorii datelor vizuale dobândite. Sistemul bazat pe
camerele model RGB (roșu, verde și albastru) sau senzorii de adâncime și mănușa accelerometru este
prezentat în [ 53]. Această problemă necesită investigații suplimentare. Mănușa Accelerometer conținea
șapte senzori IMU, cinci localizați pe degete (un senzor pe fiecare deget), unul pe încheietura mâinii și
unul pe braț. Baza de date a fost creată cu 10 repetări ale fiecăruia dintre cele 40 de gesturi înregistrate
pentru cei cinci semnatari. Acest lucru are ca rezultat un total de 2000 de înregistrări utilizate pentru
validarea soluției. Motorul de recunoaștere s-a bazat pe gesturi în limbajul semnelor prin utilizarea
modelelor paralele ascunse Markov (PaHMM). Precizia sistemului a ajuns la 99,75%. Prototipul pentru un
traducător SL unidirecțional a constat din AcceleGlove și o cameră montată pe o pălărie. Acceleglove a
fost echipat cu cinci ACC-uri pe 2 axe situate pe inele pentru a captura flexia degetelor. Încă două pe
spatele palmei citeau orientarea mâinii.Alte două ACC-uri au fost utilizate pentru a detecta unghiurile de
îndoire ale umărului și cotului împreună cu brațul superior. Utilizatorii execută 665 de propoziții ASL, cu o
cameră care filmează procesul pentru a ajuta la identificarea semnelor incorecte. Pentru a instrui
sistemul, un dispozitiv de recunoaștere bazat pe HMM a efectuat recunoașterea semnelor la nivel de
frază cu o precizie pe semn de 94% [52 ].
3.3. Cadre pentru SLR
Câteva dintre articolele obținute (7/71) se încadrează în categoria dezvoltată privind taxonomia
noastră, deoarece nu au dezvoltat un sistem nou. Mai degrabă, ele (3/7) au servit drept cadru eligibil al
șablonului [ 48 , 49 , 52 ]. Alte articole (3/7) au abordat proiectarea sistemului [ 42 , 73 , 75 ], în timp ce un
articol a prezentat dezvoltarea și utilizarea unei metode sau tehnici pentru sistemul SL [ 72 ]. În [ 42], a
fost propus un cadru pentru recunoașterea gesturilor cu două mâini bazate pe mănuși fără fir. Cadrul a
fost stabilit pentru traducerea în timp real a limbajului semnelor taiwaneze. Senzorii flexibili și inerțiali au
fost încorporați în fiecare mănușă. Îndoirea degetelor a fost dobândită de senzori flexibili, orientarea
palmei a fost dobândită de senzorul G, iar giroscopul a fost utilizat pentru a obține traiectoria mișcării
mâinii. Semnalul eșantionat va fi trimis către un telefon mobil prin Bluetooth. În telefonul mobil, semnalul
digital codat este comparat cu baza de date SL folosind un tabel de căutare și se afișează semnificația
unui gest valid. Folosind Google Translator, telefonul mobil produce o voce. Prin arhitectura și algoritmul
propus, precizia recunoașterii va fi acceptabilă. În [ 49], este prezentat cadrul pentru o mănușă senzorială
pentru semnele limbajului semnelor arabe (ArSL). Proiectarea mănușilor se bazează pe analiza statistică
pentru toate cuvintele ArSL în termeni de o singură mână prin cât mai puțini senzori posibil. Proiectarea
propusă a fost implementată folosind programul de simulare PROTEUS. Sistemul este format din două
mănuși; fiecare mănușă conține șase senzori flexibili (lungimea senzorului = 5 cm), unul pentru fiecare
deget plus unul pentru palma, patru senzori de contact pentru degete (index, inel, mijloc și roz) și un MPU
6050 pentru orientarea și mișcarea mâinii. În [ 48], cadrul constă din doi algoritmi: segmentarea fluxului
descriptor de semne și corecția automată a textului; de asemenea, prezintă un descriptor de gesturi de
mână pentru a dezvolta arhitectura software a acestei aplicații complexe sensibile la timp. Mănușile de
captare a mișcării produc text și vorbire sonoră. Un cadru al sistemului Interpreter Glove a fost propus în
[ 48]. Cadrul este format din patru blocuri principale, și anume, mănușa, mediul de instruire, aplicațiile
mobile și serverul backend. Sistemul a produs un descriptor de gesturi, și anume „Hagdil”, bazat pe
structura și cinematica mâinii umane. Un descriptor Hagdil stochează toate caracteristicile substanțiale
ale mâinii umane: poziții paralele și perpendiculare ale degetelor în raport cu palma, poziția încheieturii
mâinii și poziția absolută a mâinii. Apoi, codifică descriptorul de gesturi Hagdil (18 parametri de mână)
înainte de al transmite către telefonul mobil. În cele din urmă, algoritmul de calcul al distanței Levenshtein
este utilizat pentru corecția automată a textului care corespunde gestului.
3.4. Altă recunoaștere a gestului mâinii
Progresul științei și tehnologiei a facilitat dezvoltarea dispozitivelor de detectare a mișcării mâinilor.
Recunoașterea gesturilor este un sistem care traduce mișcarea mâinilor prin intermediul software-ului,
hardware-ului sau un amestec al ambelor pentru a ajuta persoanele cu deficiențe de auz și de vorbire să
comunice cu un aparat. Sistemul de recunoaștere poate sprijini persoanele cu dizabilități, personalul
medical, oamenii de știință și alții. Un studiu [ 14 ] a prezentat un sistem simplu, de putere redusă, cu
costuri reduse, care ar putea detecta mișcările de flexie-extensie a degetelor. Mănușa constă din zece
rezistențe (două pentru fiecare deget) conectate la un microcontroler frontal, care trimit datele
achiziționate către computerul personal (PC) prin modulul Bluetooth ( Figura 22 ).
 Cinci gesturi, și anume, stâncă, hârtie, foarfecă, odihnă și degetul mare, au fost recunoscute
folosind mănușa echipată cu șase ACC-uri pe 3 axe. Un ACC a fost plasat pe fiecare deget pentru a
măsura îndoirea degetelor și unul a fost plasat pe partea din spate a palmei pentru a capta mișcările și
pozițiile mâinii ( Figura 23 ). Cele șase ACC-uri au fost conectate la un microcontroler, iar datele primite
primite sunt mapate și aranjate într-o matrice înainte de a fi transferate în serie către un modul Bluetooth
[ 88 ].

4. Rezultate de distribuție
Au fost alese trei baze de date digitale pentru a obține informații din lucrări legate de SLR pe baza
unei mănuși senzoriale. Rezultatele revizuirii sunt clasificate în patru categorii generale, și anume,
dezvoltare, cadru, revizuire și sondaj, iar ultima categorie este un gest de mână. Numărul final de articole
adunate de la IEEE Xplore este de 35, compus din 24 de articole pentru dezvoltare, 4 pentru cadru, 5
pentru revizuire și sondaj și 2 pentru alte gesturi de mână. Numărul final de articole colectate din baza de
date WoS este de 26, compus din 23 de articole pentru dezvoltare, 2 pentru cadru, 1 pentru revizuire și
sondaj și 0 pentru alte gesturi de mână. În cele din urmă, numărul final de articole colectate de la
ScienceDirect este 10, compus din 9 articole pentru dezvoltare, 1 pentru cadru, 0 pentru revizuire și
sondaj și 0 pentru alte gesturi de mână. masa 2listează citatele și factorul de impact al lucrărilor citate în
acest studiu ordonate în funcție de numărul de citări. Numărul de articole a fost găsit folosind Google
Scholar, iar factorul de impact al revistelor a fost extras de pe site-ul oficial al fiecărei reviste.
4.1. Distribuția în funcție de naționalitatea limbii semnelor
Figura 24 ilustrează numărul de articole despre SL (16) care au fost incluse în acest studiu. Cele
mai proeminente SL-uri menționate sunt ASL (28 de articole), ArSl (5 articole), MSL (3 articole), limbajul
semnelor indian (ISL) (3 articole) și limbajul semnelor Taiwan (TSL) (3 articole). Cu toate acestea, în
acest studiu, au fost publicate doar unul sau două articole pentru alte SL. ASL a câștigat cea mai mare
atenție din partea cercetătorilor care își desfășoară studiile științifice în domeniul recunoașterii
gesturilor. Numărul articolelor de cercetare trimise în acest domeniu în ultimii zece ani este de 28, ceea
ce echivalează cu 48%.
4.2. Distribuție după tipul de gest
SL similar cu limbajul vocal este compus din alfabete, cuvinte și propoziții, toate acestea fiind
expresii gestuale care pot fi statice sau dinamice. Cumva, gestul static este mai puțin complicat decât cel
dinamic. Figura 25 arată că un număr mare de cercetători (42/71) au dezvoltat un mecanism pentru a
distinge gesturile statice, în timp ce puțini cercetători (13/71) au dezvoltat un sistem de recunoaștere a
gesturilor dinamice. Revizuirea noastră a lucrării de cercetare a constatat că o serie de alte studii (16/71)
nu au făcut distincția între tipul de gest vizat în munca lor.
4.3. Distribuție după numărul de mâini
Figura 26 ilustrează numărul de articole care au executat gesturi cu una sau ambele mâini. Este
ușor de observat diferența semnificativă dintre numărul de studii (48/71 lucrări) privind recunoașterea
unei mâini și numărul de studii (7/71 lucrări) privind recunoașterea a două mâini.

5. Discuție
Această revizuire oferă o imagine de ansamblu orientată spre cercetare a studiilor relevante privind
ultimele realizări în recunoașterea SL bazate pe mănuși senzoriale. Scopul acestui studiu este de a
clarifica și evidenția tendințele potențiale de cercetare în acest domeniu. Pentru a atinge acest obiectiv,
se propune o taxonomie a articolelor relevante. Dezvoltarea unei taxonomii a literaturii în domeniul SLR
oferă multe avantaje. Unul dintre aceste beneficii este de a organiza o varietate de lucrări publicate într-o
taxonomie pentru a servi noilor cercetători SLR care s-ar putea simți confundați cu numărul mare de
lucrări scrise pe acest subiect, fără niciun fel de structură. Diverse studii au discutat subiectul dintr-o
perspectivă introductivă, în timp ce alte studii au dezvoltat tehnici de recunoaștere pentru a obține
performanțe îmbunătățite folosind mănuși comerciale existente. Mai multe articole au dezvoltat o mănușă
de date pentru SLR.Taxonomia articolelor relevante separă diverse studii într-o structură semnificativă,
ușor de gestionat și coezivă. Mai mult, mai multe informații importante despre subiect pot fi prezentate
cercetătorilor prin structura introdusă de taxonomie. Una dintre aceste perspective prezintă tendințele
posibile de cercetare în acest domeniu. De exemplu, taxonomia din lucrările actuale privind SLR bazată
pe mănuși senzoriale arată că cercetătorii tind să-și dezvolte propriile mănuși și să efectueze
experimente pentru a oferi o posibilă modalitate de a contribui la acest domeniu. Alte domenii includ
dezvoltarea de mănuși comerciale și tehnici pentru a obține acuratețea dorită în procesul de
recunoaștere. O taxonomie poate dezvălui, de asemenea, lacune în literatură. Organizarea studiilor în
literatură în clase distincte evidențiază caracteristicile slabe și puternice ale SLR în ceea ce privește
acoperirea cercetării. De exemplu,taxonomia din acest studiu arată cum grupurile de indivizi au lucrat
pentru a dezvolta o mănușă folosind diferite tipuri de senzori sau au investigat metoda de recunoaștere
folosind mănuși existente și au primit o atenție notabilă în categoria de dezvoltare (acest fenomen este
evident pe măsură ce cea mai mare parte a muncii se încadrează în această categorie). În plus,
taxonomia arată lipsa studiilor privind dezvoltarea unui sistem hibrid pentru a obține date. Taxonomia
elucidează, de asemenea, că studiile din categoria de dezvoltare s-au concentrat pe obținerea de date
despre mișcările degetelor și ale încheieturii mâinii și nu au încercat să includă date despre mișcările
brațelor și umerilor, care sunt, de asemenea, legate de semnalele SL. În plus, subcategoriile taxonomiei
care aparțin ramurilor anchetei și revizuirii nu au primit o atenție considerabilă în literatura de
specialitate.Trei aspecte sunt dezvăluite în analiza literară a acestui sondaj: motivațiile din spatele SLR
bazate pe mănușa senzorială, provocările în utilizarea adecvată a acestor tehnologii și recomandările
pentru atenuarea acestor dificultăți.
5.1. Motivațiile și beneficiile SLR folosind mănuși
Când oamenii vorbesc între ei, ei comunică prin vorbire și gesturi. Gesturile pot completa fie
vorbirea cuiva, fie o pot schimba complet, mai ales în cazul persoanelor cu deficiențe de auz și de
vorbire. Cu toate acestea, aceste persoane cu dizabilități au dificultăți copleșitoare în comunicarea cu
ceilalți și se găsesc în situații incomode, deoarece mai multe persoane pot folosi diverse gesturi pentru a
transmite același mesaj. Următoarele sunt câteva dintre beneficiile și motivațiile raportate în referințele
care au fost clasificate după motive similare ( Figura 27 ).
5.1.1. Progrese în tehnologia de astăzi
Dispozitivele și instrumentele care ajută persoanele cu dizabilități să ducă o viață normală și
confortabilă au fost întotdeauna un domeniu care a atras inovația. Diverse evoluții din lumea tehnologică
de astăzi au ajutat diverse grupuri de persoane cu dizabilități în ceea ce privește cercetarea și
dezvoltarea sistemului de produse în tehnologii de asistență care ajută diverse persoane cu dizabilități să
își desfășoare activitățile zilnice [ 3 ]. Astfel de exemple includ dispozitive fără fir, electronice de mică
putere și capacitatea de a proiecta atât front-end analogic, cât și back-end de procesare digitală. În plus,
circuitele integrate au inspirat, de asemenea, producția unei noi game de dispozitive micro purtabile
[ 44 , 58]. Interfețele dispozitivelor fără fir disponibile pentru noi au devenit mai ușor de utilizat. De fapt,
majoritatea dispozitivelor wireless noi folosesc un ecran tactil în locul butoanelor [ 56 ]. Această interfață
inovatoare poate fi mai sofisticată cu integrarea unui sistem care este în mod constant conștient de
mișcările mâinilor în spațiu [ 56 ]. Interfețele dispozitivelor wireless disponibile pentru noi au devenit ușor
de utilizat. Acest lucru este valabil și în dezvoltarea electronică, în care mulți senzori pot aborda
măsurarea îndoirii și pot recunoaște multe grade de libertate (DOF) ale mâinii umane și sfera sa largă de
mișcare. Noi tehnologii similare pot fi utilizate pentru diverse domenii, cum ar fi traducerea SL
[ 7 , 9]. Tehnologia adecvată poate fi utilizată pentru a da un impuls extraordinar vieții de zi cu zi a
persoanelor surde și mute și pentru a spori calitatea vieții lor.
5.1.2. Instrumente educaționale pentru SL
În țările în curs de dezvoltare, copiii surzi și muti primesc rareori educație. În plus, adulții cu pierderi
de auz și vorbire au o rată semnificativă a șomajului. Disponibilitatea unui instrument de învățare SL ușor
de utilizat și rentabil îi va ajuta pe acești indivizi să învețe prin mijloace naturale. Prin urmare,
îmbunătățirea accesului la servicii de educație și reabilitare profesională va reduce ratele șomajului
pentru persoanele cu dizabilități de auz sau de vorbire [ 81 ]. Pe de altă parte, SL este instrumentul
principal pentru comunicarea cu surzii și mutii. Astfel, mulți oameni normali sunt încurajați să înceapă să
învețe SL prin intermediul site-urilor web, clipurilor video și aplicațiilor mobile. În ceea ce privește
învățarea abilităților prin gesturi (brațe, mâini și degete), care este folosită în SL, un specialist ar trebui să
ofere sfaturi obiective elevului [ 9]]. Cu alte cuvinte, cursantul are nevoie de un instrument de
autoeducare pentru a-i instrui cum să facă gestul corect, să urmeze implementând acea mișcare și să
identifice erorile care pot apărea în timpul implementării [ 70 ]. Mănușa SL pare a fi foarte benefică în
sprijinirea educației în limbajul semnelor.
5.1.3. Avantajele sistemelor bazate pe mănuși
 Mâinile noastre sunt folosite pentru a îndeplini un număr mare de sarcini de bază în viața noastră de
zi cu zi. Astfel, multe studii au examinat dezvoltarea tehnicilor de investigare a mișcărilor mâinilor și
creșterea capacității de a simula funcțiile mâinii pentru îndeplinirea sarcinilor de bază. Datele obținute din
mișcările mâinilor sunt utilizate în mai multe aplicații inginerești, de la analiza mișcării la știința
biomedicală [ 89 ]. Sistemele bazate pe mănuși sunt tehnici importante care sunt utilizate pentru a obține
date despre mișcarea mâinilor [ 57 ]. În ciuda faptului că există de mai bine de trei decenii, acest domeniu
de cercetare este încă extrem de activ [ 87]. Este, de asemenea, evident că progresele tehnologice în
calcul, materiale, senzori și metode de procesare-clasificare vor contribui la transformarea noii generații
de sisteme de mănuși mai puternice, extrem de precise, confortabile, ieftine și posibile de utilizat în multe
aplicații [ 36 , 66 ]. O mănușă poate fi un instrument de interpretare de asistență pentru persoanele cu
deficiențe de auz și de vorbire pentru a comunica cu persoanele fără handicap care nu înțeleg SL [ 39 ].
Mănușile au alte beneficii, cum ar fi mobilitatea și confortul. Tehnologiile moderne și circuitele electronice
sofisticate, care sunt valorificate pentru a recunoaște SL folosind mănuși, au permis mănușilor să
depășească nevoia de a fi conectate la un computer. În plus, aceste dispozitive ușoare permit
transportarea lor cu ușurință și confort [ 7 , 8 ]. Sistemele bazate pe mănuși sunt, de asemenea, benefice
pentru diverse aplicații. Noile tehnologii pentru interfața om-mașină (MMI) prezintă modalități naturale de
operare, control și interacțiune cu mașinile. Termenul MMI se referă la captarea și conversia semnalelor
legate de aspectul, comportamentul sau fiziologia unui om prin intermediul unui sistem computerizat
[ 15 ]. Toate tehnicile de interfață care se bazează pe sunet sau viziune au contribuit la o schimbare
radicală a mecanismului de operare a unui computer [78 ]. Recunoașterea gesturilor este o metodă de
interacțiune care joacă un rol important datorită utilizării comune a gesturilor și semnelor pentru
comunicarea umană [ 4 ]. Acest fapt crește importanța recunoașterii unui gest, indicând faptul că acesta
este un domeniu de cercetare în creștere, cu zone de aplicare incalculabile [ 82 ]. Numeroase tipuri de
aplicații sunt implicate în prezent în sistemele de recunoaștere a gesturilor, cum ar fi SLR, interfețe de
computer de substituție, robotică de asistență socială, jocuri imersive, obiecte virtuale, telecomandă,
medicină-îngrijire a sănătății etc. [ 10 , 11 , 12 , 13 , 14 ].
5.1.4. Limitarea metodei bazate pe viziune
Sistemele de recunoaștere a gesturilor se bazează pe două mijloace pentru a surprinde și înregistra
forma și mișcarea mâinii: folosesc o cameră sau un senzor. În sistemele de recunoaștere a gesturilor,
utilizarea unei abordări vizuale necesită adoptarea a cel puțin unei camere pentru a capta imagini de
mână și a interpreta gestul adecvat. Uneori, mai multe dispozitive, cum ar fi Kinect, mișcarea saltului sau
chiar o mănușă colorată, sunt atașate pentru a crește capacitatea de a detecta forma sau mișcările mâinii
[ 85 , 90 ]. Avantajul acestei abordări este acela că persoanei surde nu i se cere să poarte un dispozitiv
inconfortabil. În plus, pot fi incluse expresii faciale. Datele utile pot fi obținute cu ușurință, cum ar fi
adâncimea și culoarea imaginilor [ 2]. Cu toate acestea, obținerea de informații legate de mână este mai
dificilă atunci când se utilizează abordarea bazată pe viziune. Este necesară procesarea complexă a
imaginii [ 4 ], iar recunoașterea formei mâinilor este afectată de starea de fundal. În plus, sensibilitatea la
iluminare poate influența acuratețea urmăririi degetelor [ 5 , 6 ]. Procesele sunt efectuate folosind un
computer, iar utilizatorul are întotdeauna nevoie de cameră, ceea ce îl face inutilizabil pentru persoanele
cu deficiențe de auz să le folosească în viața de zi cu zi [ 17 ].
5.2. Provocări în SLR folosind mănuși
Este necesar un cadru de modelare complex pentru a gestiona caracteristicile sistemului de
recunoaștere. După examinarea fiecărui studiu, am determinat toate dificultățile și problemele care au
fost abordate sau întâmpinate de cercetătorii anteriori în SLR. Următoarele sunt cele mai importante
obstacole clasificate pe grupuri ( Figura 28 ).
5.2.1. Natura SL
Posturile SL pot fi fie statice, fie dinamice. Clasificarea posturilor statice ale mâinilor este mai ușoară
decât cea a posturilor dinamice ale mâinilor, deoarece nu este necesar să se ia în considerare istoricul
mișcărilor [ 84 ]. Astfel, majoritatea sistemelor actuale de recunoaștere funcționează bine cu posturi
statice, deoarece ratele de eroare pentru posturile dinamice sunt ridicate din cauza antrenamentului
insuficient [ 18 ]. Similitudinea este o altă problemă în SL; mișcarea sau forma unui anumit semn pot fi
similare cu un alt semn, deci pot arăta similare în mișcare. De exemplu, în alfabetul ASL, literele „N”, „M”,
„T” și „S” sunt semnate cu un pumn închis, așa cum se arată în  Figura 29 . La prima vedere, postura
acestor cinci litere pare să fie aceeași cu [ 58]. Această ambiguitate poate cauza o clasificare incorectă,
ducând la o precizie scăzută. Erorile sunt cauzate în principal de litere echivalente cu gesturi similare,
cum ar fi V și U [ 59 ]. Problemă continuă a semnelor: În realitate, semnatarii efectuează semne într-un
mod continuu la o frecvență specificată și o întârziere de tranziție. Punctele gestuale continue denotă
propoziții sau fraze. Complexitatea acestor puncte provine dintr-un flux de semne care nu sunt de fapt
separate prin discontinuitate, cum ar fi vorbirea [ 40 ].
Există o provocare suplimentară în ceea ce privește mișcările lipsite de sens între gesturile
continue. Astfel de perioade de tranziție între gesturi sunt cadre tranzitorii cunoscute sub numele de
Epenthesis de mișcare (ME). Multe studii etichetează aceste mișcări drept o problemă de clasificare. Nu
sunt o problemă de sistem universală: există diferite SL-uri la nivel mondial și fiecare are vocabularul și
gesturile sale. Aceste limbi nu sunt familiare oamenilor din afara acestei anumite comunități [ 56 ]. Nu
există un sistem universal care să ofere un mijloc obiectiv de comunicare pentru persoanele surde din
întreaga lume [ 45 , 72 ].
5.2.2. Cu privire la Utilizator
În ceea ce privește diferențierea fizică a fiecărui ucenic, începătorul nu își poate sincroniza cu
precizie mișcarea cu cea a unei persoane pricepute [ 40 ]. Ca urmare, chiar dacă începătorul efectuează
mișcarea corect conform convingerilor sale, ascultătorul poate avea dificultăți în interpretarea acestei
mișcări; prin urmare, ucenicul primește un scor scăzut din cauza varianței mari de la persoana calificată
[ 87 ]. Diferențele în mai multe valori unghiulare ale articulației degetelor ar trebui observate și în timpul
generării de gesturi. Aceste diferențe apar între diferite persoane, precum și în cadrul aceluiași individ în
timpul efectuării gesturilor în momente diferite [ 81]. O altă problemă este asociată cu dependența
semnatarului. Există o ușoară diferență în valori, deoarece persoana nu își poate păstra toate mâinile /
degetele exact la fel [ 4 ]. Unul dintre faptele consimțite este variațiile între oameni. Una dintre aceste
diferențe, care are un efect asupra acțiunii mănușii, este o diferență în mărimea mâinii utilizatorului
[ 84 ]. Senzorii sunt așezați pe mănuși din piele sau pânză cu mai multe dimensiuni; prin urmare,
utilizarea inadecvată a mănușii ar putea afecta negativ acuratețea performanței [ 14 ].
5.2.3. Se referă la dispozitive
O serie de sisteme pe bază de mănuși sunt disponibile pe piață. Cu toate acestea, astfel de
dispozitive au prețuri foarte mari, care variază de la 1000 la 20.000 de dolari SUA. Cea mai mare
proporție dintre aceste grupuri de persoane cu dizabilități aparține nivelului scăzut al piramidei
economice, în care indivizii nici măcar nu pot visa să dețină astfel de dispozitive [ 10 , 41 ]. Acest cost
ridicat diminuează faptul că este un instrument cheie în asistarea în practică a persoanelor cu dizabilități
[ 42 ]. Portabilitate limitată: propozițiile și cuvintele lui SL cuprind multe semne sau gesturi. Mai mult,
majoritatea acestor gesturi sunt complexe și au nevoie de un computer în scopul recunoașterii [ 11 ].
Astfel, este încă dificil să îndepărtați motorul SLR de computer [ 14, 73 ]. Prin urmare, sistemul SLR nu
este portabil și nu poate fi transportat cu ușurință peste tot [ 56 ]. Majoritatea alfabetului SL este generat
doar prin forma palmei [ 42 ]. Cu toate acestea, multe posturi SL se formează prin combinarea formei
mâinii, mișcării mâinii și a expresiilor faciale pe lângă mișcarea buzelor [ 36 ]. Mănușa poate înregistra
doar mișcarea mâinii sau forma acesteia și nu este capabilă să captureze restul organelor importante ale
corpului pentru a genera gestul. Exemple în acest sens sunt brațele, coatele și fața. Acest lucru poate
determina incapacitatea de a distinge multe mișcări, cum ar fi „j” și „z”, care sunt ignorate deoarece
implică gesturi în mișcare [ 43]. Performanța măsurării mănușii: în general, majoritatea publicațiilor au
furnizat un raport de performanță cu privire la senzorii utilizați în mănuși. Informațiile privind performanța
generală a sistemului în ceea ce privește acuratețea și repetabilitatea sunt rareori disponibile [ 43 ]. Nicio
metodologie uniformă nu facilitează comparații largi și independente ale sistemului de recunoaștere.
Societatea, precum și autorii, vor beneficia de dezvoltarea unor standarde care să contribuie la
avansarea realității aplicate a unor astfel de cercetări [ 84]. Zgomotul senzorilor: Unul dintre cei mai
importanți factori este selectarea senzorilor de înaltă calitate pentru a determina acuratețea datelor
obținute. Cu toate acestea, la stabilirea obiectivului obținerii unui produs cu cost redus, se utilizează
senzori mai puțin exacți, care pot genera zgomot în semnalul achiziționat. Acest tip de zgomot poate
afecta rezultatele dorite, provocând o pierdere de precizie [ 62 ]. Calibrare: Conform anatomiei fizice a
oamenilor, există diferențe în mărimea unei mâini, întinderea degetelor și grosimea de la o persoană la
alta [ 66 ]. Astfel, senzorii de mănuși se pot suprapune cu diferite poziții ale degetelor pentru diferiți
utilizatori, ceea ce poate influența performanța mănușii. Pentru a reduce inexactitudinile, majoritatea
mănușilor trebuie calibrate pentru un anumit utilizator [ 81 , 90]. Calibrarea se realizează de obicei
solicitând utilizatorului să-și pună mâinile în gesturi specificate (de exemplu, mâna plată, flexează mâna
de câteva ori, pumnul) [ 13 , 42 ]. Numărul de senzori: Provocarea reală a detectării traiectoriei este
măsurarea funcției complementare comune pentru SLR folosind un număr limitat de senzori [ 77 , 78 ].
Cu toate acestea, dacă numărul de senzori utilizați este redus, acesta va provoca pierderea datelor
valoroase din mână. Acest lucru va duce la o pierdere a preciziei în traducerea semnului [  6 ]. Un număr
din ce în ce mai mare de senzori într-un anumit design poate crește sarcina procesorului [ 84]. Tip de
senzori: Multe tipuri de senzori sunt disponibile astăzi. Un proces de selectare a senzorilor pentru a
construi mănușa de interpret are un impact pozitiv sau negativ asupra preciziei rezultatului [ 46 , 67 ]. De
exemplu, mai mulți senzori sunt utilizați pentru a detecta îndoirea degetului. Fiecare dintre acești senzori
are un anumit mod de lucru pentru a determina cantitatea de curbură a degetelor. Cu toate acestea, nu
toate aceste modalități sunt considerate mijloace eficiente pentru determinarea cotului [ 49 ]. Amplasarea
senzorului: SL depinde de mișcarea mâinii, care este compusă din îndoirea degetelor, orientarea
încheieturii mâinii și mișcarea mâinii în spațiul liber. În consecință, determinarea locului potrivit pentru
senzorul adecvat joacă un rol important în recunoașterea celui mai mare număr de gesturi SL [ 42].
5.2.4. În ceea ce privește recunoașterea SL
Acuratețea sistemului: Sistemele SLR de început sufereau de o precizie slabă; astfel, pentru a
elimina această problemă, a fost urmată traducerea parțială a mișcărilor mici [ 39 ]. Mai mult, fața mănușii
existente a avut dificultăți în obținerea mișcărilor complete ale corpului cu o precizie mare
[ 42 ]. Recunoaștere în timp real: de-a lungul anilor, a fost studiată recunoașterea gesturilor. Cu toate
acestea, există încă numeroase dileme cu capacitatea de a implementa recunoașterea în timp real
[ 78 ]. Una dintre provocările legate de mănușă este de a obține o precizie cât mai bună posibil atunci
când implementați mișcări rapide pentru a simula conversația SL în timp real [ 45]. De asemenea, mâna
umană are mai multe grade de libertate care asigură un număr mare de mișcări posibile, ceea ce face
foarte dificilă modelarea sistemului în timp real [ 81 ]. Chiar dacă procesoarele moderne au devenit din ce
în ce mai rapide, poate fi dificil să procesați toate informațiile primite cu ele în același timp. Set de date:
disponibilitatea datelor este un punct care este adesea trecut cu vederea, dar la fel de important în SLR;
seturi de date foarte limitate sunt disponibile publicului [ 8 ]. Astfel, disponibilitatea datelor fiabile și
accesibile are un impact important asupra ajutării cercetătorilor să efectueze colectarea de date fără
probleme. Avantajul utilizării datelor preexistente este de a economisi timp și efort și de a fi exact atunci
când vă bazați pe date fiabile [ 63]. Comunicare bidirecțională: în prezent, piața electronică este dotată cu
diverse dispozitive SLR pentru a sprijini persoanele cu abilități. Cu toate acestea, puține dintre aceste
instrumente acceptă comunicarea bidirecțională. În plus, majoritatea instrumentelor SLR sunt concepute
pentru a preda SL și nu sunt potrivite pentru comunicare în viața reală [ 8 ]. Programul de simulare
conține circuite electronice, tot felul de senzori și alte instrumente necesare pentru proiectarea mănușilor
și este foarte util pentru cercetător, care accelerează procesul de construire a modelelor și evită
erorile. Din păcate, există un număr limitat de astfel de programe, în afară de care lipsește majoritatea
componentelor de bază, cum ar fi senzorul flex, senzorul de presiune, placa de contact etc., care sunt
necesare pentru proiectarea modelului și simularea corectă și precisă a lucrării [ 48 ].
5.3. Recomandări
Ajutarea persoanelor care suferă de slăbiciune sau pierdere a auzului și a vorbirii este cel mai
important stimulent pentru furnizarea unui dispozitiv care ajută la reducerea decalajului de comunicare
dintre ei și alte persoane. În consecință, următoarele sunt cele mai importante recomandări făcute de
cercetători ( Figura 30 ).
5.3.1. Recomandări pentru dezvoltatori
Costul sistemului: Costul este una dintre provocările în dezvoltarea sistemului de discriminare în
limbajul semnelor (SL) [ 12 ]. Marea majoritate a persoanelor care nu aud sau vorbesc au venituri mici
sau sunt sub nivelul sărăciei [ 79 ]. Prin urmare, dezvoltarea unui sistem ieftin de recunoaștere a
limbajului semnelor (SLR) este cel mai important obiectiv [ 38 , 59 , 85 ]. Acuratețe și fiabilitate: Rezultatul
dorit al dezvoltării unui sistem de traducere este un instrument eficient, competent, care oferă asistență
persoanelor care au nevoie de un astfel de dispozitiv pentru a depăși dificultățile și barierele în
comunicarea cu ceilalți [ 52].]. În consecință, orice sistem care are capacitatea de a interpreta SL este un
mijloc fundamental de eliminare a acestor probleme. Precizia și fiabilitatea garantate sunt esențiale
[ 10 , 36 , 64 ]. Performanța sistemului poate fi îmbunătățită prin minimizarea erorilor prin utilizarea
senzorilor de înaltă calitate; de exemplu, senzori flex, un ACC cu trei axe și un giroscop [ 7 ]. Interfață și
ieșire a sistemului: în ceea ce privește ieșirea, se adaugă un motor de specking pentru a traduce posturile
în cuvinte vorbitoare, precum și în text. Sunetul trebuie să fie suficient de puternic și clar pentru a ajuta
difuzorul [ 12 , 43 , 55 , 65]. Pentru a asigura utilizarea dispozitivului, se așteaptă să fie concepută o
interfață simplă de gestionare pentru a simplifica manipularea dispozitivului. O astfel de interfață îl poate
ajuta pe semnatar să selecteze și să verifice interpretarea corectă a expresiei [ 53 , 70 ]. În ceea ce
privește afișajul grafic, sa depus efortul de a îmbunătăți performanța dispozitivului pentru a-l face un
instrument de asistență care să îndeplinească scopul pentru care a fost fabricat. În consecință, a
îndreptat atenția dezvoltatorului spre traducerea vorbirii / textului în limbajul semnelor animate și modele
tridimensionale [ 5 , 42 , 65]. Telefoane inteligente: dezvoltările moderne ale telefoanelor inteligente în
ceea ce privește ecranul tactil, interfața grafică frumoasă, aplicațiile inteligente, wireless multiplu și alte
specificații au făcut ca aceste dispozitive să fie indispensabile pentru marea majoritate a oamenilor
[ 4 , 70 ]. Toate aceste caracteristici au făcut telefonul o parte eficientă și ergonomică a soluției SLR
[ 7 , 11 , 76 ]. Recunoașterea în timp real: furnizarea unui răspuns în timp real la o anumită sarcină într-un
sistem de recunoaștere este importantă în prezentarea feedbackului instantaneu utilizatorului. În
consecință, urmărirea și identificarea trebuie manipulate cât mai repede posibil [ 51 , 79]. Recunoașterea
cu două mâini: Majoritatea alfabetelor și posturilor SL pot fi efectuate cu o singură mână [  71 ]. Cu toate
acestea, o serie de posturi se bazează pe mișcarea celor două mâini. Sistemul de recunoaștere este
echipat cu două mănuși pentru a extinde capacitatea sistemului și pentru a acoperi cât mai multe semne
posibile [ 2 , 17 , 57]. Material pentru mănuși și rochie specială: Sistemul de recunoaștere încorporează
un sortiment de senzori montați pe o mănușă. Mănușa poate fi purtată pentru a efectua gesticulații pe
durate lungi și zilnic. Astfel, materialul folosit pentru realizarea mănușii trebuie să fie elastic și confortabil
pentru a nu restrânge libertatea de mișcare a vorbitorului. Pentru a proteja circuitele electronice, este de
dorit să adăugați câteva straturi de protecție pentru a face mănușa 100% impermeabilă [  12 , 44 ]. În plus,
dimensiunea plăcii proiectate și a părților care sunt plasate pe corpul utilizatorului trebuie să fie mici
pentru a îmbunătăți aspectul mănușii (pentru a fi potrivite pentru uzura zilnică și nu provoacă jenă
difuzorului [ 76]). Proiectarea îmbrăcămintei speciale, cum ar fi o jachetă întreagă, cu numărul necesar de
senzori în pozițiile de montare, ar fi capabilă să pronunțe posturile și mișcările oamenilor muti [  4 , 5 , 43 ].
Calibrare: o calibrare bună ar oferi o sincronizare precisă a mișcării reale a mâinii și a modelului de mână
virtual. Astfel, se poate obține valoarea unghiului exact al degetelor. Motivul este că mănușa emite în mod
constant valorile unui unghi pentru deget sau mână [ 42 , 81]. Portabilitate: Dezvoltarea sistemului de
traducere bazat pe mănuși are ca scop asistarea persoanelor cu dizabilități de auz în viața lor de zi cu
zi. Prin urmare, dispozitivul trebuie să fie portabil pentru a ajuta difuzorul să profite de caracteristicile
soluției fără a o conecta la un computer [ 4 , 7 , 35 , 56 , 64 , 70 , 73 , 75 ].
5.3.2. Recomandări organizațiilor
Tehnica recunoașterii gesturilor prin utilizarea mănușilor este un nou domeniu de cercetare care
poate fi utilizat în numeroase aplicații ale vieții. Diferitele tehnologii disponibile în prezent fac posibilă
abordarea sarcinii de recunoaștere din multe perspective [ 78 ]. Iată câteva dintre cele mai importante
sectoare care vor beneficia de tehnologia mănușilor: Sectorul guvernamental: un dispozitiv de
recunoaștere a gesturilor ar putea permite guvernului să ofere traducere SL în locuri publice, cum ar fi
gări, aeroporturi, ghișee bancare, spitale și hoteluri, unde comunicarea se observă între diferiți indivizi
[ 21]. Sectorul medical: un produs de recunoaștere a gesturilor poate fi utilizat pentru dexteritate tehnică
pentru instruirea în mai multe meserii medicale, cum ar fi chirurgia, deoarece simulează mișcările
mâinilor, îmbunătățind astfel capacitatea și precizia [ 21 , 42 ]. Sectorul industrial: o tehnologie de
recunoaștere a gesturilor poate fi utilizată în fabrici pentru a îndeplini mai multe funcții, cum ar fi
întreținerea mașinilor [ 4 , 43 , 82 ]. Sectorul realității virtuale: mănușa senzorială poate fi utilizată și în
aplicații interactive ale tehnologiei realității virtuale, cum ar fi mănușa portabilă a mouse-ului, mănușa
portabilă de la tastatură, aparate muzicale virtuale, jocuri pe computer, mediu simulat etc. [  27]]. Sectorul
educațional: cu sprijinul a numeroase organizații de educație, dispozitivul cu mănuși poate fi utilizat ca
instrument educațional, deoarece va ajuta copiii mai mici să învețe structura unei propoziții, prepoziții și
alte caracteristici gramaticale pe care o persoană cu dizabilități le poate face greu. mâner [ 45 ].
5.3.3. Recomandări pentru cercetători
Set de baze de date: numărul de semne și gesturi, precum și eșantioane, pentru setul de baze de
date al sistemului de recunoaștere ar trebui să crească pe baza recomandărilor agreate de o mare parte
din cercetători. Acest lucru ar trebui luat în considerare în activitatea lor viitoare de îmbunătățire a
performanței sistemului de recunoaștere [ 14 , 21 , 36 , 51 , 68 , 69 ]. Setul de baze de date care aparține
multor cercetători din acest domeniu este foarte limitat și poate conține doar numere, alfabete sau un
număr foarte limitat de cuvinte [ 6]. Gesturile sunt selectate luând în considerare capacitatea de a verifica
corect competența. Crearea unui dicționar asigură că baza de date de gesturi acoperă și implică spațiul
complet al tuturor centrelor probabile ale expresiilor SL [ 76 ]. Analiza SL: SL are propriile reguli de
sintaxă și gramatică pentru a forma propoziții și fraze care constau dintr-o serie de gesturi, ca în limba
vorbită [ 77 , 84 ]. Aceste reguli trebuie luate în considerare la dezvoltarea unui sistem de traducere SL.
Aplicarea unei gramatici și a unui context strict simplifică procesul SLR [ 4 ]. În plus, trebuie respectate
regulile de limbă vorbită țintă [ 43 , 65]. Trebuie luat în considerare faptul că fiecare comunitate are seturi
locale de SL; de acum înainte, este necesar să se creeze un SL universal standard în întreaga lume [  8 ].
Mai mult, ar trebui dezvoltată o mănușă globală care să interpreteze un astfel de limbaj al semnelor [  56 ].
Sistem hibrid: În ceea ce privește SLR, abordările bazate pe mănuși ale senzorului și abordările bazate
pe vedere sunt esențiale. Fiecare dintre aceste abordări are avantaje și limitări; astfel, proiectarea unei
arhitecturi depinde de combinația adecvată a acestor două abordări pentru a produce un sistem aspire
[ 54 , 76 , 78 , 82 , 84]. Două mâini, expresia feței și mișcarea corpului: după cum au fost susținute de mai
multe studii, care au scanat date dintr-un număr specificat de degete, pentru îmbunătățirea sistemului și
dezvoltarea mănușilor, citirile tuturor degetelor trebuie capturate pentru a crește valoarea datelor
colectate [ 21 ]. În plus, adăugarea unui senzor de presiune la degetele mijlocii și arătătoare evită
ortografia greșită cauzată de semne similare de litere. Mai mult, adăugarea unui nou filtru la programul de
recunoaștere a caracterelor permite utilizarea completă a acestui senzor pentru a discrimina între literele
„U” și „V” [ 80 ]. Problemele de postură dinamică și gestul brațului pot fi rezolvate prin încorporarea
investigației unghiurilor articulației brațului prin plasarea senzorilor pe braț [ 43 , 72]. Va fi nevoie de
senzori pe cot și, eventual, pe umăr. Astfel, caracteristicile majorității gesturilor în limbajul semnelor ar fi
recunoscute. De asemenea, ar fi foarte util să se obțină informații de fuziune din parametrii cu două mâini
privind recunoașterea limbajului semnelor, precum și expresii faciale, mișcarea capului și postura corpului
[ 54 , 62 , 74 ]. Valoare prag: Adăugarea valorilor maxime și minime ale pragului este utilă pentru ocolirea
intrărilor false și a erorilor în comunicare [ 45 , 78]. Numere și tipuri de senzori: trebuie luați în considerare
mai mulți factori substanțiali, cum ar fi utilizarea mai multor senzori cu o calitate superioară, pentru a
înțelege pe deplin semnificațiile gesturilor SL reale, pentru a identifica multe gesturi SL, pentru a
îmbunătăți performanța sistemului și pentru a reduce erorile [ 7 , 43 , 47 ]. În plus, posturile necesită
mișcări diferite ale mâinilor, cum ar fi orientarea încheieturii mâinii, mișcarea mâinii sau expresii faciale.
Prin urmare, datele din diferite canale trebuie să fie fuzionate în sistem [ 77 ]. O combinație de diferite
tipuri de senzori de răpire, cum ar fi senzori de flexie, senzori de contact, un giroscop și un ACC pot capta
gesturi mai complicate, precum și diferenția între litere similare pentru a obține un sistem de recunoaștere
fiabil, robust și precis [3 , 9 , 17 , 39 , 49 , 50 ]. Cu toate acestea, utilizarea unor senzori ușori și mai puțini
ajută la simplificarea complexității hardware [ 8 ].

6. Probleme importante în lucrările anterioare

Cercetătorii au diferit în interesele lor în domeniul SLR folosind mănuși. Mai mulți cercetători s-au
concentrat pe descoperirea unei tehnici adecvate pentru a capta mișcarea degetelor și a palmelor, în timp
ce alții erau interesați să dezvolte un motor de recunoaștere cu o precizie bună. În plus, analiza SL a vizat
mai multe aspecte, inclusiv tipul de gest, stilul de conversație și alte probleme.  Informațiile importante
necesare cercetătorilor interesați de acest domeniu au fost extrase pentru a facilita cercetarea.  Tabelul
3oferă o imagine clară și simplificată a punctelor cheie în dezvoltarea unui sistem SLR prin 62 de lucrări
de dezvoltare. În ceea ce privește tipul de senzor utilizat, (17/62) studiile s-au referit la măsurarea îndoirii
cu degetele folosind senzori de detectare a îndoirii. Numai (2/62) studii au folosit senzori de unitate de
măsură inerțială pentru a înregistra mișcarea degetelor și a mâinilor. Majoritatea studiilor (41/62) au
folosit ambele tipuri de senzori pentru a capta mișcările degetelor și ale mâinilor. În ceea ce privește tipul
de gest, cea mai mare concentrare a fost îndreptată către identificarea semnelor statice (45/62), în timp
ce numai (12/62) studii au încercat să recunoască gesturile statice și dinamice. Patruzeci și șapte din cele
62 de studii din literatură s-au limitat la recunoașterea cuvintelor izolate, iar (7/62) studiile au furnizat
mecanisme pentru divizarea semnelor continue în semne separate pentru a le recunoaște.Studiile care
au dezvoltat un sistem de recunoaștere a semnalului în timp real numerotate (32/62). Numărul articolelor
bazate pe analiza SL în procesul de recunoaștere a fost (12/62). Cel mai mic număr de studii (3/62) a
avut ca scop dezvoltarea unui sistem de traducere SL care să traducă SL în vorbire și invers, adică să
traducă vorbirea în SL. Cu toate acestea, majoritatea studiilor (47/62) au dezvoltat un sistem de traducere
a semnelor în voce sau text. Un total de (27/62) studii științifice au considerat costul redus al dezvoltării
unui sistem de interpretare.majoritatea studiilor (47/62) au dezvoltat un sistem de traducere a semnelor în
voce sau text. Un total de (27/62) studii științifice au considerat costul redus al dezvoltării unui sistem de
interpretare.majoritatea studiilor (47/62) au dezvoltat un sistem de traducere a semnelor în voce sau text.
Un total de (27/62) studii științifice au considerat costul redus al dezvoltării unui sistem de interpretare.
7. Brevete
Am efectuat căutarea unui brevet care a prezentat referitor la SLR folosind mănușa senzorială din
baza de date Google brevete. In 2007, invenția lui Jose Hernandez-Rebollar este reprezentat cu No. US
2010/0023314 A1, numită „ASL mănușii cu 3-Axis Accelerometers“ în Statele Unite Patent [ 92]. Brevetul
este prezentat cu un aparat cu mănuși ACC cu 3 axe pentru a traduce gesturile dinamice și statice ale
ASL în text sau vorbire. Aparatul este format din ACC cu 3 axe, unul pe degete, doi pe partea din spate a
palmei, doi senzori pe brațul superior pentru a capta elevația și rotația brațului și un senzor de unghi
pentru a măsura flexarea cotului și microcontroler. Datele procesate au fost comparate cu gesturi
antrenate stocate într-o bibliotecă pentru a genera voce sau text scris ca ieșire. Afirmația acestei lucrări
este că dispozitivul ar putea detecta mișcarea și poziția brațului superior față de umăr. În 2011, invenția
lui Juan Álvarez Álvarez și Salvador León Gil este reprezentată cu nr. 201130193, numit „Sistem și
metodă de interpretare a limbajului semnelor” în brevetul spaniol [ 93]. Brevetului i se prezintă un sistem
de interpretare a comunicării bidirecționale a limbajului semnelor pentru o persoană cu deficiențe de auz.
Sistemul bazat pe mănuși prevăzute cu senzori de flexie și un ACC a fost adaptat pentru a colecta date
despre poziția mâinii și mișcări. Microcontrolerul trimite datele senzorilor procesate prin modulul Bluetooth
către dispozitivul mobil pentru a afișa un mesaj de animație 3D și a reda un mesaj vocal care corespunde
gestului recunoscut și invers. În 2014, invenția HS Shin și JH Park este reprezentată cu nr.
US20140028538A1, numită „Mănușa de recunoaștere a mișcării degetelor folosind materiale conductoare
și metoda acestora” în brevetul SUA [ 94]]. Brevetul este prezentat cu materiale conductive configurate
pentru a recunoaște îndoirea degetelor prin aplicarea unei caracteristici în care mănușa care este
fabricată din fibre conductoare. Mănușa echipată cu perechi de contacte este așezată pe mănușă unde
sunt îndoite degetele degetelor. O pereche de contacte este poziționată pe prima suprafață a fiecărui
deget. În 2015, invenția Bosch (Shanghai) Smart Life Technology Ltd. este reprezentată cu nr.
US20170263154A1, numită „Mănușă pentru utilizare în colectarea datelor pentru recunoașterea
limbajului semnelor” în brevetul SUA [ 95]]. Brevetului i se prezintă o mănușă echipată cu senzor de
azimut multiplu fixat pe locații corespunzătoare falangelor și oaselor metacarpiene. Soluția a prezentat
mai puțini senzori decât erau necesari pentru colectarea datelor SL. Revendicarea 1 este că senzorii de
azimut sunt compensați numai de oasele falangelor mâinii umane pe mănuși pentru următoarele degete:
index, un mijloc, inel și puțin. Revendicarea 2 a acestui brevet este configurată de un senzor de înălțime
pentru a detecta datele pentru a măsura înălțimea mâinilor; pluralitatea de senzori de înălțime este
eliminată pe perechea de mănuși. În 2016, invenția lui H. Bavunoglu și ES Bavunoglu, este reprezentată
cu nr. US 2016 / 0284236A1, numit „Sistem de conversie a mișcărilor mâinilor și degetelor în text și
audio”, în brevetul SUA [ 96]]. Invenția este legată de un sistem de recunoaștere SL care surprinde
mișcarea realizată de mâna omului și se traduce în cuvânt și voce scrise printr-o pereche de mănuși.
Fiecare mănușă este alcătuită din doi senzori flexibili pe deget pentru a detecta mișcările articulațiilor,
patru senzori tactili între degete și șase senzori IMU de 9 DoF (3 axe ACC, giroscop cu 3 axe și
magnetometru cu 3 axe). Microcontrolerul convertește datele brute primite de la senzori prin algoritmul de
recunoaștere în text și voce. În 2017, invenția lui Motahar Sepehr este reprezentată cu nr.
WO2017208147A1, numit „Sistemul inteligent de mănuși digitale pentru producerea cuvintelor și
sunetelor” în cererea internațională și publicat în temeiul tratatului de cooperare în domeniul brevetelor
[ 97]. Mănușa inteligentă ușoară a fost dezvoltată pentru a produce cuvintele și vocea corespunzătoare
gesturilor SL. Mănușa a fost echipată cu senzori și circuit electronic pentru a face semnale wireless.
Aceste semnale sunt recepționate de telefonul mobil al utilizatorului și pentru această invenție a fost
scrisă o aplicație Android. Aplicația specifică a acestui dispozitiv este instalată pe telefonul mobil al
utilizatorului. Aplicația menționată modifică informațiile primite despre vorbirea umană a uneia dintre
limbile, cum ar fi engleza, persana, olandeză, franceză, italiană sau alte limbi alese de utilizator. În 2017,
invenția lui M. Mohandes și MA Deriche este reprezentată cu nr. SUA 9.672.418 B2, numită
„recunoașterea limbii semnelor arabe folosind fuziunea de date cu senzori multipli” în brevetul SUA
[ 98]]. Brevetul este format din sisteme și metode prezentate pentru recunoașterea ArSL. Sistemul de
recunoaștere include circuite pentru a detecta și urmări locația mâinii și forma degetului prin intermediul
datelor senzorului tridimensional (3D) asociate cu o mână detectată și urmărită și cu un deget detectat și
urmărit, în care zece mostre pentru fiecare literă de 28 ArSLalphabet și pentru fiecare LMC caracteristica
extrasă este asociată cu privire la axa x, y și axa z a spațiului interactiv 3D folosind pitch, roll și yaw of
hand. Caracteristicile LMC au fost introduse într-un clasificator de analiză liniară (LDA).
8. Concluzii
Dezvoltarea unui sistem automat de traducere SL bazat pe mașină care transformă SL în vorbire și
text sau invers este deosebit de util în îmbunătățirea intercomunicării. Progresul în recunoașterea
tiparelor oferă promisiunea sistemelor de traducere automată, dar multe probleme dificile trebuie
rezolvate înainte ca acestea să devină realitate. Au fost explorate și investigate mai multe aspecte legate
de tehnologia SLR, în special SLR care utilizează o abordare a senzorului de mănuși. Ultimul set de
articole incluse în literatură a fost taxonomizat în patru categorii principale - cadru, revizuire și sondaj,
dezvoltare și alte gesturi de mână - pe baza tipului de studiu. La fel, cadrul și categoriile de dezvoltare
sunt împărțite în subcategorii. O analiză aprofundată a literaturii ajută la abordarea și descrierea
provocărilor, beneficiilor,și recomandări legate de SLR folosind sisteme bazate pe mănuși. Rezultatele
relevă tipurile de mănuși disponibile, senzorii utilizați pentru captarea datelor, tehnicile care au fost
adoptate în scopuri de recunoaștere, identificarea setului de date în fiecare articol și specificația unității
de procesare și a dispozitivelor de ieșire ale sistemelor de recunoaștere. Multe recomandări au fost
sugerate de cercetători pentru a rezolva provocările existente și anticipate, care oferă multe oportunități
de cercetare în acest domeniu. Sperăm că cercetătorii vor continua să adopte noi tehnologii pentru a
stabili un sistem realist care poate ajuta persoanele cu dizabilități de auz și vorbire să-și îmbunătățească
capacitatea de a se integra în societate și de a reduce decalajul de comunicare. Avantajul major al unei
abordări senzoriale este că mănușile pot obține date direct (gradul de îndoire,orientarea încheieturii
mâinii, mișcarea mâinii etc.) în ceea ce privește valorile tensiunii dispozitivului de calcul, eliminând astfel
necesitatea procesării datelor brute în valori semnificative. În plus, această abordare nu este supusă
influențelor de mediu, de exemplu, locația individului sau condițiile de fundal și efectele de iluminare;
astfel, datele generate sunt corecte. Cu toate acestea, recunoașterea gesturilor bazată pe mănuși
necesită ca utilizatorul să poarte o mănușă de date greoaie pentru a capta mișcările mâinilor și ale
degetelor. Acest lucru împiedică comoditatea și naturalețea interacțiunii om-computer. Limita cu care se
confruntă această abordare este incapacitatea de a obține date semnificative complementare gesturilor
pentru a da sensul complet al conversației, cum ar fi expresiile feței, mișcările ochilor și examinarea
buzelor. În cercetările viitoare,greutatea și dimensiunea trebuie luate în considerare atunci când
implementați astfel de circuite pentru a face un sistem portabil, independent, care să fie aplicabil vieții de
zi cu zi, fără nicio interacțiune cu un computer. Mai mult, ar trebui depuse eforturi pentru a spori
robustețea sistemului pentru a permite personalizarea fără efort și pentru a extinde metodele actuale la
alte tipuri de aplicații, de exemplu, la interfețele mobile bazate pe gesturi. Mai mult, limbile semnelor au
anumite reguli și o anumită gramatică pentru formarea propoziției lor. Aceste reguli trebuie luate în
considerare la traducerea unei limbi a semnelor într-o limbă vorbită. În plus, ar fi util să dezvoltăm un
sistem de traducere capabil să interpreteze diferite limbi de semne. În cele din urmă, ar trebui dezvoltate
metode fiabile de segmentare pentru a ajuta la recunoașterea continuă a gesturilor.un sistem
independent care se aplică vieții de zi cu zi fără nicio interacțiune cu un computer. Mai mult, ar trebui
depuse eforturi pentru a spori robustețea sistemului pentru a permite personalizarea fără efort și pentru a
extinde metodele actuale la alte tipuri de aplicații, de exemplu, la interfețele mobile bazate pe gesturi. Mai
mult, limbile semnelor au anumite reguli și o anumită gramatică pentru formarea propoziției lor. Aceste
reguli trebuie luate în considerare la traducerea unei limbi a semnelor într-o limbă vorbită. În plus, ar fi util
să dezvoltăm un sistem de traducere capabil să interpreteze diferite limbi de semne. În cele din urmă, ar
trebui dezvoltate metode fiabile de segmentare pentru a ajuta la recunoașterea continuă a gesturilor.un
sistem independent care se aplică vieții de zi cu zi fără nicio interacțiune cu un computer. Mai mult, ar
trebui depuse eforturi pentru a spori robustețea sistemului pentru a permite personalizarea fără efort și
pentru a extinde metodele actuale la alte tipuri de aplicații, de exemplu, la interfețele mobile bazate pe
gesturi. Mai mult, limbile semnelor au anumite reguli și o anumită gramatică pentru formarea propoziției
lor. Aceste reguli trebuie luate în considerare la traducerea unei limbi a semnelor într-o limbă vorbită. În
plus, ar fi util să dezvoltăm un sistem de traducere capabil să interpreteze diferite limbi de semne. În cele
din urmă, ar trebui dezvoltate metode fiabile de segmentare pentru a ajuta la recunoașterea continuă a
gesturilor.ar trebui depuse eforturi pentru a spori robustețea sistemului pentru a permite personalizarea
fără efort și pentru a extinde metodele actuale la alte tipuri de aplicații, de exemplu, la interfețele mobile
bazate pe gesturi. Mai mult, limbile semnelor au anumite reguli și o anumită gramatică pentru formarea
propoziției lor. Aceste reguli trebuie luate în considerare la traducerea unei limbi a semnelor într-o limbă
vorbită. În plus, ar fi util să dezvoltăm un sistem de traducere capabil să interpreteze diferite limbi de
semne. În cele din urmă, ar trebui dezvoltate metode fiabile de segmentare pentru a ajuta la
 recunoașterea continuă a gesturilor.ar trebui depuse eforturi pentru a spori robustețea sistemului pentru a
permite personalizarea fără efort și pentru a extinde metodele actuale la alte tipuri de aplicații, de
exemplu, la interfețele mobile bazate pe gesturi. Mai mult, limbile semnelor au anumite reguli și o anumită
gramatică pentru formarea propoziției lor. Aceste reguli trebuie luate în considerare la traducerea unei
limbi a semnelor într-o limbă vorbită. În plus, ar fi util să dezvoltăm un sistem de traducere capabil să
interpreteze diferite limbi de semne. În cele din urmă, ar trebui dezvoltate metode fiabile de segmentare
pentru a ajuta la recunoașterea continuă a gesturilor.limbile semnelor au anumite reguli și o anumită
gramatică pentru formarea propoziției lor. Aceste reguli trebuie luate în considerare la traducerea unei
limbi a semnelor într-o limbă vorbită. În plus, ar fi util să dezvoltăm un sistem de traducere capabil să
interpreteze diferite limbi de semne. În cele din urmă, ar trebui dezvoltate metode fiabile de segmentare
pentru a ajuta la recunoașterea continuă a gesturilor.limbile semnelor au anumite reguli și o anumită
gramatică pentru formarea propoziției lor. Aceste reguli trebuie luate în considerare la traducerea unei
limbi a semnelor într-o limbă vorbită. În plus, ar fi util să dezvoltăm un sistem de traducere capabil să
interpreteze diferite limbi de semne. În cele din urmă, ar trebui dezvoltate metode fiabile de segmentare
pentru a ajuta la recunoașterea continuă a gesturilor.

Contribuțiile autorului
MAA, AAZ și BBZ au cartografiat și creat o taxonomie coerentă pentru a descrie cele mai recente
cercetări și au împărțit-o în patru categorii principale: dezvoltare, cadru, recunoaștere a altor gesturi de
mână și recenzii și sondaje. Apoi, analizele sistemelor de mănuși pentru caracteristicile dispozitivelor SLR
au fost efectuate de MMbL pentru a dezvolta o foaie de parcurs pentru evoluția tehnologiei. Apoi, MMS a
discutat limitele și a oferit informații valoroase despre mediile tehnologice.

Finanțarea
Această cercetare este finanțată din Topdown KPT 2016-0228-109-41 și din grantul pentru educație
specială 2017-0025-109-01 / UPSI / Malaezia.

Conflicte de interes
Autorii nu declară niciun conflict de interese.

Referințe

1. Word Health Orgnanization. Surditate și Pierderea

auzului. http://www.who.int/mediacentre/factsheets/fs300/en/#content (accesat la 13 noiembrie 2017).
2. Sharma, V .; Kumar, V .; Masaguppi, SC; Suma, M .; Ambika, D. Discuție virtuală pentru oameni surzi,
muți, orbi și normali. În Proceedings of the 2013 Texas Instruments India Educators 'Conference (TIIEC),
Bangalore, India, 4-6 aprilie 2013; pp. 316-320. [ Google Scholar ]
3. Bhatnagar, VS; Magon, R .; Srivastava, R .; Thakur, MK Un sistem de emulare a limbajului semnelor
pentru voce eficient. În Proceedings of the 2015Eightth International Conference on Contemporary Computing
(IC3), Noida, India, 20-22 august 2015; pp. 521-525. [ Google Scholar ]
4. Tanyawiwat, N .; Thiemjarus, S. Proiectarea unei mănuși de comunicare asistivă folosind canale senzoriale
combinate. În lucrările celei de-a noua conferințe internaționale din 2012 privind rețelele de senzori corporali
purtabili și implantabili (BSN), Londra, Marea Britanie, 9-12 mai 2012; pp. 34–39. [ Google Scholar ]
5. Vutinuntakasame, S .; Jaijongrak, VR; Thiemjarus, S. O mănușă de rețea pentru senzori pentru corpul
asistent pentru persoanele cu dizabilități de vorbire și auz. În Proceedings of the 2011 International Conference on
Body Sensor Networks (BSN), Dallas, TX, SUA, 23-25 mai 2011; pp. 7-12. [ Google Scholar ]
6. Kanwal, K .; Abdullah, S .; Ahmed, YB; Saher, Y .; Jafri, mănușă de asistență AR pentru traducerea
pakistaneză în limbajul semnelor. În Proceedings of the 2014 IEEE 17th International Multi-Topic Conference
(INMIC), Karachi, Pakistan, 8-10 decembrie 2014; pp. 173–176. [ Google Scholar ]
7. Fu, YF; Ho, CS Recunoașterea statică a limbajului degetelor pentru afazii cu handicap. În Proceedings of
the Second Conference International on Innovative Computing, Information and Control, Kumamoto, Japonia, 5-7
septembrie 2007; p. 299. [ Google Scholar ]
8. Arif, A .; Rizvi, STH; Jawaid, I .; Waleed, MA; Shakeel, MR Techno-Talk: un traducător în limbajul
semnelor americane (ASL). În Proceedings of the 2016International Conference on Control, Decision and
Information Technologies (CoDIT), Saint Julian, Malta, 6-8 aprilie 2016; pp. 665-670. [ Google Scholar ]
9. Sriram, N .; Nithiyanandham, M. Un sistem de comunicare bazat pe recunoașterea gesturilor de mână
pentru difuzoare silențioase. În Proceedings of the 2013 International Conference on Human Computer Interactions
(ICHCI), Warsawa, Polonia, 14-17 august 2013; pp. 1–5. [ Google Scholar ]
10. Phi, LT; Nguyen, HD; Bui, TQ; Vu, TT Un sistem de recunoaștere a gesturilor bazat pe mănuși pentru
limba semnelor vietnameze. În Proceedings of 2015 2015 International Conference on Control, Automation and
Systems (ICCAS), Busan, Coreea, 13-16 octombrie 2015; pp. 1555–1559. [ Google Scholar ]
11. Hoque, MT; Rifat-Ut-Tauwab, M .; Kabir, MF; Sarker, F .; Huda, MN; Abdullah-Al-Mamun, K. Sistem
automat de traducere în limba semnelor Bangla: Perspective, limitări și aplicații. În Proceedings of the 2016 5th
International Conference on Informatics, Electronics and Vision (ICIEV), Dhaka, Bangladesh, 13-14 mai 2016; pp.
856–862. [ Google Scholar ]
12. el Hayek, H .; Nacouzi, J .; Kassem, A .; Hamad, M .; El-Murr, S. Sistem de traducere semn la literă
folosind o mănușă de mână. În Proceedings of the 2014 Third International Conference on e-Technologies and
Networks for Development (ICeND), Beirut, Liban, 29 aprilie – 1 mai 2014; pp. 146-150. [ Google Scholar ]
13. Bedregal, BRC; Dimuro, GP Interval de recunoaștere a gestului mâinii bazat pe reguli. În Proceedings of
the XII GAMM-IMACS International Symposium on Scientific Computing, Computer Arithmetic and Validated
Numerics, Duisburg, Germania, 26-29 septembrie 2006; p. 12. [ Google Scholar ]
14. Borghetti, M .; Sardini, E .; Serpelloni, M. Mănușă senzorizată pentru măsurarea flexiei degetelor mâinii în
scopuri de reabilitare. IEEE Trans. Instrum. Măsură. 2013 , 62 , 3308–3314. [ Google Scholar ] [ CrossRef ]
15. Pławiak, P .; Sośnicki, T .; Niedźwiecki, M .; Tabor, Z .; Rzecki, K. Recunoașterea gestului limbajului
corpului mâinii pe baza semnalelor de la algoritmi de mănuși specializați și de învățare automată. IEEE Trans. Ind.
Inform. 2016 , 12 , 1104–1113. [ Google Scholar ] [ CrossRef ]
16. Moher, D .; Liberati, A .; Tetzlaff, J .; Altman, DG Elementele de raportare preferate pentru analize
sistematice și meta-analize: declarația PRISMA. Int. J. Surg. 2010 , 8 , 336-341. [ Google Scholar ] [ CrossRef ]
[ PubMed ] [ Green Version ]
17. Al-Ahdal, ME; Nooritawati, MT Review în sistemele de recunoaștere a limbajului semnelor. În
Proceedings of the 2012 IEEE Symposium on Computers & Informatics (ISCI), Penang, Malaezia, 18-20 martie
2012; pp. 52–57. [ Google Scholar ]
18. Anderson, R .; Wiryana, F .; Ariesta, MC; Kusuma, GP Sisteme de aplicații de recunoaștere a limbajului
semnelor pentru persoanele cu surd-mut: o revizuire bazată pe intrare-proces-ieșire. Procedia
Comput. Știință. 2017 , 116 , 441-448. [ Google Scholar ]
19. Cocchia, A. Oraș inteligent și digital: o revizuire sistematică a literaturii. În Smart City ; Springer: Berlin,
Germania, 2014; pp. 13–43. [ Google Scholar ]
20. Alaa, M .; Zaidan, A .; Zaidan, B .; Talal, M .; Kiah, M. O revizuire a aplicațiilor inteligente pentru casă
bazate pe Internetul obiectelor. J. Netw. Calculator. Aplic. 2017 , 97 , 48-65. [ Google Scholar ] [ CrossRef ]
21. Das, P .; De, R .; Paul, S .; Chowdhury, M .; Neogi, B. Studiu analitic și prezentare generală asupra tehnicii
de interpretare a limbajului semnelor indiene bazat pe mănuși. În Proceedings of the Michael Faraday IET
International Summit 2015, Kolkata, India, 12-13 septembrie 2015. [ Google Scholar ]
22. Ramli, S. Extracția caracteristicilor GMT pentru reprezentarea limbajului semnelor BIM. În Proceedings of
the 2012 IEEE Control and System Graduate Research Colloquium (ICSGRC), Shah Alam, 16-17 iulie 2012; pp.
43-48. [ Google Scholar ]
23. LaViola, J. A Survey of Hand Posture and Gesture Recognition Techniques and Technology ; Universitatea
Brown: Providence, RI, SUA, 1999; Volumul 29. [ Google Scholar ]
24. Alvi, AK; Azhar, MYB; Usman, M .; Mumtaz, S .; Rafiq, S .; Rehman, RU; Ahmed, I. Recunoașterea
limbajului semnelor din Pakistan utilizând potrivirea șabloanelor statistice. Int. J. Inf. Tehnologie. 2004 , 1 , 1-
12. [ Google Scholar ]
25. Kumar, P .; Gauba, H .; Roy, PP; Dogra, DP Un cadru multimodal pentru recunoașterea limbajului
semnelor bazat pe senzori. Neurocomputer 2017 , 259 , 21–38. [ Google Scholar ] [ CrossRef ]
26. Erol, A .; Bebis, G .; Nicolescu, M .; Boyle, RD; Twombly, X. Estimarea poziției mâinii bazată pe viziune:
o recenzie. Calculator. Vis. Înțelegeți imaginea. 2007 , 108 , 52–73. [ Google Scholar ] [ CrossRef ] [ Versiune
verde ]
27. Luqman, H .; Mahmoud, SA Recunoașterea limbii semnelor arabe bazată pe transformare. Procedia
Comput. Știință. 2017 , 117 , 2-9. [ Google Scholar ]
28. Thalange, A .; Dixit, S. COHST și caracteristicile wavelet au la bază recunoașterea numerelor ASL
statice. Procedia Comput. Știință. 2016 , 92 , 455–460. [ Google Scholar ] [ CrossRef ]
29. Karami, A .; Zanj, B .; Sarkaleh, AK Recunoașterea limbii semnelor persane (PSL) folosind transformate
de undă și rețele neuronale. Exp. Syst. Aplic. 2011 , 38 , 2661–2667. [ Google Scholar ] [ CrossRef ]
30. Munib, Q .; Habeeb, M .; Takruri, B .; Al-Malik, recunoașterea limbajului semnelor americane HA (ASL)
bazată pe transformarea Hough și rețelele neuronale. Exp. Syst. Aplic. 2007 , 32 , 24–37. [ Google Scholar ]
[ CrossRef ]
31. Geetha, M .; Manjusha, U. O recunoaștere bazată pe viziune a alfabetelor și cifrelor din limbajul semnelor
indian folosind aproximarea B-spline. Int. J. Comput. Știință. Eng. 2012 , 4 , 406–415. [ Google Scholar ]
32. Elons, AS; Abull-Ela, M .; Tolba, MF Un PCNN propus prezintă o tehnică de optimizare a calității pentru
recunoașterea limbajului semnelor arabe 3D invariant de poziție. Aplic. Soft Comput. 2013 , 13 , 1646–
1660. [ Google Scholar ] [ CrossRef ]
33. Ahmed, AA; Aly, S. Recunoașterea limbajului semnelor arabe bazată pe aspect, folosind modele ascunse
de markov. În Proceedings of the 2014 International Conference on Engineering and Technology (ICET), Cairo,
Egipt, 19-20 aprilie 2014; pp. 1-6. [ Google Scholar ]
34. Ibrahim, NB; Selim, MM; Zayed, HH Un sistem automat de recunoaștere a limbii semnelor arabe
(ArSLRS). J. King Saud Univ.-Comput. Inf. Știință. 2017 . [ Google Scholar ] [ CrossRef ]
35. Vijayalakshmi, P .; Aarthi, M. Conversia limbajului semnelor în vorbire. În Proceedings of the 2016
International Conference on Recent Trends in Information Technology, Chennai, India, 8-9 aprilie 2016; pp. 1-
6. [ Google Scholar ]
36. Chouhan, T .; Panse, A .; Voona, AK; Sameer, S. Mănușă inteligentă cu capacitate de recunoaștere a
gesturilor pentru persoanele cu deficiențe de auz și vorbire. În Proceedings of the 2014 IEEE Global Humanitarian
Technology Conference-South Asia Satellite (GHTC-SAS), Trivandrum, India, 26-27 septembrie 2014; pp. 105-
110. [ Google Scholar ]
37. Praveen, N .; Karanth, N .; Megha, M. Interpret de limbaj al semnelor folosind o mănușă inteligentă. În
Proceedings of the 2014 International Conference on Advances in Electronics, Computers and Communications
(ICAECC), Bangalore, India, 10-11 octombrie 2014; pp. 1–5. [ Google Scholar ]
38. Ahmed, SF; Ali, SMB; Qureshi, SSM Mănușă electronică de vorbire pentru pacienții fără cuvinte, o limbă
pentru un mut. În Proceedings of the 2010 IEEE Conference on Sustainable Utilization and Development in
Engineering and Technology (STUDENT), Petaling Jaya, Malaezia, 20-21 noiembrie 2010; pp. 56-60. [ Google
Scholar ]
39. Fu, YF; Ho, CS Dezvoltarea unei mănuși digitale programabile. Smart Mater. Struct. 17 , 2008 , 025031.
[ Google Scholar ] [ CrossRef ]
40. Tubaiz, N .; Shanableh, T .; Assaleh, K. Recunoașterea continuă a limbii semnelor arabe bazată pe mănuși
în modul dependent de utilizator. IEEE Trans. Zumzet. Mach. Syst. 2015 , 45 , 526-533. [ Google Scholar ]
[ CrossRef ]
41. Adnan, NH; Wan, K .; Shahriman, A .; Zaaba, S .; Basah, SN; Razlan, ZM; Hazry, D .; Ayob,
MN; Rudzuan, MN; Aziz, AA Măsurarea forței flexibile de îndoire a degetelor arătător și mijlociu pentru
interacțiunea virtuală. Procedia Ing. 2012 , 41 , 388-394. [ Google Scholar ] [ CrossRef ]
42. Kau, LJ; Su, WL; Yu, PJ; Wei, SJ Un sistem portabil de traducere în limbajul semnelor în timp real. În
Proceedings of the 2015 IEEE 58th International Midwest Symposium on Circuits and Systems (MWSCAS), Fort
Collins, CO, SUA, 2-5 august 2015; pp. 1–4. [ Google Scholar ]
43. Pradhan, G .; Prabhakaran, B .; Li, C. Calculul gestului mâinii pentru persoanele cu deficiențe de auz și
vorbire. IEEE MultiMed. 2008 , 15 . [ Google Scholar ] [ CrossRef ]
44. Preetham, C .; Ramakrishnan, G .; Kumar, S .; Tamse, A .; Krishnapura, N. Discuție manuală -
implementarea unui gest care recunoaște mănușa. În Proceedings of the 2013 Texas Instruments India Educators
'Conference (TIIEC), Bangalore, India, 4-6 aprilie 2013; pp. 328–331. [ Google Scholar ]
45. Abdulla, D .; Abdulla, S .; Manaf, R .; Jarndal, AH Proiectarea și implementarea unui sistem semn-la-
vorbire / text pentru persoanele surde și mute. În Proceedings of the 2016 5th International Conference on Electronic
Devices, Systems and Applications, Ras AL Khaimah, EAU, 6-8 decembrie 2016; pp. 1–4. [ Google Scholar ]
46. Abhishek, KS; Qubeley, LCF; Ho, D. Traducător în limbajul semnelor cu recunoaștere a gestului mâinii pe
bază de mănuși, utilizând senzor tactil capacitiv În Proceedings of the 2016 IEEE International Conference on
Electron Devices and Solid-State Circuits (EDSSC), Hong Kong, China, 3-5 august 2016; pp. 334–337. [ Google
Scholar ]
47. Sharma, D .; Verma, D .; Khetarpal, P. Trainer în limbajul semnelor, bazat pe LabVIEW, cu unitatea de
afișare portabilă pentru persoanele cu deficiențe de vorbire. În Proceedings of the 2015 IEEE India Conference
(INDICON), New Delhi, India, 17-20 decembrie 2015; pp. 1-6. [ Google Scholar ]
48. Mátételki, P .; Pataki, M .; Turbucz, S .; Kovács, L. Un instrument de interpretare de asistență care
utilizează recunoașterea gesturilor mâinii pe bază de mănuși. În Proceedings of the 2014 IEEE Canada International
Humanitarian Technology Conference- (IHTC), Montreal, QC, Canada, 1-4 iunie 2014; pp. 1–5. [ Google Scholar ]
49. Sadek, MI; Mikhael, MN; Mansour, HA O nouă abordare pentru proiectarea unei mănuși inteligente pentru
sistemul de recunoaștere a limbii semnelor arabe bazată pe analiza statistică a limbajului semnelor. În Proceedings
of the 2017 34th National Radio Science Conference (NRSC), Alexandria, Egipt, 13-16 martie 2017; pp. 380–
388. [ Google Scholar ]
50. Elmahgiubi, M .; Ennajar, M .; Drawil, N .; Elbuni, traducător MS în limbajul semnelor și recunoașterea
gesturilor. În Proceedings of the Global Summit 2015 on Computer & Information Technology (GSCIT), Sousse,
Tunisia, 11-13 iunie 2015; pp. 1-6. [ Google Scholar ]
51. Gupta, D .; Singh, P .; Pandey, K .; Solanki, J. Proiectarea și dezvoltarea unei mănuși electronice de mână
pentru surzi și nevăzători. În Proceedings of the 2015 2nd International Conference on Computing for Sustainable
Global Development, New Delhi, India, 11-13 martie 2015; pp. 1607–1611. [ Google Scholar ]
52. McGuire, RM; Hernandez-Rebollar, J .; Starner, T .; Henderson, V .; Brashear, H .; Ross, DS Către un
traducător unic în limbajul semnelor american. În lucrările celei de-a șasea conferințe internaționale IEEE privind
recunoașterea automată a feței și a gesturilor, Amsterdam, Olanda, 17-19 septembrie 2004; pp. 620-625. [ Google
Scholar ]
53. Gałka, J .; Mąsior, M .; Zaborski, M .; Barczewska, K. Mănușă de detectare a mișcării inerțiale pentru
achiziționarea și recunoașterea gesturilor în limbajul semnelor. IEEE Sens. J. 2016 , 16 , 6310–6316. [ Google
Scholar ] [ CrossRef ]
54. Lei, L .; Dashun, Q. Proiectarea mănușii de date și a sistemului de recunoaștere a limbajului semnelor
chinezesc bazat pe ARM9. În Proceedings of the 2015 IEEE International Conference on Electronic Measurement &
Instruments (ICEMI), Qingdao, China, 16-18 iulie 2015; pp. 1130–1134. [ Google Scholar ]
55. Lokhande, P .; Prajapati, R .; Pansare, S. Mănuși de date pentru sistemul de recunoaștere a limbajului
semnelor. Int. J. Comput. Aplic. 2015 , 11-14. [ Google Scholar ]
56. Trottier-Lapointe, W .; Majeau, L .; El-Iraki, Y .; Loranger, S .; Chabot-Nobert, G .; Borduas, J .; Lavoie,
J .; Lapointe, J. Prelucrarea semnalului pentru mănuși optice de date cu cost redus. În Proceedings of the 2012 11th
International Conference on Information Science, Signal Processing and their Applications (ISSPA), Montreal, QC,
Canada, 2-5 iulie 2012; pp. 501-504. [ Google Scholar ]
57. Sekar, H .; Rajashekar, R .; Srinivasan, G .; Suresh, P .; Vijayaraghavan, V. Sistem inteligent de
recunoaștere a gestului static inteligent. În Proceedings of the 2016 IEEE Systems Conference, Orlando, FL, SUA,
18-21 aprilie 2016; pp. 1-6. [ Google Scholar ]
58. Bui, TD; Nguyen, LT Recunoașterea posturilor în limba semnelor vietnameze cu accelerometre
MEMS. IEEE Sens. J. 2007 , 7 , 707–712. [ Google Scholar ] [ CrossRef ]
59. Abualola, H .; al Ghothani, H .; Eddin, AN; Almoosa, N .; Poon, K. Recunoaștere flexibilă a gesturilor
folosind senzori inerțiali purtabili. În Proceedings of the 2016 IEEE 59th International Midwest Symposium on
Circuits and Systems (MWSCAS), Abu Dhabi, EAU, 16-19 octombrie 2016; pp. 1–4. [ Google Scholar ]
60. Rishikanth, C .; Sekar, H .; Rajagopal, G .; Rajesh, R .; Vijayaraghavan, V. Motor inteligent de
recunoaștere a gesturilor cu costuri reduse pentru persoanele cu deficiențe audio-vocale. În Proceedings of the 2014
 IEEE Global Humanitarian Technology Conference (GHTC), San Jose, CA, SUA, 10-13 octombrie 2014; pp. 628–
634. [ Google Scholar ]
61. Kong, W .; Ranganath, S. Către recunoașterea continuă a limbajului semnelor continuu independent: o
abordare segmentată și combinată. Recunoaștere tipar. 2014 , 47 , 1294-1308. [ Google Scholar ] [ CrossRef ]
62. Ibarguren, A .; Maurtua, I .; Sierra, B. Arhitectură stratificată pentru recunoașterea semnelor în timp real:
gest și mișcare a mâinii. Eng. Aplic. Artif. Intel. 2010 , 23 , 1216–1228. [ Google Scholar ] [ CrossRef ]
63. Ani, AIC; Rosli, AD; Baharudin, R .; Abbas, MH; Abdullah, MF Studiu preliminar privind recunoașterea
literei alfabetului prin gestul mâinii. În Proceedings of the 2014 International Conference on Computational Science
and Technology (ICCST), Kota Kinabalu, Malaezia, 27-28 august 2014; pp. 1–5. [ Google Scholar ]
64. Jadhav, AJ; Joshi, MP Sistem integrat bazat pe AVR pentru persoanele cu deficiențe de vorbire. În
Proceedings of the International Conference on Automatic Control and Dynamic Optimization Techniques
(ICACDOT), Pune, India, 9-10 septembrie 2016; pp. 844–848. [ Google Scholar ]
65. Kadam, K .; Ganu, R .; Bhosekar, A .; Joshi, S. Interpret de limbaj al semnelor american. În Proceedings of
the 2012 IEEE Fourth International Conference on Technology for Education (T4E), Hyderabad, India, 18-20 iulie
2012; pp. 157–159. [ Google Scholar ]
66. Khambaty, Y .; Quintana, R .; Shadaram, M .; Nehal, S .; Virk, MA; Ahmed, W .; Ahmedani, G. Sistem
portabil rentabil pentru recunoașterea gesturilor în limbajul semnelor. În Proceedings of the 2008 IEEE International
Conference on System of Systems Engineering, Monterey, CA, SUA, 2-4 iunie 2008; pp. 1-6. [ Google Scholar ]
67. Harish, N .; Poonguzhali, S. Proiectarea și dezvoltarea sistemului de recunoaștere a gestului mâinii pentru
persoanele cu deficiențe de vorbire. În Proceedings of the 2015 International Conference on Industrial
Instrumentation and Control (ICIC), Pune, India, 28-30 mai 2015; pp. 1129–1133. [ Google Scholar ]
68. Ahmed, S .; Islam, R .; Zishan, MSR; Hasan, MR; Islam, MN Sistem electronic de vorbire pentru
persoanele cu dizabilități de vorbire: Vorbiți. În Proceedings of the 2015 International Conference on Electrical
Engineering and Information Communication Technology (ICEEICT), Dhaka, Bangladesh, 21-23 mai 2015; pp. 1–
4. [ Google Scholar ]
69. Shukor, AZ; Miskon, MF; Jamaluddin, MH; bin Ali, F .; Asyraf, MF; bin Bahar, MB O nouă abordare a
mănușilor de date pentru detectarea limbajului semnelor malaysian. Procedia Comput. Știință. 2015 , 76 , 60-
67. [ Google Scholar ] [ CrossRef ]
70. Iwasako, K .; Soga, M .; Taki, H. Dezvoltarea unui sistem de sprijin pentru învățarea abilităților de mișcare
a degetelor bazat pe mănuși de date. Procedia Comput. Știință. 2014 , 35 , 1307–1314. [ Google Scholar ]
[ CrossRef ]
71. Mehdi, SA; Khan, YN Recunoașterea limbajului semnelor folosind mănuși de senzor. În Proceedings of the
9th International Conference on Neural Information Processing, Singapore, 18-22 noiembrie 2002; pp. 2204–
2206. [ Google Scholar ]
72. Swee, TT; Ariff, A .; Salleh, SH; Seng, SK; Huat, LS mănuși de date fără fir Sistem de recunoaștere a
limbii semnelor malay. În Proceedings of the 2007 6 International Conference on Information, Communications &
Signal Processing, Singapore, 10-13 decembrie 2007; pp. 1–4. [ Google Scholar ]
73. Swee, TT; Salleh, SH; Ariff, A .; Ting, CM; Seng, SK; Huat, LS Sistem de recunoaștere a gesturilor în
limbajul semnelor malay. În Proceedings of the ICIAS 2007 International Conference on Intelligent and Advanced
Systems, Kuala Lumpur, Malaysia, 25-28 noiembrie 2007; pp. 982–985. [ Google Scholar ]
74. Oz, C .; Leu, MC Recunoașterea cuvintelor în limbajul semnelor americane cu o mănușă senzorială
folosind rețele neuronale artificiale. Eng. Aplic. Artif. Intel. 2011 , 24 , 1204–1213. [ Google Scholar ]
[ CrossRef ]
75. Anupreethi, H .; Vijayakumar, S. MSP430 bazat pe recunoașterea limbajului semnelor pentru pacienții
muti. Procedia Ing. 2012 , 38 , 1374–1380. [ Google Scholar ] [ CrossRef ]
76. Kosmidou, VE; Hadjileontiadis, LJ Recunoașterea limbajului semnelor folosind entropia eșantionului în
mod intrinsec pe date SEMG și accelerometru. IEEE Trans. Biomed. Eng. 2009 , 56 , 2879-2890. [ Google
Scholar ] [ CrossRef ] [ PubMed ]
77. Zhang, X .; Chen, X .; Li, Y .; Lantz, V .; Wang, K .; Yang, J. Un cadru pentru recunoașterea gesturilor de
mână bazat pe accelerometru și senzori EMG. IEEE Trans. Syst. Om Cybern. Partea A Syst. Zumzet. 2011 , 41 ,
1064–1076. [ Google Scholar ] [ CrossRef ]
78. Ibarguren, A .; Maurtua, I .; Sierra, B. Arhitectură stratificată pentru recunoașterea semnelor în timp
real. Calculator. J. 2009 , 53 , 1169–1183. [ Google Scholar ] [ CrossRef ]
79. Bajpai, D .; Porov, U .; Srivastav, G .; Sachan, N. Mănușă de transmisie de date fără fir cu două căi și
traducător în limbajul semnelor americane pentru imagini Afișare text și vorbire pe telefonul mobil. În lucrările celei
de-a cincea conferințe internaționale pe sisteme de comunicare și tehnologii de rețea (CSNT), 2015, Gwalior, India,
4-6 aprilie 2015; pp. 578-585. [ Google Scholar ]
80. Aguiar, S .; Erazo, A .; Romero, S .; Garcés, E .; Atiencia, V .; Figueroa, JP Dezvoltarea unei mănuși
inteligente ca instrument de comunicare pentru persoanele cu deficiențe de auz și tulburări de vorbire. În
Proceedings of the 2016 IEEE Ecuador Technical Chapters Meeting (ETCM), Guayaquil, Ecuador, 12-14 octombrie
2016; pp. 1-6. [ Google Scholar ]
81. Oz, C .; Leu, MC Proprietăți lingvistice bazate pe limbajul semnelor americane recunoscut cuvinte izolate
cu rețele neuronale artificiale folosind o mănușă senzorială și un tracker de mișcare. Neurocomputer 2007 , 70 ,
2891–2901. [ Google Scholar ] [ CrossRef ]
82. López-Noriega, JE; Fernández-Valladares, MI; Uc-Cetina, V. Soluție de recunoaștere a limbajului
semnelor bazată pe mănuși pentru a ajuta comunicarea pentru utilizatorii surzi. În Proceedings of the 2014 11th
International Conference on Electrical Engineering, Computing Science and Automatic Control (CCE), Ciudad del
Carmen, Mexic, 29 septembrie - 3 octombrie 2014; pp. 1-6. [ Google Scholar ]
83. Kim, J .; Wagner, J .; Rehm, M .; André, E. Fuziune senzor bi-canal pentru recunoașterea automată a
limbajului semnelor. În lucrările celei de-a VIII-a Conferințe internaționale IEEE din 2008 privind recunoașterea
automată a feței și a gesturilor, Amsterdam, Olanda, 17-19 septembrie 2008; pp. 1-6. [ Google Scholar ]
84. Dipietro, L .; Sabatini, AM; Dario, P. Un studiu al sistemelor bazate pe mănuși și al aplicațiilor
acestora. IEEE Trans. Syst. Om Cybern. Partea C (Rev. aplicație ) 2008 , 38 , 461-482. [ Google Scholar ]
[ CrossRef ]
85. Vijay, PK; Suhas, NN; Chandrashekhar, CS; Dhananjay, DK Evoluții recente în recunoașterea limbajului
semnelor: o recenzie. Int. J. Adv. Calculator. Eng. Comun. Tehnologie. 2012 , 1 , 21-26. [ Google Scholar ]
86. Mohandes, M .; Deriche, M. Recunoașterea limbii semnelor arabe prin fuziunea deciziilor folosind teoria
dovezii Dempster-Shafer. În Proceedings of the 2003 Computing, Communications and IT Applications Conference,
Hong Kong, China, 1-4 aprilie 2013; pp. 90-94. [ Google Scholar ]
87. Kong, W .; Ranganath, S. Semnarea engleză exactă (VEZI): Modelare și recunoaștere. Recunoaștere
tipar. 2008 , 41 , 1638–1652. [ Google Scholar ] [ CrossRef ]
88. Sidek, O .; Hadi, MA Sistem de recunoaștere a gesturilor fără fir folosind accelerometrul MEMS. În
Proceedings of the International Symposium on Technology Management and Emerging Technologies (ISTMET),
Bandung, Indonezia, 27-29 mai 2014; pp. 444-447. [ Google Scholar ]
89. Hussain, M .; Al-Haiqi, A .; Zaidan, A .; Zaidan, B .; Kiah, MLM; Anuar, NB; Abdulnabi, M. Peisajul
cercetării asupra aplicațiilor medicale pentru smartphone-uri: taxonomie coerentă, motivații, provocări deschise și
recomandări. Calculator. Metode Prog. Biomed. 2015 , 122 , 393-408. [ Google Scholar ] [ CrossRef ]
[ PubMed ]
90. Khan, S .; Gupta, GS; Bailey, D .; Demidenko, S .; Messom, C. Analiza și recunoașterea limbajului
semnelor: o investigație preliminară. În Proceedings of the 24th International Conference Image and Vision
Computing Noua Zeelandă, Wellington, Noua Zeelandă, 23-25 noiembrie 2009; pp. 119–123. [ Google Scholar ]
91. Sagawa, H .; Takeuchi, M. O metodă pentru recunoașterea unei secvențe de cuvinte în limbajul semnelor
reprezentate într-o propoziție în limba semnelor japoneză. În lucrările celei de-a patra conferințe internaționale IEEE
privind recunoașterea automată a feței și a gesturilor, Grenoble, Franța, 28-30 martie 2000; pp. 434-439. [ Google
Scholar ]
92. Hernandez-Rebollar, J. ASL Glove cu accelerometre pe 3 axe. Brevet SUA 11.836.136, 8 august 2007.
[ Google Scholar ]
93. Barranco, J.Á.Á.LGL Sistem și metodă de interpretare a limbajului semnelor. Brevet spaniol 201.130.193,
14 februarie 2011. [ Google Scholar ]
94. Shin, HS; Park, JH; Ahn, SJ; Kim, D .; Lee, J .; Jeong, E. Mănușa de recunoaștere a mișcării degetelor
folosind materiale conductoare și metoda acestora. Brevete Google 13.560.849, 30 ianuarie 2014. [ Google
Scholar ]
95. Wang, B .; Jiang, X .; Luo, H .; Ren, L .; Zhang, J .; Xu, K .; Chen, YL; Zhou, Z .; Guo, W. Glove pentru
utilizare în colectarea datelor pentru recunoașterea limbajului semnelor. Brevete Google 15.504.708, 14 septembrie
2017. [ Google Scholar ]
96. Bavunoglu, H .; Bavunoglu, Sistem ES de conversie a mișcărilor mâinilor și degetelor în text și
audio. Brevete Google 15.034.875, 29 septembrie 2016. [ Google Scholar ]
97. Sepehr, M. Sistemul inteligent al mănușii digitale pentru producerea cuvintelor și sunetelor. Brevet francez
WO2017208147A1, 30 mai 2016. [ Google Scholar ]
98. Mohandes, M .; Deriche, MA; Aliyu, SO Recunoașterea limbii semnelor arabe folosind fuziunea de date
multi-senzor. Brevete Google 9.672.418, 6 iunie 2017. [ Google Scholar ]

Figura 1. Elementele esențiale legate de formarea gesturilor în limbajul semnelor.

Figura 2. Abordări de recunoaștere a limbajului semnelor.

Figura 3. O diagramă a fluxului etapelor de procesare utilizate în sistemul bazat pe viziune pentru SLR.

Figura 4. Fazele principale în ceea ce privește colectarea și recunoașterea datelor gesturilor SL folosind
sistemul bazat pe mănuși.
Figura 5. Principalele componente hardware ale sistemului pe bază de mănuși.

Figura 6. ( a ) Senzor flexibil, ( b ) niveluri de îndoire flexibilă și ( c ) circuit divizor de tensiune [ 2 ].

Figura 7. O schemă de circuite cu LED-LDR și pozițiile senzorilor pe mănușă [ 37 ].

Figura 8. Senzor tactil de 0,5 inci [ 8 ].
Figura 9. Mănușa senzorială este formată din patru senzori Hall pe vârful celor patru degete [ 36 ].
Figura 10. ACC cu 3 axe ADXL335 cu un pin analogic cu trei ieșiri x, y și z [ 47 ].
Figura 11. Cele șase cipuri DoF IMU, MPU6050 sunt formate dintr-un ACC cu 3 axe și un giroscop cu 3
axe [ 50 ].

Figura 12. Breakout-urile 9 DoF IMU, MPU-9250 [ 53 ].

Figura 13. ( a ) microcontroler ATmega, ( b ) microcontroler MSP430G2553, ( c ) placa Arduino Uno și
( d ) minicomputer Odroid XU4.

Figura 14. Numărul de articole pe fiecare varietate de gesturi.

Figura 15. Interogările de căutare și procesele de selectare a articolelor adoptate în acest studiu.

Figura 16. O taxonomie a literaturii referitoare la recunoașterea limbajului semnelor bazată pe senzori.
Figura 17. Mănușa de detectare a îndoielii folosite în literatură. ( a ) Mănușa este formată din cinci ACC-
uri pe 3 axe și ( b ) cei zece senzori flexibili personalizați; ( c ) sistemul de traducere constă din cinci
senzori flex montați pe mănușă, ecran LCD și difuzor; ( d ) mănușa este formată din trei senzori flex
utilizați pentru a detecta câteva gesturi; ( e ) mănușa este echipată cu cinci senzori de contact (presiune);
( f ) sistemul de traducere fără fir este încorporat cu cei cinci senzori flex și LCD.
Figura 18. Prototipul mănușii senzoriale pentru măsurarea îndoirii degetelor și a mișcării mâinilor utilizate
în literatură. ( a ) Șase IMU-uri 9-DoF montate pe mănușă pentru recunoașterea ArSL; ( b ) o pereche de
senzori optici amplasați pe fiecare deget și un ACC pe palmă; ( c ) sistemul de traducere este format din
cinci senzori flexibili amplasați pe spatele fiecărui deget și ACC; ( d ) mănușa de date este încorporată cu
cinci senzori flexibili, ACC, LCD și difuzor; ( e ) sistemul este format din două mănuși echipate cu zece
senzori de flexie personalizați și doi senzori ACC; ( f ) sistemul constă din două mănuși echipate cu zece
senzori de flexie personalizați, doi senzori ACC și un difuzor.

Figura 19. Sisteme de mănuși. ( a ) CyberGlove și cutia de control ale tehnologiilor virtuale și ( b )
amplasarea a 22 de senzori de îndoire pe mănușă [ 43 ].

Figura 20. 5DT Data Glove ™ dezvoltat de Fifth Dimension Technologies; mănușa măsoară șapte DOF
[ 74 ].
Figura 21. Mănușa A DG5-VHand echipată cu cinci senzori flex și un ACC cu 3 axe [ 49 ].

Figura 22. Senzori și poziții îndoite adoptate. ( a ) imaginea mănușii senzorizate și ( b ) senzorii îndoiți
adoptați [ 14 ].
Figura 23. Șase ACC cu 3 axe de tip senzor montate pe o mănușă de date pentru recunoașterea
gesturilor [ 88 ].

Figura 24. Numărul de articole publicate pentru fiecare formă de SL.

Figura 25. Numărul de articole care recunosc gesturile statice și dinamice.

Figura 26. Numărul de articole pentru recunoașterea gesturilor pe baza numărului de mâini.

Figura 27. Categorii de beneficii ale SLR pe baza abordării senzorului.

Figura 28. Categorii de provocări pentru recunoașterea SL pe mănuși.

Figura 29. Posturi similare în ASL, în ceea ce privește îndoirea degetelor.

Figura 30. Categorii de recomandări pentru recunoașterea SL folosind mănuși.

Tabelul 1. Cele mai importante detalii cu privire la seturile de date de instruire utilizate în lucrările
anterioare.

Tabelul 2. Informațiile metrice ale articolelor din studiul anterior.

Tabelul 3. Rezumarea celor mai importante probleme din lucrările anterioare.