Sistem inteligent de interacțiune și de înaltă

securitate bazat pe recunoașterea gesturilor mâinii

pentru Internet of Things

1. INTRODUCERE slabe și ambigue. Problema care se pune este detectarea

ochiului și vârful degetului, cu o precizie cât mai mare, pe
Internet of Things (IoT) este unul dintre cele mai importante
baza informațiilor 2D oferite de camera calculatorului.
tehnologii informatice din zilele noastre. El conectează
obiectele din jurul nostru pe internet facilitând interacțiunea
2. MODELUL SISTEMULUI
între obiecte dar și între om și obiecte, iar problema principală
Sistemul propus capturează imagini 2D cu ajutorul camerei
este ca această interacțiune să fie inteligentă și sigură
calculatorului, apoi este detectat ochiul utilizatorului, iar mai
asigurând astfel păstrarea unei vieți private.
apoi este detectat vârful degetului folosind algoritmi
Din punct de vedere al arhitecturii tehnice, IoT-ul este format specifici. Dacă, atât ochiul cât și vârful degetului au fost
din trei straturi: percepție, protocol de rețea și aplicație. detectate, o metodă adaptivă de indicare a direcției estimative
Partea de percepție se referă la colecționarea informațiilor cu este folosită pentru indicarea poziției cursorului pe baza liniei
ajutorul senzorilor sau a altor gateway-uri. Protocolul de rețea dintre ochi și vârful degetului. Sistemul este autentic și
este partea principală a IoT-ului, deoarece această parte preia securizat pentru că el poate fi activa numai când ochiul și
informația din stratul de percepție și o procesează. Iar partea mâna utilizatorului sunt detectate.
de aplicație se referă la serviciul inteligent oferit de IoT
utilizatorilor precum telemedicina, management-ul orașului, 2.1 Metode de detectare a ochiului și segmentare a mâinii.
transportul inteligent, etc. Poziția feței este primul lucru determinat de sistem prin
extragerea fundalului imaginii și detectarea culorii pielii.
Acest studiu vizează dezvoltarea unui sistem de interacțiune
Apoi, cu ajutorul algoritmului AdaBoost se detectează ochii,
autentic și securizat pentru case inteligente la nivelul de
iar cu ajutorul unui algoritm de segmentare a mâinii se
aplicație al IoT-ului. Acest sistem poate controla cursorul
detectează vârful degetului.
computer-ului sau un smart TV prin recunoașterea gesturilor
mâinii. Cursorul este situat în continuitatea liniei formată de
la ochi până la vârful degetului utilizatorului. Întrucât
interacțiunea datelor este produsă doar când ochiul și vârful
degetului utilizatorului sunt detectate și indicarea direcției
este indicată, sistemul poate să evite accesul neautorizat al
utilizatorilor, fiind astfel mult mai securizat decât
dispozitivele tradiționale la atingere.

Figura 1: Sistemul de interacțiune

În conformitate cu diferite camere (de intrare) tehnologiile de
recunoaștere a indicării gestului poate fi clasificat în metode
3D și metode 2D. Metodele 3D se bazează pe o intrare
specifică a dispozitivelor precum o cameră stereo sau Kinect,
în timp ce metodele 2D utilizează camere mai puțin scumpe
și mult mai ușor disponibile cu calculul costului redus pentru
informațiile 2D. Totuși, recunoașterea indicării gestului bazat
pe metode 2D este încă o provocare. În primul rând, întrucât
informațiile 2D ale mâinii furnizează caracteristici relativ
Figura 2: Diagrama de flux a sistemului
2.2 Poziționarea cursorului. Când ochiul și vârful degetului
utilizatorului au fost detectate, atunci se poate extinde linia
de la ochiul dominant la vârful degetului. Pentru a putea fi
calculată poziția cursorului s-a folosit o metodă adaptivă de
indicare a direcției estimative care poate ajusta linia dintre
ochi și vârful degetului printr-un proces de învățare. Este
stabilit un sistem tri-dimensional de coordonate, unde poziția
camerei este originea. Astfel, intersecția punctului (xi, yi) al
ecranului și linia ochi-vârful degetului poate fi calculată prin
metoda triunghiului.
Figura 3: Sistemul de coordonate 3D
2.3 Verificarea fezabilității sistemului. Pentru a verifica dacă
sistemul este fezabil sau nu, s-a făcut o analiză de eroare
pentru a evalua cât de mult depinde eroare cursorului de
poziția ochiului-mâinii. În urma analizei s-a constatat că
pentru o distanță mai mică de 1m pană la ecran, eroarea
cursorului este una acceptabilă de maxim 3cm.
3. REZULTATE EXPERIMENTALE
Testarea sistemului s-a realizat pe un laptop cu o camera 2D.
Segmentarea mâinii, pentru identificarea vârfului degetului
se poate observa în figura 4, aceasta realizându-se cu succes
chiar dacă mâna se află peste față.
Figura 4: Detectarea mâinii
Pentru a evalua acuratețea poziționării cursorului, ecranului
laptop-ului a fost împărțit în patru blocuri, iar fiecare bloc a
fost indicat de 15 ori. În figura 5 se pot observa diferiți
subiecți sub diferite fundaluri, pentru fiecare bloc localizarea
cursorului se realizează cu succes.
Figura 5: Rezultate experimentale calitative ale poziționării
cursorului, în care cercurile negre evidențiază pozițiile
cursorului
4. CONCLUZIE
În această lucrare a fost propus un sistem inteligent și
securizat de interacțiune pentru Internet of Thnigs bazat pe
recunoașterea gesturilor mâinii. Când utilizatorul indică
ecranul, poziția este estimată prin prelungirea liniei
determinată de ochiul utilizatorului la vârful degetului
acestuia. Sistemul utilizează un nou algoritm de segmentare
a mâinii care determină vârful degetului într-un mod precis și
eficient. Rezultatele experimentale arată că sistemul oferă un
computer uman natural și prietenos de interacțiune cu
acuratețe de poziționare a cursorului pe fundaluri complexe.
5. CONCLUZIE PERSONALĂ
Din perspectivă proprie, cred, în primul rând că sistemul nu
este unul foarte eficient, atât timp cât eroarea de poziționare
a cursorului poate ajunge și la 3 cm, când știm că uneori chiar
și poziționarea pe un ecran cu touch-screen, a cursorului este
inexactă. În al doilea rând, folosirea continuă a camerei,
reduce durata de viață a bateriei. Detectarea ochilor, sau
ochiului dominant, apoi a vârfului degetului se realizează
într-un mod dificil și complex. Dacă sistemul se bazează pe o
cameră atunci acesta nu poate fi folosit de un smart TV sau
un computer tip desktop fără cameră. Dacă ne referim la
securitate, acest sistem nu pune în pericol expunerea unor
date și astfel nu se poate vorbi despre un sistem securizat. Pe
de altă parte, sistemul este foarte bine realizat din perspectiva
identificării pe baza informațiilor 2D, având la dispoziție doar
culoarea ca și element distinctiv.