Înțelegerea impactului interacțiunii

multimodale folosind informatia privirii si

controlul gesturilor în aer în manipularea
3D a obiectelor virtuale
Shujie Deonga,, Nan Jiang b, Jian Chang a*, Shihui Guo c, Jian J. Zhang a
a
National Centre for Computer Animation, Bournemouth University, Poole, United
Kingdom
b
Department of Computing and Informatics, Bournemouth University, Poole,
United Kingdom
c
School of Software, Xiamen University, Xiamen, Chinab Affiliation
*
Corresponding author. jchang@bournemouth.ac.uk

Abstract. Interacțiunile multimodale oferă utilizatorilor mai multe modalități

naturale de a manipula obiecte 3D virtuale decât folosind metode tradiționale de
input. O abordare emergentă este orientarea modulară vizuala, care permite
utilizatorilor să efectueze selecția și manipularea obiectelor într-un spațiu virtual,
în mod convenabil prin utilizarea unei combinații de tehnici de vedere și alte
tehnici de interacțiune (de exemplu, gesturi în aer). Pe măsură ce orientarea
modulară vizuala utilizează senzori diferiți pentru a urmarii si detecta
comportamentele utilizatorilor, performanța acestuia se bazează pe percepția
utilizatorului asupra cartografierii spațiale exacte între spațiul virtual și spațiul
fizic. O problemă explorată este că atunci când maparea spațială diferă de
percepția utilizatorului, pot apărea erori de manipulare (de ex., erori de limită,
erori de proximitate). Prin urmare, în orientarea modulară vizuala, deoarece
privitul poate introduce dezechilibru al maparii spațiale, se poate ajunge la o
percepție greșită a utilizatorului despre mediul virtual și, în consecință, la erorile
de manipulare.
Această lucrare oferă o definiție clară a problemei printr-o investigație aprofundată
asupra cauzelor sale și specifică condițiile când apare, fapt validat în continuare în
experiment. De asemenea, propune trei metode (Scaling, Magnet și Dual-gaze)
pentru a rezolva problema și le examinează utilizând un studiu comparativ care
implică 20 de participanți cu 1.040 runde. Rezultatele arată că toate cele trei
metode au îmbunătățit performanță de manipulare în ceea ce privește problema
definită în care Magnet și Dual-gaze au avut o performanță mai bună decât
Scaling. Această constatare ar putea fi utilizată pentru a informa o interfață
multimodală mai robustă, susținută atât de urmărirea ochilor, cât și de controlul
gesturilor în aer, fără a pierde eficiența și stabilitatea.

Cuvinte cheie. Urmarire ochi; gest in aer; interactiuni 3D;

perceptie gresita in spatiu; interfete multimodale; realitate virtuala
1. INTRODUCERE
Privit + gest este o tehnologie multimodală emergentă care permite utilizatorilor să
manipuleze obiecte virtuale 3D prin orientarea modulată vizuala folosind o combinație
de urmărire a ochilor și de control al gesturilor. În comparație cu metodele tradiționale
de input, cum ar fi mouse-ul și tastatura, această tehnică oferă o achiziție țintă mai
rapidă, cu capabilități de control mai bogate în toate dimensiunile, prin utilizarea
senzorului de urmărire a luminii și a senzorului de adâncime. Principiul de functionare
al acestei tehnici este ilustrat in figura urmatoare, unde utilizatorul foloseste privitul
ochilor pentru a localiza un obiect si gesturile pentru a controla obiectul in doua
scenarii diferite: (a) actiuni discrete, (b) manipulari continue.

In ciuda avantajelor acestei tehnici, s-a observant caci in unele scenarii,

utilizatorului i-a luat un timp mult mai lung pentru a manipula un obiect. Problema era
legata de pozitia mainii utiliazatorului. Astfel incat, daca mana acestuia nu este in
pozitia corespunzatoare, care lasa suficient spatiu pentru a manipula obiectul dupa
selectarea cu privirea, acesta trebuie sa isi ajusteze specific mana catre obiect, inainte
de a il selecta. In alte cuvinte, daca utilizatorul alege un obiect fara a tine mana spre el,
obiectul va fi selectat dintr-o pozitie necorespunzatoare, de unde va fi insuficient spatiu
pentru manipulare. Desigur, spatiul de manipulare depinde de intervalul de urmarire a
senzorului de adancime. Daca utilizatorul manipulteaza chiar in limita intervalului de
urmarire, mana acestuia va fi delocalizata odata ce se muta dupa limita de urmarire, cea
ce va intrerupe manipularea continua, si obiectul va fi brusc deselectat

2. ISTORIC

Problema perceptiei gresite in spatiu apare doar cand anumite conditii sunt
intalnite. Aceste conditii implica tehnicile de mapare ale dispozitivelor de indicare
(pointing devices), metodele de intrare si tipul taskurilor manipulative. Inainte de a
defini problema, vom discuta daca tehnicile de interactiune existente au riscul de a avea
o problema bazandu-ne pe cele trei conditii.

2.1 Relative and absolute pointing devices

Multe tehnici interactive sunt integrate cu selectarea prin privire unde diferite
tipuri de dispozitive de indicare (pointing devices) sunt implicate. Aceste dispozitive
sunt necesare pentru a mapa comportamenturile umane din spatiul fizic in spatiul
virtual. Deoarece un dispozitiv are un interval de urmarire si spatiul virtual este de
asemenea limitat, estte necesar sa ne asiguram caci mapam aria de urmarire in spatiul
virtual.
In functie de tehnicile diferite de mapare folosite, dispozitivele de indicare pot fi
relative si absolute. Cele relative nu necesita neaparat o mapare fixa si obtinere
Control-Display, care, totusi, sunt esentiale dispozitivelor de orientare absolute.
Un mouse este tipic un dispozitiv de indicare relativ, deoarece pozitia mainii
utilizatorului si pozitia cursorului mouse-ului nu sunt fixate. Alte tehnici de interactiune
au dispozitive de urmarire sau senzori atasati pe mana sau corpul utilizatorului. Insa
atasand un dispozitiv pe mana, acesta o va obosi, in special daca este vorba de
manipulare prin aer. Pentru a evita aceata problema, sistemele de urmarire a gesturilor
moderne, adopta tehnica bazata pe camera.
Touch-screen si anumiti senzori de adancime pentru control al gesturilor sunt
dispozitive de indicare absolute. Pozitia relativa a mainii si pozitia mapata in spatiul
virtual e fixa. Daca mana iese din aria urmarita, sau cursorul mapat ei iese din spatiul
virtual, mana trebuie sa se intoarca in aria de urmarire pentru a mentine vizibilitatea
cursorului sau pe sine in spatiul virtual. Aceasta dislocare trebuie luata in considerare
pe baza urmatoarelor conditii din 2.2 , 2.3

2.2 Direct and indirect input devices

Dispozivele directe introduc date despre miscarea corpului direct in sistem,

deci miscarea corpului si data de input sunt echivalente. Un touch-screen este un
exemplu tipic.
Dispozitivele indirecte nu introduc in sistem date echivalente cu miscarile corpului. Ci
o transformare din coordonatele corpului in coordonatele sistemului este introdusa.
Spre exemplu, mana misca mouse-ul pe un desktop orizontal dar miscarea este
translatata in miscarea cursorului pe un ecran vertical.

2.3 Discrete and continuous manipulation

O actiune discreta se refera la o singura miscare a mainii, cum ar fi ciupit sau

apucat. Este asociata cu a da o comanda ori a trimite o confirmatie pentru a declansa o
actiune ce poate fi realizata de calculator, spre exemplu, a apasa un buton pentru a
inchide o fereastra. Aceste actiuni nu au schimbari temporare in pozitie deci nu sunt
sensibile fata de pozitia unde miscarea mainii are loc, cat timp aceasta poate fi
capturata de urmaritor, deci nu sunt sensibile dislocarii.
Comenzile de gesturi construite in acest studiu sunt o actiune discreta, cum ar fi a trage
si a impinge mana pentru marire si micsorare. Hales a construit un sistem care foloeste
privitul pentru a selecta obiectul si gesturi ale mainii pentru a realiza comenzi discrete.

O manipulare continua implica schimbari constante in pozitie in trei

dimensiuni, cum ar fi tragerea sau mutarea. Acest tip de manipulare intotdeauna se
initiaza si sfarseste cu o actiune discreta a mainii. Intre cele doua actiuni discrete, este o
strangere a mainii continuu cuplata cu miscarea in spatiul virtual. Definim traiectoria
manipulari ca miscarea mainii din spatiul initial in cel final. Traiectoria poatte fi
schimbate de multe variatii cum ar fi: pozitia initiala, directia miscarii, si Control –
Display gain.
Cu o dislocare a pozitiei initiale dar aceeasi diretie de miscare si CD gain, traiectoria isi
mentine forma dar este shiftata relativ cu intervalul de urmarire. Daca traiectoria
shiftata nu se poate mentine complect inauntrul ariei de urmarire, urmarirea traiectoriei
va fi taiata de limita de urmarire, si problema cu orientarea gresita in spatiu apare.

Astfel ca, fundalul acestei probleme discutat in lucrare este limitat la dispozitive
de indicare absolute folosit metode de intrare indirecte in timpul manipularii
continue

2.4 Absolute indirect devices with continuous manipulation

Folosirea de urmaritoare ale ochiului apare datorata dezvoltarii recente a astfel de

trackere cost-efficient si senzori de adancime. Slambekova et al. (2012) a raportat un
mod de functionare folosind un mecanism „uite-te la” pentru alegerea obiectului, iar
gestul mainii era folosit pentru a selecta sau deselecta, pe cand privitul cu ochii era
folosit pentru a se determina obiectul la care se aplica miscarea. In studiul lor, obiectele
puteau fi translatate, rotite, si marite de catre gesturi 3D.

3. SPATIAL MISPERCEPTION PROBLEM

In aceasta sectiune, vom discute despre cum tehnica privire+gest functioneaza intr-
un exemplu obiect drag-drop, apoi putem da un caz tipic despre cum obiectul, in
anumite cazuri, va fi deselectat fara voia utilizatorului, cand este mutat. Problema care
cauzeaza intreruperea este apoi definita

3.1Tehnica de interactiune privire+gest

Am implementat un prototip similar cu tehnica de interactiune privire+gest in

trecut, pe care il vom numi metoda Normala in aceasta lucrare. Diferenta este caci am
adaugat o mana virtuala similara cu un cursor 3D pentru a reprezenta folosirea
gesturilor.

(a) Utilizatorul uitandu-se la obiect il selecteaza, iar mana este in stand-by.

(b) El face un gest de apucare cu mana pentru a confirma selectarea
(c) dupa confirmare, utilizatorul nu mai este nevoit sa priveasca obiectul in
continuare, iar mana grafica virtuala se muta unde este obiectul, insa mana
fizica nu se muta
 (d) Mana grafica virtuala apuca obiectul

3.2 Intreruperi interactive

Au fost observate intreruperi in interactiunile folosind metoda Normala, problema

este explicata in figura urmatoare

(a) In scena initiala, atat spatiul virtual cat si cel real sunt aliniate. Mana virtuala –
H’ si mana mappata – H, sunt la aceeasi pozitie
(b) Utilizatorul face un gest de apucare, iar mana virtuala H’este mutata catre cub,
la punctul ( Mana fizica nu urmeaza mana virtuala, ci sta in pozitia originala,
astfel creandu-se o dizlocare/shiftare intre cele doua spatii
(c) Utilizatorul doreste sa mute cubul din pozitia O in pozitia T. Pentru a reusi
aceasta, mana fizica H, trebuie sa se mute la punctul T’.
(d) Este clar caci punctul T’este in afara ariei de urmarire, iar fiindca miscarea
mainii fizice - H, poate fi urmarita doar pana la margine, mana virtuala - H’ nu
poate ajunge vreodata in pozitia dorita – T.

4. STRATEGII IN REZOLVAREA PROBLEMEI

Dupa cum s-a clarificat in sectiunea anterioara, problema apare cand cele trei
conditii sunt implinite in tehnicile de manipulare 3D: indicare absoluta, input indirect si
continua manipulare. Fara vreuna dintre acestea trei problema nu apare.
In continuare propunem trei solutii: Scalare, Magnet si Dual-gaze

4.1 Privire+gest cu scalare - Metoda scalarii

Aceasta metoda se refera la o strategie care recupereaza decalajul imperceptibil. In

metoda Scalarii, translatia va fi scalata proportional cu pozitia relativa a mainii virtuale,
cand sistemul detecteaza caci directia curenta a miscarii mainii va iesii din spatiul
mapat.
 Mai specific, doua raze vor fi generate, una in translatia instantanee a directiei OT
de la obiectul O, iar alta in aceeasi directie de la pozitia detectata a mainii H. Distanta
HO reprezinta diferenta dintre pozitiile celor doua maini. Prima raza da distanta D0 de
la obiect la margine in directia translatarii. A doua da distanta Dh de la pozitia mainii
detectate catre margine, in aceeasi directie. Astfel cand D0 <= Dh, nu sunt necesare
schimbari. Insa cand D0>Dh, schema scalarii se aplica si obtinem in timp real
diferenta translatarii (d) intre acest cadru si ultimul cadru, apoi calculam proportia
acestuia fata de distante, pentru a obtine o distanta s, proportionala, care trebuie
realizata de mana virtuala.

4.2 Privire + gest cu magnet – Metoda magnet

Aceasta metoda reprezinta strategia care converteste indicarea absoluta (absolute

pointing) in indicare relativa pentru a nu genera un decalaj. Aceasta metoda foloseste o
metafora, anume aceea ca mana este ca un magnet ce colecteaza obiecte metalice. Ca
diferenta fata de metada Normala, mana virtuala nu se muta unde este obiectul, cand e
apucat, ci din contra, obiectul este atras catre mana virtuala. In rest coincide. Cand un
obiect e incorect selectat, utilizatorul poate deschide mana pentru a delesecta, iar
obiectul va ramane in pozitia curenta.
Aceasta metoda garanteaza ca toate miscarile sunt inauntrul limitelor de detectie,
deoarece nu exista decalaj intre mana virtuala si cea fizica.

(a) Utilizatorul se uita la obiect pentru a il selecta.

(b) Face gestul de apucare pentru a confirma selectarea
(c) Dupa confirmare, utilizatorul nu mai este nevoit sa priveasca obiectul, acesta
mutandu-se la locatia mainii virtuale, intre timp ce mana fizica nu se muta
(d) Mana virtuala este aratata ca apucand obiectul
 4.3 Privire + gest cu privire-dubla (Dual-gaze)

Aceasta metoda, reprezinta strategia care converteste manipularea continua intr-un

set de actiuni discrete. Precum sugereaza numele, functionalitatea de privire este
extinsa si pentru a deselecta obiecte in aceasta metoda. Ea difera fata de metoda
normala in stagiul de translatie. Toate celalalte metode necesita ca utilizatorul sa
isi mute mana in aer pentru a muta obiectul catre pozitia dorita. In aceasta metoda,
utilizatorul nu trebuie sa mute mana, ci dupa ce selecteaza obiectul, doar uitandu-
se la locul dorit si facand un gest de a da drumul, obiectul poate fi mutat catre locul
dorit imediat. Interpolatia liniara este aplicata miscarii mainii virtuale in timpul
translatiei animate.

(a) Dupa ce obiectul e selectat si apucat de mana virtuala, utilizatorul se uita la

pozitia dorita
(b) Utilizatorul desface mana pentru a confirma caci a dat drumul obiectului pe
pozitia la care se uita
(c) Dupa confirmare, utilizatorul nu mai este nevoit sa se uite la locatia dorita.
Mana virtuala si obiectul se muta impreuna acolo
(d) Mana virtuala este aratata cum da drumul obiectului in locul tinta.

5. EXPERIMENT si MASURATORI
Pe baza experimentelor realizate, s-au obtinut masuratori ale timpilor medii necesari
pentru ca o persoana sa mute un obiect, folosind cele 3 metode + metoda normala.
Timpul pentru completarea taskului – e definti ca timpul necesar unui participant
pentru a muta un obiect folosind una dintre metode.
Rata de erroare – in cazul in care participantul muta mana in afara ariei de detectie
in mijlocul mutarii cubului selectat.
Scor SUS – e prezentat ca un chestionar cu zece intrebari si punctaj de la 1 – 5, de
la dezacord total la acord total.

6. REZULTATE

Timpul de completare a taskului si rata de eroare dau o indicatie clara catre

performanta sistemului.
 6.1 Timpul de completare

Aceasta figura arata timpul mediu de completare pentru fiecare dintre metode.
Observam caci metoda scalari are eficienta mai ridicata cu 11 % comparativ cu metoda
normala, iar metoda magnet cu 40%, si Dulag-Gaze cu 42%

6.2 Eroarea

S-au folosit doua scenarii:

S1- selectare si deselectare a unui singur obiect si
S2- selectare si deselectare a obiecte multiple

IN reprezinta conditia ca manipularea sa nu iasa in zona de urmarire

OUT reprezinta conditia ca manipularea sa iasa din zona de urmarire

Se observa o rata de eroare mult mai mica pentru metodele propuse.

 6.3 Preferinta

Acest tabel arata scorul SUS pentru fiecare metoda. Intervalul scorului este intre 0
si 100. Surprinzator, metoda Scaling a punctat cel mai putin. Unii utilizatori s-au plans
in legatura cu oboseala ochilor in timpul metodei dual-gaze, ceea ce ar putea explica de
ce scorul pentru metoda dual-gaze este umpic mai mic decat metoda Magnet.

7. CONCLUZIE

Interactiunile multimodale integreaza avantajele fiecarui mod pentru o mai mare si

combinata uzabilitate. Ideal, slabiciunea unui mod este compensata de altul, obtinand o
sinergie ca total. Combinarea dintre privire si gest poate obtine o sinergie de
interactiuni rapida expresive. In scenariul desccris in acest studiu, privitul este capabil
de indicari rapide, dar nu are mecanisme naturale si expresive pentru a suporta
manipularea, pe cand controlul gesturilor, poate reda comunicare naturala si vocabular
al gesturilor ce poate fi imbunatatit insa cu indicare lenta.

Referinte

[1] Fares, R., Fang, S. Komogortsev, O., 2013. Can we beat the mouse with MAGIC? Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems. ACM, Paris, France, pp 1387-1390.
[2] Frees, S., Kessler, G.D., Kay, E., 2007. PRISM interaction for enhancing control in immersive virtual
environments. ACM Transactions on Computer-Human Interaction (TOCHI) 14,2.
[3] Alt, F. Schneegass, S., Auda, J., Rzayev, R., Broy, N., 2014. Using eye-tracking to support interaction
with layered 3D interfaces on stereoscopic displays, proceedings of the 19 th international conference on
Intelligent User Interfaces. ACM, Haifa, Istrael, pp 267-272