Aplicații în realitate virtuală

pentru recuperarea pacienților

Stud. Vlad Dibu

Coord. Conf.dr.ing. Sanda Pațurcă
De ce realitate virtuală?
Terapia durerii

Planificare chirurgicală

Educație medicală

Recuperare
motorie
 Realitate virtuală
Interfaţă om-calculator prin care
se simulează realitatea. interactivitate și personalizare

crește motivația în timpul sarcinilor motorii

Este generat un model 3D,
organizat ca o bază de date facilitează învățarea motorie prin intermediul
orientată-obiect, în cadrul căreia informațiilor senzoriale multimodale.
fiecare obiect are un
corespondent virtual.
 Avantajele realității virtuale
1) mediul virtual poate fi proiectat adaptat la nevoiele si gusturile
pacientului, pentru a asigura o terapie individualizată, optimă;
(2) simularea unui context amuzant și / sau uimitor poate fi mai motivantă
decât cadrul unei săli de recuperare din spital și poate spori participarea
activă a subiectului la procesul de reabilitare
(3) replicare a mediului extern, cum ar fi un supermarket, propria casa sau un
loc în care pacientul se simte mai confortabil;
(4) posibilitatea de a colecta și analiza date pentru monitorizarea și evaluarea
progreselor de reabilitare.
(5) proiectarea unui experiment care are o valabilitate ecologică ridicată sub
controlul total al experimentatorului.
(6) implicarea în jocuri video crește exponențial numărul
de mișcări efectuate de pacient
pentru recuperare fizică,
comparativ cu numărul de repetări
din terapia convențională
 Zona de psihoterapie
Aplicabilitate
• Tratarea fobiilor
• Tulburări comportamentale
• Controlul durerii
• Recuperarea funcţiilor
neurocognitive şi motorii.
 Zona de psihoterapie
Parcursul pacientului Metode de tratare
• acomodare cu mediul VR • expunerea la situaţii virtuale
similare cu cele din viaţa de zi
• expunerea la situaţii cu zi
• terapeutul exploreaza • expunerea la situaţii în care
apar reprezentări ale
rezultatele modelelor sociale
• expunerea la propria imagine
 Recuperarea motorie
Utilizare Metode
 Recuperarea motorie
Utilizare Metode
• Traumatisme
(craniene, ale coloanei vertebrale, ale
membrelor, arsuri)
• Boli neuromusculare
• Accident vascular cerebral
• Parkinson, Alzheimer
• Paralizie cerebrală
• Îmbătrânire, postoperator etc.

Utilizare
• Traumatisme
(craniene, ale coloanei vertebrale, ale
membrelor, arsuri)
• Boli neuromusculare
• Accident vascular cerebral
• Parkinson, Alzheimer
• Paralizie cerebrală
• Îmbătrânire, postoperator etc.
Recuperarea motorie
Metode
• Fizioterapie convențională
• Terapie în oglindă
• Imagistică motorie
• Imitație motorie
• Stimulare electrică (nervoasă transcutanată,
neuromusculară, transcraniană directă,
stimulare profundă a creierului)
• Terapie muzicală
• Robotică
• Realitate virtuală
 Accidentul vascular cerebral (AVC)- a doua cauză principală de
deces și cea de-a treia cauză principală de invaliditate

Cel mai comun deficit după AVC-hemipareza contralaterală, iar

cel mai dizabilitant deficit motor -afectarea funcțională a mâinii

Populația de pacienți cu AVC Capacitatea fizică a

va continua să crească terapeuților va fi depășită.

Exoscheletele robotice pot suplini nevoia de terapeuți permițând

un tratament mai frecvent și pot reduce costurile reabilitării

Recuperarea robotică combinată cu RV îmbunătățește rezultatele

motorii și cresc aderența pacientului la terapie, fiind adaptată
nevoilor specifice ale acestuia
 Direcții ale
proiectului

Psihoterapie Reabilitare
motorie

Robotică de Jocuri pentru exersarea

Lucrurile învăţate de
subiect într-un mediu de
realitate virtuală 3D fac
parte din „realitatea
psihologică” a subiectului
Tratamentul fobiilor,
durerii, depresiei etc.
reabilitare unor mișcări stabilite de
terapeut
Feedback vocal și vizual
legat de acuratețea
mișcării
Monitorizarea evoluiei
 Componentele utilizate pentru aplicație
NVIDIA GTX 1050 Ti / AMD
Graphics Card
Hardware Software
Radeon RX 470 or greater

NVIDIA GTX 960 4GB / AMD

Alternative Graphics Card
• PC • Unreal Engine 4
Radeon R9 290 or greater

• Senzor Leap Motion CPU

• RiftCat
Intel i3-6100 / AMD Ryzen 3 1200,
FX43502 or greater
• Ochelari realitate virtuală
compatibili cu GoogleVR
Memory
• Steam
8GB+ RAM

Video Output Compatible HDMI 1.3 video output

• Telefon Android cu • VRidge
1x USB 3.0 port, plus 2x USB 2.0
accelerometru și giroscop USB Ports
ports

OS Windows 8.1 or newer

Componentele utilizate pentru aplicație
Aplicație virtuală Software

Server -schimb de date

Unreal Engine 4
RiftCat 2
Emulează camera virtuală Steam
VRidge
Comunicare cu serverul
Rutina- definirea coliziunilor
Rutina- obiect cu coliziuni
 Extras din programul aplicației

Subrutina-obiect apucabil

Funcție creată pentru

apucarea obiectelor
 Extras din programul aplicației

Slide Title

Blocul eveniment care

testează funcția de apucare
prin Leap Motion
 Extras din programul aplicație

Slide Title

Funcția
pickup if empty
Avatar terapeut
Robomediatorul, utilizat în forma unui avatar,
poate exercita o bună parte din funcţiile
terapeutului (încurajare, feedback, discuții)

Urmează personalizarea scenariului

în colaborare cu un psihoterapeut
Extras din programul aplicației
 Scenarii realizate

Mediul personalizat Masă de joc

 Scenarii realizate
Supinație Prindere

Flexia mâinii Extensia mâinii

Stadiul actual al proiectului
• Simțul prezenței și imersiune foarte bune prin detecția mișcării
mâinii și a gesturilor cu un grad înalt de viteză și precizie
• Redarea în timp real a mișcărilor mâinii, punct de plecare pentru o
multitudine de aplicații ulterioare
• Aplicație de realitate virtuală cu scenarii ce pot fi individualizate și
îmbogățite în funcție de nevoile utilizatorului

• Implementează conceptul de robomediator pentru substituția

psihoterapeutului

• În aplicație este inclus un agent virtual interactiv care să comunice

cu utilizatorul