Documente Academic
Documente Profesional
Documente Cultură
Hariton COSTIN
1. INTRO
Realitatea virtuală (VR) este termenul utilizat frecvent pentru a descrie o interfață om -
calculator care permite utilizatorilor să interacționeze cu calculatoarele într-un mod cu totul
special. VR constă dintr-un calculator, mediul multidimensional și instrumente HW și SW de
interfață care permit utilizatorilor să:
1. se ”scufunde” în mediu;
2. navigheze în mediul înconjurător;
3. interacționeze cu obiecte și alte ființe din mediul înconjurător.
Experiența de a intra în această lume virtuală generată de calculator este convingătoare.
Pentru aceasta, utilizatorul poartă de obicei o cască care conține un ecran montat pe cap (HMD)
care încorporează senzori pentru a urmări mișcarea și poziția purtătorului. Utilizatorul poate purta,
de asemenea, haine cu senzori care de asemenea urmăresc mișcarea și poziția. Senzorii
comunică datele de poziție și mișcare către calculator, care actualizează imaginea lumii virtuale
în consecință. Astfel, utilizatorul devine ”cufundat” complet în această lume multidimensională.
Progresele recente în ceea ce privește viteza de calcul și grafica procesorului de
calculator fac posibile chiar și aplicații de VR pe calculatoare desktop pentru a crea medii extrem
de realiste. Aplicațiile practice ale VR sunt remarcabile. De exemplu, folosind VR arhitecții
proiectează clădiri de birouri, NASA controlează roboții în spații îndepărtate și medicii planifică și
execută operații chirurgicale dificile. Lumea medicală ia act de beneficiile sale deosebite și s-a
demonstrat deja îmbunătățirea performanței clinice folosind imagini de VR, planificare și tehnici
de control.
1
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
vizitatorilor caracteristicile casei (Fig. 2). Această tehnică nouă este bazată pe traductoare cu
ultrasunete care difuzează micro-particule de aer amestecate cu apă nebulizată, ca suport pentru
proiecția imaginilor. Aplicația a fost dezvoltată tot de compania multimedia PFM.
Exemplele raportate tratează nu numai posibilitatea de a reproduce realitatea într-o lume
virtuală, ci și demonstrează modul în care virtualitatea „mărește” realitatea, dând vizibilitate de
exemplu lumii antice care nu mai există.
2
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
3
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
În Fig. 3: VRML = Virtual Reality Modeling Language; HMD = Head Mounted Display
Mediul generat de calculator sau conținutul lumii virtuale constă dintr-un model grafic 3D,
implementat de obicei ca o bază de date organizată spațial și orientată pe obiecte. Fiecare obiect
din baza de date reprezintă un obiect din lumea virtuală. Un program de modelare separat este
utilizat pentru a crea obiecte individuale pentru lumea virtuală. Pentru un mai mare realism,
anumite hărți de textură sunt utilizate pentru a crea detalii vizuale ale suprafeței.
Setul de date este prelucrat folosind un generator de dinamică în timp real care permite
mutarea obiectelor în interiorul lumii conform legilor naturale, cum ar fi gravitația și inerția sau în
funcție de alte variabile cum sunt viteza arcului (greutatea necesară pentru a comprima un arc cu
un inch) și flexibilitatea, care sunt specificate pentru fiecare experiență particulară de către
aplicația de programare. Generatorul de dinamică urmărește, de asemenea, poziția și orientarea
capului utilizatorului și a mâinii sale folosind periferice de intrare, cum ar fi un ”tracker” pentru cap
și un ”DataGlove”. Se aplică ”randări” puternice pentru a prezenta observatorului imagini 3D si
sunet spațializat 3D în timp real.
O provocare pe termen lung pentru dezvoltatorii VR a fost înlocuirea perifericelor
convenționale de intrare (claviatură, mouse) cu una care este mai naturală și mai intuitivă. În mod
ideal, interfața hardware trebuie să fie formată din două componente: (1) senzori pentru controlul
4
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
lumii virtuale și (2) efectori pentru furnizarea de feedback utilizatorului. Până în prezent au evoluat
trei noi mecanisme de interfață: îmbrăcăminte instrumentală, display montat pe cap (HMD) și
sisteme de sunet 3D.
Un periferic de intrare de tip mănușă de date, cu rol de control, este arătat în Fig. 5.
Cabluri de ghidare
5
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
Olfacția este un alt simț care oferă indicii importante din lumea reala. Să considerăm, de
exemplu, un chirurg sau un stomatolog care examinează un pacient pentru o potențială infecție
bacteriană. Inflamarea și umflarea pot fi prezente, dar un factor decisiv este mirosul leziunii.
Astfel, s-au dezvoltat sisteme virtuale de olfacție (”nasul electronic”) pentru utilizare în aplicații de
formare medicală.
6
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
Câteva aplicații remarcabile de VR sunt simulările chirurgicale, reabilitarea neurologică
și motorie, precum și facilități de interfață creier-calculator pentru deficiențe neuromusculare
severe, prezentate pe scurt în continuare.
Fig. 6. O schemă a sistemului format din senzori, mănușă Hiteg, electronica pentru
condiționarea semnalelor, modulul de comunicații wireless bazat pe protocolul ZigBee
(care poate fi cuplat cu partea de condiționare) și reproducerea realității virtuale pe
calculator
7
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
Există studii și aplicații interesante care demonstrează simulări chirurgicale în timp real
acceptabile. De exemplu modelarea deformării în anatomia virtuală clinică a fost realizată folosind
modele de suprafață sau modele volumetrice cu element finit (rapid), acestea demonstrând o
volumetrică 3D realistă a organelor deformabile ale pacientului într-o modelare în timp real.
Celălalt element-cheie este posibilitatea unui medic de a avea un feedback de forță la
mișcările / acțiunile acestuia. Pentru a acționa corect poate fi fundamental să aibă în mâinile sale
un feedback de tip forță care imită, de exemplu, modul în care se simt și se comportă țesutul și
vasele de sânge sau bătăile inimii în timpul intervenției.
2.2 VR în reabilitare
8
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
VR nu poate fi neapărat necesară pentru a înlocui tehnicile standard utile reabilitării după
afectarea creierului, dar metodele noi și cele tradiționale adesea coexistă, fiind aplicate în mod
paralel sau în serie. În plus față de VR, realitatea mixtă/augmentată demonstrează eficacitatea
sa pentru evaluarea stresului post-traumatic cu (sau fără) leziunile traumatice ale creierului.
9
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
10
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
2.3 Interfața creier-calculator (BCI)
Multe persoane sunt afectate de deficiențe neuromusculare severe, care fac ca aceștia
să piardă controlul asupra activităților lor voluntare musculare, izolându-i astfel de mediu.
Sistemele Brain Computer Interface (BCI) încearcă să faciliteze la aceste persoane comunicarea
intențiilor acestora prin transformarea unor semnale electrofiziologice în comenzi către periferice
externe fără a folosi căile clasice de nervi și mușchi. BCI ocolește sistemul nervos periferic al
utilizatorului (nervii) și mușchii aferenți, stabilind o legătură directă între sistemul nervos central
(creier) și mediul în care utilizatorul operează. În aceste paradigme de interacțiune interfața este
capabilă să producă anumite comenzi prin recunoașterea „stărilor creierului” operatorului.
Există diferite metode adoptate pentru a interfața creierul cu calculatorul și aceste
metode pot fi invazive (electrozii implantați direct în materia cenușie a creierului, subdural -
ElectroCorticografie „ECoG”, Stereotactic - Electroencefalografic “SEEG”,. ..) sau non-invazive
(Electroencephalografie “EEG”, rezonanță magnetică „RMN”, Magnetoencefalografie „MEG”,
sisteme de rezonanță magnetică funcțională „FMRI” etc.).
Unul dintre cele mai spectaculoase domenii ale cercetării BCI este dezvoltarea
dispozitivelor care pot fi controlate de gânduri, oferind astfel persoanelor cu handicap sever
posibilitatea de a acționa independent. Evident, cercetarea așteaptă cu nerăbdare să adopte
interfața cea mai puțin invazivă posibilă tehnic, astfel încât se acordă o atenție deosebită
sistemelor BCI bazate în esență pe înregistrări EEG. Dar, deoarece performanța BCI depinde
strict de capacitatea utilizatorilor de a controla și modula propriile semnale EEG, este
fundamentală importanța dezvoltării unui sistem capabil să crească un astfel de control. În
această privință, studiile au subliniat cum este posibilă îmbunătățirea controlului EEG prin
folosirea feedback-ului. Pentru a atinge acest obiectiv, tehnologia VR devine un instrument
puternic prin posibilitățile sale grafice de îmbunătățire a utilizării feedback-ului BCI, având
capacitatea de a crea medii imersive și motivaționale.
De exemplu să considerăm un utilizator cu imobilitatea membrelor superioare sau afectat
de un accident vascular cerebral - în consecință motricitatea sa scade. În acest caz, poate fi utilă
reproducerea mâinilor utilizator într-un mediu virtual, pentru a-și stimula imagistica motorie cu un
stimul vizual (cu un spot luminos pe un anumit braț). Amintim aici că imagistica motorie poate fi
definită ca o stare dinamică în timpul căreia o persoană simulează mental o acțiune dată. Acest
tip de experiență implică faptul că subiectul se simte pe sine executând acțiunea.
Utilizatorul, conectat la un sistem BCI, își ține mâinile pe un birou adevărat, iar brațele
lui sunt ascunse de un prosop sau de un panou, pe care se afișează cu un proiector mâini virtuale
reproduse sub formă de avatare 3D. Este important ca modelul 3D al mâinii să fie mult
11
CURS: REALITATE VIRTUALĂ ȘI AUGMENTATĂ. APLICAȚII ÎN MEDICINĂ. Prof. Hariton COSTIN
asemănător cu omologul real al utilizatorului, pentru a crește realismul și răspunsul pozitiv al
metodei. Din același motiv, este foarte important ca perspectiva modelului virtual să corespundă
unghiului de vedere al utilizatorului. În timpul exercițiului, software-ul creează unii stimuli vizuali
și înregistrează activitatea EEG a utilizatorului. Dacă sistemul BCI recunoaște starea creierului
utilizatorului, cu ajutorul unor clasificatori, atunci avatarele sunt animate și astfel se reproduce
dinamica gândului. O schemă a acestei căi de feedback este redată în Fig. 9, unde sistemul oferă
ca ieșire mișcările unui braț robotizat.
În concluzie, putem afirma că, dacă este folosită corect, Realitatea Virtuală poate fi într-
adevăr un suport valid pentru aplicații de e-sănătate, în special pentru că poate reduce timpul și
costurile unei terapii eficiente pentru disciplinele centrate pe sănătate și oferă medicilor o
oportunitate de a îndeplini sarcini într-un mediu fără riscuri. În plus, acceptarea pacientului poate
fi destul de mare deoarece implementarea VR are un impact invaziv scăzut.
12