Utilizarea returului haptic n simularea actului medical

Dorin M. Popovici1, Felix G. Hamza-Lup2, Crenguta M. Bogdan1

Elena Bautu1, Cristian A. Corleanca1
1
Universitatea Ovidius din Constana
B-dul Mamaia 124, 900527, Constanta, Romania
{dmpopovici,cbogdan,ebautu}@univ-ovidius.ro
2

Armstrong State University

11935 Abercorn Street, Savannah, GA, USA

Felix.Hamza-Lup@armstrong.edu

REZUMAT

O modalitate de interaciune cu calculatorul care ncepe s

fie din ce n ce mai mult folosit att n cercetare ct i la
nivel industrial este returul de fore sau pe scurt haptic.
Sistemele de interaciune haptice permit utilizatorilor
folosirea simului tactil n prezena obiectelor virtuale.
Acest articol prezint etapele dezvoltrii unui sistem de
simulare dual visual-haptic pentru perfecionarea anumitor
task-uri din actul medical.
Cuvinte cheie

Haptic, 3D, Chirurgie

Clasificare ACM

H5.2. Information interfaces and presentation (e.g., HCI):

Miscellaneous.

implementarea unui simulator utilizabil n pregtirea i

mbuntirea abilitilor studenilor i a rezidenilor
chirurgi.
ARHITECTURA PROPOTIPULUI HAPTICMED

Componentele software principale ale prototipului ce

implementeaz mediul virtual suport al unei simulri de
intervenie laparoscopic sunt: componenta de intrare
multimodal, motorul de simulare a mediului virtual,
componenta de gestiune a persistenei mediului i
componenta de redare multimodal. Figura 1 prezint att
aceste componente, ct i celelalte componente software i
dispozitive hardware utilizate n implementarea
prototipului HapticMed.

INTRODUCERE

Realitile virtuale i augmentate sunt tehnologii cheie n

cadrul mediilor de lucru curente i viitoare cu aplicaii n
diverse domenii ale activitii umane: medicin, educaie,
inginerie, turism, iar lista poate continua. n ultimii ani,
tehnologia a atins un stadiu de dezvoltare suficient pentru
a oferi utilizatorului simulri multimodale avansate (i.e.
rspuns vizual combinat cu rspuns tactil, denumit retur
haptic). Astfel, sunt sensibil mbuntite att senzaia
prezenei la nivelul utilizatorului n cadrul mediilor
virtuale, ct i interaciunea dintre utilizator i mediul
simulat. Dezvoltarea acestor sisteme constituie o prioritate
n programele de cercetare mondiale pentru c au
avantajul eficientizrii i mbuntirii diferitelor activiti
umane (e.g. activiti de pregtire a personalului medical,
simulri realiste pentru testarea rezidenilor n proceduri
medicale pentru chirurgie [1] etc.).
n cadrul Universitii Ovidius din Constana s-a derulat
proiectul HapticMed - Interfee cu retur haptic n aplicaii
medicale, id: 567, cod SMIS: 12271, co-finanat prin
Fondul European de Dezvoltare Regional, n baza
contractului de finanare nr. 128/02.06.2010, ncheiat cu
Autoritatea Naional pentru Cercetare tiinific Organism Intermediar pentru Cercetare, n numele i
pentru Ministerul Economiei, Comerului i Mediului de
Afaceri, n calitate de Autoritate de Management pentru
Programul
Operaional
Sectorial
Creterea
Competitivitii Economice, avnd ca finalitate
1

Figura 1. Arhitectura de nivel nalt a prototipului

HapticMed.

Componenta de intrare multimodal asigur controlul

dispozitivelor de interaciune disponibile utilizatorului:
tastatur, mouse, SpaceMouse, Phantom, fcnd astfel
posibil exprimarea aciunilor permise utilizatorului i
obinerea unei interpretri/realizri a acestora n cadrul
mediului simulat. n particular, simularea simului tactil va
fi realizat prin implementarea unei fore de rspuns care

va fi transmis i simit de ctre utilizator prin

intermediul stiloului (en: stylus) dispozitivului haptic
folosit.
Motorul de simulare este componenta care primete datele
transmise prin intermediul componentelor software
asociate dispozitivelor hardware folosite de ctre utilizator
i le interpreteaz n contextul mediului simulat. Pentru
aceasta, el se va baza pe accesul la entitile componente
ale mediului, pe simularea legilor fizice sau de alt natur,
lund n considerare coliziunile i orice alte reacii ale
obiectelor, determinnd starea i reaciile mediului virtual
la aciunile utilizatorului.
Motorul de simulare colaboreaz cu componenta de
gestiune a persistenei mediului. Aceasta din urm
implementeaz funcii de citire/scriere a datelor stocate n
baza de date a prototipului. El transmite datele de ieire
componentei de redare multimodal. Aceasta permite
crearea senzaiilor multi-modale la nivelul utilizatorului,
prin afiarea feedback-ului mediului la aciunile acestuia.
Scena mediului este format din obiecte 3D ce modeleaz
instrumentele i esuturile simulate. Deformabilitatea
esuturilor induce dinamism scenei simulate, configuraia
elementelor simulate schimbndu-se ca rspuns la
aciunile utilizatorului asupra elementelor.
Componenta de redare multimodal este format din dou
componente: grafic i haptic, fiecare ocupndu-se cu un
tip de redare: vizual sau haptic. Pentru a realiza redarea
grafic, prima component folosete algoritmi i funcii
ale unui API grafic, care la rndul lui poate utiliza
biblioteca Glut i n mod obligatoriu se bazeaz pe
librriile OpenGL. Componenta haptic se bazeaz pe un
API haptic pentru a transmite o for utilizatorului
dispozitivului haptic. Un studiu detaliat al diferitelor
componente software pentru redarea componentei haptice
a fost efectuat in [2].
Att complexitatea mediului simulat, ct i precizia actului
medical oblig atingerea unui echilibru ntre fidelitatea
geometric, fizic, vizual i haptic a modelelor utilizate
n implementarea prototipului.
MEDIUL REAL SIMULAT

Prototipul simuleaz executarea task-ului de baz de

palpare a unui ficat pentru identificarea aspectelor
anatomice i a esutului anormal.
Cmpul operator este vizualizat cu ajutorul unui
laparoscop. Acest dispozitiv are diametrul n general de 10
mm, dar poate fi i de 5 mm. Laparoscoapele din prima
categorie asigur o vedere mai clar i mai luminoas
asupra cmpului operator, dar necesit o incizie mai mare
i sunt mai greu de manevrat n vederea navigrii n spaii
strmte.
Instrumentele chirurgicale sunt obiecte rigide care vor
interaciona ntre ele i cu esuturi. Interaciunile includ
contact, penetrare i proximitate dup cum punctul de
interaciune se afl pe suprafaa, nuntrul sau n afara
instrumentului sau a esutului. Al doilea tip de interaciune
se aplic numai n cazul esutului.
Momentul n care se produce coliziunea este un eveniment
ce trebuie s fie gestionat de ctre prototip din punctul de
2

vedere al celor dou componente: vizual i haptic.

Vizual, rspunsul prototipului apare prin deformarea
obiectului 3D ce simuleaz esutul atins, n timp ce haptic,
programul va rspunde utilizatorului cu o for ce depinde
de caracteristicile fizice ale esutului, pentru o simulare ct
mai realist a simului tactil [3].
SCURT DESCRIERE A SISTEMULUI DE SIMULARE
HAPTICMED

Prototipul
HapticMed
presupune
interaciunea
utilizatorului cu un mediu virtual 3D folosind un
dispozitiv haptic [4]. n cadrul operaiilor laparoscopice
micarea penselor chirurgicale este restricionat de spaiul
redus de lucru i de faptul c pensele sunt introduse prin
incizii fcute n abdomenul pacientului. Pentru a simula
acest tip de micri, am dezvoltat un sistem ce simuleaz
un mediu de lucru laparoscopic (vezi Figura 2).

Figura 2. Sistemul de simulare HapticMed.

Sistemul de simulare este format dintr-un mner de pens

Maryland, un sistem de prindere cu baz fix ce permite
manevrarea mnerului pensei ca n cazul interveniei
chirurgicale i un sistem de ataare la dispozitivul haptic.
HapticMed@work

Ca rezultat al discuiilor cu colaboratorul din domeniul

medical, am implementat patru scenarii de evaluare a
ficatului, cte unul pentru fiecare patologie a ficatului:
normal (sntos), cirotic, tumoral i hepatitic.
Indiferent de scenariu, utilizatorul are la dispoziie dou
pense virtuale (replici realiste ale penselor Maryland i
Babcock) care i permit palparea ficatului virtual 3D, fr
ns a fi posibil penetrarea esutului. Utilizatorul are un
timp de aproximativ 30 secunde pentru a se familiariza cu
manevrarea instrumentului haptic i utilizarea interfeei
grafice. n acest model, camera i sursa de lumin ataate
camerei sunt fixe, utilizatorul nefiind constrns de
manipularea lor n simulator. Interfaa vizuo-haptic
corespunztoare este prezentat n Figura 3.

Figura 3. Testul de familiarizare a utilizatorului cu interfaa

vizuo-haptic.

formaiunile existente n ficat (att cele situate la suprafa,

ct i cele situate n interior - vezi Figura 6).

n sesiunea de evaluare a ficatului normal, reprezentarea

grafic a unui sistem cartezian de axe 3D permite
utilizatorului orientarea n scena 3D. Aceast funcie este
foarte util n toate scenariile de utilizare a prototipului
(vezi Figura 4).

Figura 6 - Sesiune de lucru cu prototipul HapticMed n

evaluarea ficatului tumoral.

Figura 4 - Sesiune de lucru cu prototipul HapticMed n

evaluarea ficatului normal.

Acest scenariu are ca scop evaluarea i mbuntirea

cunotinelor teoretice i practice n cazul evalurii unui ficat
normal. Procesele de evaluare i mbuntire a gestului de
palpare a ficatului sntos au ca subiect: mrimea forei
aplicate n cadrul palprii, direcia pensei chirurgicale, zonele
de palpare ale ficatului i metodologia de palpare.

Patologiile unui ficat hepatitic modific un ficat normal att

din punct de vedere vizual (vezi Figura 7), ct i din punct de
vedere haptic (ficatul hepatitic determin de o consisten
crescut). Datorit acestor modificri minore, utilizatorul
urmeaz aceiai pai ca la evaluarea ficatului normal:
alegerea ntrebrilor, efectuarea gestului i introducerea
rspunsului.

i n cazul ficatului cirotic, utilizatorul folosete o pens

pentru a observa i nelege atributele de suprafa ale
ficatului aa cum este ilustrat n Figura 5. Dup ce utilizatorul
i-a format o prere despre starea ficatului, el utilizeaz
acelai sistem de meniuri ce i permit diagnosticarea ficatului
din diferite perspective: culoare, suprafa, consisten etc.

Figura 7 - Sesiune de lucru cu prototipul HapticMed n

evaluarea ficatului hepatitic.
EVALUAREA PROTOTIPULUI

Acest paragraf detaliaz noiunile teoretice necesare

evalurii modulelor de simulare vizuo-haptice HapticMed.
Fiecare dintre urmatoarele metrici sunt considerate pe o
scara de la 1 la 10, 10 nsemnnd calitatea
maxim/superioar. Dintre metricile de validare a
simulatoarelor propuse de Satava [5] am utilizat:
Figura 5 - Sesiune de lucru cu prototipul HapticMed n
evaluarea ficatului cirotic.

Scenariul de evaluare a ficatului tumoral urmeaz aceeai

structur de evaluare precum cea utilizat la evaluarea
ficatului normal i evaluarea ficatului cirotic: alegerea
ntrebrii, efecutarea unui gest de palpare obligatoriu pentru a
i se valida rspunsul, introducerea rspunsului. Modelul de
ficat tumoral prezint dou tipuri de chisturi: un tip vizibil la
suprafaa ficatului, care prezint i proprieti haptice diferite
fa de restul suprafeei normale, i un tip invizibil
utilizatorului, chisturi interne ficatului perceptibile doar n
urma efecturii palprii (asemeni tipului anterior, aceste
chisturi au o consisten haptic crescut fa de suprafaa
ficatului normal). Din cauza existenei acestor dou tipuri de
chisturi, este recomandat ca utilizatorul s palpeze n
totalitate suprafaa ficatului pentru a identifica toate

Face validity (corectitudinea interfeei) :

Aceast metric presupune evaluarea calitilor vizuohaptice ale interfeei simulatorului. Astfel, se
evalueaz:

ct de bine seamn modelul 3D al ficatului

precum i interaciunea haptic cu un model real
de ficat

cat de apropiat de realitate (adic aparatele

laparoscopice reale, poziia utilizatorului, mediul)
este manipularea device-ului haptic Sensable,
inclusiv poziia de operare a utilizatorului.

Content validity (corectitudinea coninutului)

Pentru fiecare modul n parte se definete clar i
concis pentru ce aptitudine/skill este utilizat. De

exemplu,
simulatorul
trebuie
s
msoare
corectitudinea diagnosticrii ficatului prin palpare. n
urma analizei se va decide dac simulatorul reprezint
o unealt de nvare potrivit.

Construct validity (corectitudinea implementrii)

Pentru verificarea acestui criteriu trebuie s se decid
dac simulatorul difereniaz ntre utilizatori cu
diferite nivele de pregtire, e baza msurrii
performanelor acestora.
Rezultatele testului trebuie s diferenieze clar ntre
un expert i un novice pentru fiecare procedura n
parte.

Dou metrici complementare

fiabilitatea testrii:

sunt

definite

pentru

Fiabilitatea evaluatorilor.
Rezultatele testelor de evaluare a cunotinelor
evaluate de ctre experi diferii ar trebui s fie
similare, pentru ca criteriul de fiabilitate a
evaluatorilor s fie ndeplinit.
Atunci cnd testul este evaluat de ctre experti
independeni, avnd acelai nivel de expertiz, se
obin rezultate suficient de apropiate .

(a)

(b)

Figura 8 Testarea prototipului HapticMed n mediul de

dezvoltare (a), mediul medical (b).
Procesarea i interpretarea rezultatelor

Procesarea i interpretarea datelor obinute n urma

testelor efectuate s-au realizat n vederea determinrii
corectitudinii i a coninutului interfeei, precum i a
fiabilitii evaluatorilor i a testrii/retestrii.
Verificarea corectitudinii interfeei (face validity)

Pentru a verifica corectitudinea interfeei i realismul

simulatorului, s-a procedat n maniera informal, prin
chestionarea utilizatorilor de tip ne-expert (e.g. studenti,
rezidenti).

Fiabilitatea testrii/retestrii.
Repetarea testului dupa un interval de timp trebuie s
ntoarc rezultate comparabile.
Datorit inaccesibilitii la alte simulatoare precum i
a structurii curriculei curente care nu prevede
exersarea practic a gestului medical de palpare,
metricile concurrent validity (comparativ cu alte
simulatoare) i predictive validity nu vor fi luate n
considerare n evaluarea prototipului HapticMed.

Implementarea planului de evaluare

Planul de evaluare a fost proiectat i aplicat n 2 etape,

pentru a se minimiza perturbarea procesului de nvmnt
n care s-au implicat studenii i medicii/profesorii
coordonatori, inndu-se cont de sugestiile colaboratorilor
medicali din cadrul Spitalului Judeean Constana.
Studenii anului IV de la Facultatea de Chirurgie a
Universitii Ovidius din Constana au demarat testele de
utilizabilitate ale prototipului HapticMed n decembrie
2012 i le-au ncheiat n aprilie 2013, n concordan cu
curricula pregtirii lor universitare. n cadrul acestor
sesiuni de lucru, peste 90 de studeni din anul IV i n jur
de 10 de rezideni ai Seciei de Chirurgie din cadrul
Spitalului Judeean din Constana au avut ocazia s
utilizeze la ntreaga capacitate prototipul HapticMed (vezi
Figura 8).
Colectarea rezultatelor s-a efectuat atat n timpul folosirii
simulatorului, prin parametrii prestabilii n componenta
de proiectare a simulatorului, dintre care menionm
(timpul de utilizare a simulatorului, viteza, orientarea i
fora de apsare la nivelul dispozitivului haptic, precum i
rezultatele testelor de specialitate), dar i ulterior, prin
completarea de ctre utilizatori a doua chestionare de
Evaluare a Uurintei Utilizrii Sistemului HapticMed
(EUUSH) i de Evaluare a Realismului Simulrii i
Utilizrii Eficiente a Dispozitivului Haptic (ERSUEDH).
4

Figura 9 Corectitudinea interfeei asemanare cu mediul

real.

Peste 60% dintre studeni (conform graficului din Figura

9) au considerat potrivit interfaa prototipului, n vreme
ce un procent nesemnificativ (<1%) au considerat interfaa
prototipului inadecvat scopului propus.
Putem observa conform graficului din Figura 10 c
aproximativ 50% dintre studenii participani au considerat
ca utilizarea prototipului este clar i eficient.

Figura 10 Corectitudinea interfeei claritatea utilizrii.

Apreciem c simulatorul este validat din punct de vedere

al corectitudinii interfeei.

Verificarea corectitudinii continuului interfeei (Content

validity)

ntrebare
2

Enunt ntrebare
Am putut realiza rapid task-urile de
stabilire a diagnosticului folosind acest
sistem.

necesari studenilor/rezidenilor pentru a raspunde la

ntrebari, respectiv pentru a palpa ficatul. S-a hotarat acest
lucru n urma unor sesiuni pregtitoare, n urma crora s-a
constatat ca timpul de lucru este neconcludent, ntruct
utilizatorii aveau diverse nivele de experienta n utilizarea
calculatorului, respectiv a uneltelor de acest tip. Mai mult,
s-a dorit ca timpul de lucru s nu fie o constrngere n
contextul testrii simulatorului de ctre studeni i
rezideni. Pentru a putea primi feedback cuprinztor
privind calitatea simulatorului, utilizatorilor li s-a ngaduit
s decid singuri modul n care au utilizat timpul n cadrul
sesiunilor de test.

Am putut realiza eficient task-urile de

stabilire a diagnosticului folosind acest
sistem.

Putem deci considera c este demonstrat corectitudinea

implementrii
(construct
validity)
simulatorului
HapticMed.

Cred c mi-am imbuntit aptitudinile de

realizare a palprii n vederea stabilirii a
diagnosticului folosind acest sistem.

Fiabilitatea evaluatorilor (inter-rater reliability)

S-a evaluat msura n care simulatorul este considerat

potrivit ca unealt de nvare de ctre utilizatorii acestuia.
Pentru aceasta, s-au luat n considerare rspunsurile la
ntrebrile 2, 3 i 6 din Chestionarul de utilizabilitate.

Rezultatele testelor de evaluare a cunotinelor stabilite de

ctre experi chirurgi diferii au fost comparate n vederea
stabilirii gradului lor de similaritate. Au fost luate n
considerare notele acordate n urma evalurii gestului de
palpare de ctre doi experi chirurgi, ce au evaluat
performanele studenilor.
ntre eantioanele cu notele experilor corespunzatoare
pentru acelai tip de utilizator (i.e. student, rezident) nu
exist diferene semnificative n urma testului t.

Figura 11 Corectitudinea coninutului.

Pentru ambii experi exist nsa diferene semnificative

ntre notele acordate studenilor i cele acordate
rezidenilor (pentru expertul 1, p=0.02<0.05, respectiv
pentru expertul 2 p = 4.14E-10<<0.05). Notele obinute de
utilizatorii rezideni sunt semnificativ mai mari decat cele
obinute de studenii n anul 4. Totui, acestea sunt
semnificativ mai mici decat nota maxim.
Fiabilitatea testrii/retestrii (test-retest reliability)

Se poate observa n Figura c n jur de 70% dintre

studeni sunt de acord c simulatorul este o unealt de
nvare potrivit. Mai putin de 0.5% dintre studeni
consider c utilizarea simulatorului HapticMed nu a
influenat pozitiv capacitatea de diagnosticare prin palpare
a ficatului.
Verificarea corectitudinii implementrii (construct validity)

Evaluarea corectitudinii implementrii este esenial

evalurii oricarui simulator laparoscopic, ntrucat aceasta
trebuie s confirme faptul c simulatorul face distincie
clar
ntre utilizatorii experimentai i cei neexperimentai, pe baza msuratorilor de performan ale
acestora (e.g. scorul la teste de evaluare a cunostinelor)
[6,7,8].
Scorurile medii obinute de cele dou categorii de
utilizatori la testele de evaluare au fost comparate i au
rezultat diferene semnificative ntre grupul studenilor i
cel al rezidenilor (testul Mann-Whitney-Wilcoxon, nivel
de semnificaie 0.5) pentru patologiile de ficat normal i
cea de ficat cirotic. La testele de evaluare a cunotinelor
pe patologiile de ficat tumoral, respectiv ficat hepatitis,
rezultatele nu difer semnificativ ntre cele dou grupuri
de utilizatori.
Pentru analiza statistic privind verificarea corectitudinii
implementrii, s-a renunat la analiza timpilor de lucru
5

Rezultatele obinute de ctre studeni, respectiv rezideni,

la testele iniiale i la testele de control sus inute ulterior
au fost analizate. Astfel, s-a dorit s se verifice dac
repetarea testului de ctre acelai utilizator la momente
diferite de timp conduce la obinerea de rezultate diferite.
Menionm c nu toi studenii/rezidenii au repetat testul
de control susinut ulterior. Dimensiunile eantioanelor sau modificat, astfel ca dispunem de date privind testul de
control pentru 20 de studeni, respectiv pentru 4 rezideni.
ntre scorurile la testul iniial i scorurile la testul de
control exist diferene semnificative pentru grupul de
studeni. La testul de control, acetia au obinut rezultate
mai bune. Acest lucru poate fi datorat procesului de
nvare ce a avut loc ntre timp. De asemenea, putem
argumenta c simulatorul a ajutat n acest proces de
nvare.
Diferenele ntre scorurile la testul iniial i cel de control
nu sunt semnificative n eantionul de rezideni. Acetia au
obinut rezultate similare n medie. Avnd n vedere c
rezidenii sunt utilizatori experimentati, putem argumenta
c simulatorul ii dovedete fiabilitatea test/retest.

DIRECII DE MBUNTIRE

n urma discuiilor cu medicii chirurgi, cu rezidenii i cu

studenii de la Facultatea de Chirurgie s-au desprins
urmatoarele direcii de mbuntire prioritare.
Din perspectiva facilitilor pe care le ofera sistemul de
retur haptic, extinderea interaciunilor instrumentului
medical virtual la apucarea esuturilor precum i la
posibilitatea executrii tierilor n esuturi constituie
direciile principale de mbuntire. Din punct de vedere
anatomic, introducerea replicilor virtuale ale organelor
invecinate ficatului va duce la cresterea credibilitii
situaiei medicale simulate.

2.

3.

n ncheiere dorim s ne exprimm convingerea n

potenialul de extindere a prototipului HapticMed n alte
domenii de intervenie uman, cum ar fi chimie, fizic,
biologie etc.
CONCLUZII

n concluzie, am prezentat aspecte generale de proiectare, implementare i funcionare a prototipului HapticMed, primul
simulator din Romnia ce trateaz palparea ficatului normal
sau patologic n vederea stabilirii unui diagnostic.
Dezvoltarea acestui simulator a mbogit cunotinele
echipei de dezvoltare n acest domeniu de cercetare. n plus,
avem convingerea c folosirea simulatorului va mbunti
procesul de instruire vizual i haptic a studenilor de la
facultile de medicin, nainte ca acest proces s aib loc n
slile de operaie.

4.

5.
6.

MULUMIRI

Mulumim ANCS pentru oportunitatea acordat prin

finanarea proiectului HapticMed n cadrul competiiei
POSCCE O.2.1.2-2009.

7.

REFERINE

1.

Felix G. Hamza-Lup, Crenguta M. Bogdan, Dorin M.

Popovici, Ovidiu D. Costea, A Survey of VisuoHaptic Simulation in Surgical Training, Proceedings
of the Third International Conference on Mobile,

8.

Hybrid, and On-line Learning, Gosier, Guadeloupe,

France, 2011, pp. 57-62.
2. Dorin M. Popovici, Felix G. Hamza-Lup, Adrian
Seitan, Crenguta M. Bogdan, Comparative Study of
APIs and Frameworks for Haptic Application
Development, 12th International Conference on
Cyberworlds, Darmstadt, Germania, 25-27 Sept.
2012, ISBN: 978-0-7695-4814-2/12, IEEE, DOI
10.1109/CW.2012.13, pp. 37-44, 2012.
Felix G. Hamza-Lup, Adrian Seitan, Dorin M.
Popovici, Crenguta M. Bogdan, Liver Pathology
Simulation: Algorithm for Haptic Rendering and
Force Maps for Palpation Assessment, Proceedings
of the 19th International Conference, Medicine Meets
Virtual Reality (MMVR) 2013, Feb 20-23, San Diego,
California, USA, IOS Press, J.D. Westwood et al.
(Eds.), doi:10.3233/978-1-61499-209-7-175, pag.
175-181, 2013
Felix G. Hamza-Lup, Adrian Seitan, Dorin M.
Popovici, Crenguta M. Bogdan. (2012) "Medical
Simulation and Training: Haptic Liver". Proc. of
The 7th International Conference on Virtual Learning
(ICVL), Brasov, 2-3 nov. 2012, ISSN 1844-8933, pg.
27-33.
R.M. Satava, A. Cuschieri, and J. Hamdorf. Metrics
for Objective Assessment. In Surgical Endoscopy,
Vol. 17(2), pp. 220-226, 2003.
Brewin, J, Nedas, T, Challacombe, B, Elhage, O,
Keisu, J & Dasgupta, Face, content and construct
validation of the first virtual reality laparoscopic
nephrectomy simulator', BJU INTERNATIONAL, vol
106, no. 6, pp. 850 854, 2010.
Zhang, A., Hnerbein, M., Dai, Y., Schlag, P. M., &
Beller, S. (2008). Construct validity testing of a
laparoscopic
surgery
simulator
(Lap
Mentor). Surgical endoscopy, 22(6), 1440-1444.
Xiao, Dongjuan, et al. "Face, Content, and Construct
Validity of a Novel Portable Ergonomic Simulator for
Basic Laparoscopic Skills." Journal of Surgical
Education, 2013.