EVALUAREA PERFORMANELOR TESTELOR

Definiii utile
TEST : termenul care exprim procedeele de culegere a datelor (chestionare, gesturi clinice, examene complementare) privitoare la starea indivizilor TEST DIAGNOSTIC: demonstrarea existenei strii demonstrarea abaterii de la normalitate (test diagnostic) de boal sau

TEST DE DEPISTARE : identificarea ntr-o populaie aparent sntoas a persoanelor cu risc crescut de a fi n mod real bolnave sau de a prezenta o abatere de la normalitate (test screening)
(OMS) : depistarea permite identificarea prezumtiv a unei boli necunoscute sau a unui factor de risc, cu ajutorul testelor, examinrilor sau altor investigaii cu posibilitatea aplicrii n populaie. n mod caracteristic, testul screening identific ntr-o populaie aparent n bun sntate, persoanele probabil afectate de o boal, ceea ce face posibil selecia acestora pentru a fi supuse unor investigaii suplimentare sau terapiei (prevenia secundar)

Diferene ntre testul de depistare i testul diagnostic (dupa P.Czernichow, J.Chaperon, 2001)
Tipul de test : criterii
Obiectivul vizat Presoanele evaluate

Depistare
prezumia aparent n bun sntate

Diagnostic
certitudinea simptome sau semne

Categorii int
Precizia Invazivitatea testului Efectivul evaluat Costuri

grupuri
mediocr inacceptabil important n mod necesar reduse

persoane
bun posibil limitat uneori importante

Rezultate pozitive
Decizia pentru tratament

rare
niciodat

frecvente
posibil

Tipuri de teste
Testele permit evaluri diferite n funcie de natur examinarilor:
1.

Calitative
imagistic medical - radiografie, echografie, scanner; citologie; rspunsurile la un chestionar etc)

(ex. :

*rspunsurile sunt binare (dichotomice) : da/nu; prezent/absent - sub forma unei scale nominale : necroz, fibroz - sub forma unei scale ordinale : germeni sensibili, intermendiar sensibili, rezisteni la antibiotice
2.

Cantitative
biochimice, hematologice, serologice msurtori ale TA, IMC )

(ex:

* rezultatele sunt variabile cantitative ; necesit definirea valorilor de referin sau se accept un standard de aur (gold standard) pentru separarea situaiilor normale de cele patologice

Domenii de interes

CERCETARE : pentru gsirea unor noi tehnologii (inovaie) : extinderea cunoaterii, validarea unui nou criteriu de referin etc. (nu se urmrete a fi repetabil din momentul n care a fost recunoscut ca valid, reproductibil i acceptabil);

PARACTICA : pentru ameliorarea procedurilor existente ntr-un anumit context i la un moment dat ; primeaz considerentul practic i mai puin valoarea teoretic a testului utilizat ( este prioritar ca testul s fie repetabil ceea ce oblig etalonri repetate )

Criterii de evaluare a testului

1.VALOAREA INFORMAIONAL A TESTULUI N CERCETARE Validitatea datelor culese Fiabilitatea rezultatelor 2.VALOAREA INFORMAIONAL A TESTULUI N PRACTIC 3. ALTE CRITERII DE EVALUARE Acceptabilitate Costuri Utilitatea operaional

1.Valoarea informaional a testului n cercetare

Validitatea datelor culese : * valoarea unui test trebuie stabilit pe baza unui numr mare de persoane
investigate att dintre cele sntoase ct i bolnave * interpretrile rezultatelor unui test i a rezultatelor metodei de referin trebuie efectuate independent pentru a nu se subestima utilitatea testului

Definiie: Validitatea intern a unui test diagnostic este dat de performana acestuia n raport cu o metod de referin (Gold standard) i de performanta de selecie a subiecilor examinai la sfritul validrii = capacitatea testului de a identifica boala

Validitatea extern a unui test este dat de capacitatea testului de a descrie situaia real a unei stri patologice n populaia general i performana acestuia n condiiile n care datele sunt deja colectate

ERORI

Selecia persoanelor examinate (bolnave/sanatoase ) ameliorare: n prealabil interpretarea statistic a rezultatelor pentru a stabili valorile eventual comparabile obinute la diverse persoane care exprim absena bolii de cele care traduc existena bolii

Calitile operatorului/observatorului care utilizeaz testul ( experiena, atenie, disponibilitate) ameliorare : protocoale de examinare standardizate (lectura filmelor radiologice, a lamelor histo-patologice etc) sau utilizarea mai multor interpretri independente

Procedeele de msurare utilizate (chestionare interogator ; examen clinic sau de laborator etalonare, aparatura caliti tehnice) ameliorare : evaluarea calitilor intrinseci

Fiabilitatea rezultatelor

Reproductibilitatea unui test este aptitudinea diversilor observatori de a ajunge la acelai concluzii n condiiile n care sunt confruntai cu rezultatele aceluiai test realizat la aceleai persoane Teste calitative : reproductibilitatea este msurat prin calculul coeficientul de corelaie Kappa Teste cantitative : reproductibilitatea este msurat prin simpla legtura ntre valorile celor 2 msuratori sau prin similaritatea dintre valorile medii ale celor 2 msuratori

2.Valoarea informaional a testului n practic

Msurarea experimental a performanelor testului dup criteriile: Sensibilitate Specificitate
Msurarea n situaia real a performanelor testului dup criteriile: Valoare predictiv Valoare global (eficien)

Definiii
SENSIBILITATEA unei metode indic proporia bolnavilor pe care testul este n msur s-i identifice din ntreag efectivul ca urmare a rezultatelor pozitive ale testului

SPECIFICITATEA indic proporia persoanelor sntoase confirmate ca fiind n afara strii de boal n urma nregistrrii rezultatelor negative ale testului
VALOAREA PREDICTIV A REZULTATELOR POZITIVE indic proporia rezultatelor valabile (adevarate) din ansamblul rezultatelor pozitive VALOAREA PREDICTIV A REZULTATELOR NEGATIVE indic proporia rezultatelor valabile (adevarate) din ansamblul rezulatelor negative VALOAREA GLOBAL (EFICIENA) testului indic proporia rezultatelor valabile din ansamblul evalurilor efectuate

INDICATORI DE APRECIERE
Bolnavi TEST Rezultat pozitiv Rezultat negativ
Total

Sntoi FP AN
FP+AN

TOTAL AP+FP FN+AN

AP+FP+FN+AN

AP FN
AP+FN

AP rezultat adevrat pozitiv (rezultat pozitiv la persoane bolnave); FP rezultat fals pozitiv (rezultat pozitiv la persoane sntoase) FN rezultat fals negativ (rezultat negativ la persoane bolnave); AN rezultat adevrat negativ (rezultat negativ la persoane sntoase) Se = AP/ AP+FN x 100 Sp = AN/ AN+FP x 100 VPP = AP/AP+FP x 100 VPN = AN/AN+FN x100 VG = AP+AN/ AP+FP+FN+AN x100

Ideal: sensibilitatea (Se), Specificitatea (Sp) i Valoarea predictiv (VP) = 100%

Cazul testelor cantitative

Raionament : prin aplicarea testului distribuia valorilor biologice numerice obinute sunt diferite de la un individ la altul deci este necesar stabilirea unei valori de referin care s claseze subiecii n bolnavi i sntoi deoarece calitatea diagnostic a testului variaz n funcie de nivelul de referin ales Teorema lui BAYES sec. XVIII Bayes pune bazele matematice pentru calculul valorii predictive a testelor diagnostice prin : estimarea mediei anselor pentru judecarea corect (deci a valorii predictive a unui test) a unui fenomen dat (starea de sntate sau de boal) pe baza validitii testului utilizat (Se, Sp, probabilitatea unui rezultat FP i FN) ct i amploarea unui fenomen n condiii date (prevalena unei boli sau prevalena strii de sntate ntr-o populaie)

utilitate: este posibil ca prin teorema lui Bayes s se determine probabilitatea unui subiect la care testul a fost pozitiv s fie efectiv bolnav i ca la un subiect cu testul negativ s fie n mod real sntos

Distribuia valoriilor msurate printre non-bolnavi (B--) Distribuia valorilor msurate printre bolnavi (B+)

lipsa Se

lipsa Sp

L = valoare de referint
Dac se deplaseaz limita valorii L la dreapta, se diminu Se i se amelioreaz Sp.

Ex (dup M.Jenicek et al):

Exemplul A

Test:Hb<12g%= anemie pozitiv negativ

Anemici 19 1 20

Sntoi 10 70 80 29 71 100

Se = (19/19+1) x100 = 95% ; Sp = (70/70+10 ) x 100= 88% VPP = (19/19+10) x 100= 66% ; VPN = (70/70+1) x 100= 99% VG = [(19+70) : (19 +10+1+70)]x 100 = 89%

Exemplul B
Test: Hb<10g% = anemie pozitiv negativ Anemici 15 2 17 Sntoi 5 78 83 20 80 100

Se = (15/15 +2) x100 = 88% ; Sp = (78/78+5 ) x 100= 94% VPP = (15/15+5) x 100= 75% ; VPN = (78/78+2) x 100= 98% VG = [(15+78) : (15+5+2+78)]x 100 = 93%

Nivelul de referin a testului diagnostic are ca rezultat compromisul dintre Se i Sp = exprimat grafic prin curba ROC (Receiver Operator
Characteristic curve) Utilitatea curbei ROC :

determinarea unui nivel de referin optimal 2. compararea rezultatelor mai multor teste care pot avea, fiecare dintre ele alte nivele de referin
1.

Criteriile de alegere a testului diagnostic (postulatele lui Galen i Gambio)

1. este de preferat un test sensibil dac:

boala este grav; boala este tratabil; rezultatele fals pozitive nu genereaz prejudicii psihologice sau economice persoanelor examinate

2. este de preferat un test ct mai specific dac:

boala este grav dar dificil de vindecat (sau chiar incurabil); a ti c nu exist boala este un element important att din punct de vedere psihologic ct i din punct de vedere managerial (economic); rezultatele fals pozitive pot fi psihologic i economic traumatizante pentru persoanele examinate

3. este de preferat utilizarea rezultatelor pozitive ale unui test dac acesta are o valoare predictiv crescut n situaii n care tratamentul persoanelor cu diagnostic fals pozitiv ar avea consecine grave
4. este de preferat un test cu valoare global crescut dac:

boala este important dar tratabil; rezultatele fals pozitive i fals negative sunt traumatizante i implic producerea unor consecine grave asupra persoanelor examinate