Sunteți pe pagina 1din 95

METODOLOGIA CERCETARII evaluarea performantelor unui test

Carmen Vulpoi

Probabilities can make nonstatisticians nervous. But this approach really just boils down to knowing your patient, gathering a little data and establishing an opinion of the likelihood of a given outcome
Donald R. Woolever, The art and science of clinical decision making, Family Practice Woolever, making, Management, 2009

Arta deciziei clinice


1. 2. 3.

Determina probabilitatea


care sunt sansele ca pacientul sa aiba boala? Istoric, ex clinic

Colecteaza datele pentru evaluarea ulterioara




Acutalizeaza posibilitatea inclusiv probabilitatea pre-test pre

Apoi colecteaza si interpreteaza cu atentie datele

4.

Considera o interventie daca pacientul se include in criterii


 

daca o face, tine cont de contextul pacientului daca nu ai suficiente informatii ia in consideratie si alte optiuni
 

Date noi Rabdare!


Donald R. Woolever, The art and science of clinical decision making, Family Practice Management, 2009 Woolever, making,

Adresabilitate


Cercetarea stiintifica implica o populatie heterogena:




producatorul
Cercetatorul  Designerul studiului


consumatorul
Teoreticianul  Practicianul


publicul


Pacientul

Cercetarea bibliografica


Faza pregatitoare


Literatura de referinta
 

Tratate Reviste de anvergura


  

Precizarea obiectului studiului Definirea obiectivelor Definirea ipotezei de lucru

Elaborarea planului de studiu


 

Factorii ce vor fi studiati Modul de studiu al acestor factori (selectia) Noua evaluare a literaturii Includerea la discutii a datelor relevante pentru sbiectul cercetat

Prezentarea rezultatelor
 

Variabile


Variabila = orice calitate, caracteristica, element constitutiv al unei persoane sau al unui lucru care poate fi masurat


Prin definitie, supusa schimbarilor

Redus la baza, orice act medical este un studiu al relatiei intre variabile

Scale utilizate pentru variabile - nominale 

Simboluri care definesc fiecare masuratoare ce nu pot fi ordonate unul peste altul
Fiecare masuratoare trebuie sa intre intr-o intrsingura categorie  In cadrul unei categorii membrii sunt considerati echivalenti


Exemple
Grupa sanguina  Culoarea ochilor, sex, rasa


Scale utilizate pentru variabile - ordinale 

Incadreaza fiecare masuratoare la un numar limitat de categorii care sunt ordonate in functie de grad


Diferentele dintre categorii nu sunt neaparat egale sau masurabile




Diferenta intre categoria 1 si 2 nu e neaparat egala cu cea dintre 3 si 4

Exemple
Starea pacientului vindecat, ameliorat, stationar, agravat (agravat e mai bolnav ca stationar, dar nu se stie cu cit)  Stadiile in cancer


Scale utilizate pentru variabile - intervale 

Incadreaza fiecare masuratoare la un numar nelimitat de categorii distantate in mod egal


Nu are un real punct 0 (0 nu inseamna o adevaata absenta a variabilei masurate)  Se poate sti exact cu cit este mai mare sau mai mica fiecare categorie


Exemple


Temperatura (0oC este temperatura la care ingheata apa, dar nu inseamna absenta temperaturii)

Scale utilizate pentru variabile - proportie 

Pe o scala continua, masuratoarea incepe la un 0 real si are intervale egale Exemple


Inaltime  Temperatura in grade Kelvin  Timp


Tipuri de variabile
 

Legea de baza a biologiei este variabilitatea Multitudinea observatiilor poate trasa liniile generale care trebuie incluse in intervalul de confidenta


Indice de dispersie a unor variabile sub forma unui interval in care variabila poate fi situata cu un risc cunoscut


Interval de confidenta 95% - risc de 5%

Variabilele trebuie definite de la inceputul studiului

Tipuri de variabile
Variabile calitative
  

Nemasurabile Finite Calculul mediei nu are sens Categorii ce nu pot fi ordonate




Nominale (categoriale)


culoarea ochilor

Ordinale (de rang)




Ordonate dupa anumite un criteriu dar fara unitati de masura




Starea dupa tratament (vindecat, ameliorat, stationar, inrautatit)

Dihotomiale


Da/nu


Prezenta sau nu a unui factor de risc

Tipuri de variabile


Variabile cantitative (pot fi masurate)




Continue
 

Pot lua o infinitate de valori Media are intotdeauna o semnificatie




Glicemia

Discontinue (discrete)
 

Numere intregi Media nu are intotdeauna semnificatie




Scor Apgar

Este posibila transformare variabilelor cantitative in calitative (varsta in grupe de varsta)




Dar se pierd informatii

Baza variatiilor


Fluctuatiile intre diverse masuratori




reflecta efectele combinate ale mai multor fenomene


Variatii biologice sau de masurare

Interpretarea depinde de capacitatea clinicianului de a recunoaste


 

sursa variatiei importanta sa pentru diagnostic si tratament

Baza variatiilor
Variatii biologice adevarate
 

Determinate de o serie de factori necunoscuti care duc la mici variatii intimplatoare Variatiile intimplatoare pot fi pozitive sau negative


Exemplu TA la acelasi pacient in conditii teoretic identice

Variatii asociate masurarii in conditii diferite


 

Variatii determinate de masurarea in conditii diferite Vriatii sistematice (nu intimplatoare)




Ex TA in momente diferite ale zilei sau conditii diferite (orto/clinistatism)

Variatii ale sistemului de masurare


   

Atribuite metodei de masurare Intimplatoare - legea hazardului Sistematica eroare a sistemulkui de masurare (constant valoare mai mare sau mai mica) Ex pentru un acelasi esantion de urina masurarea repetata a pH cu aceelasi aparat de catre acelasi chimist in conditii teoretic ideale nu va da valori identice

Variatii intra-pacient intra

Pot rezulta din cauza


variatiilor reale, intimplatoare ale unui parametru  unor modificari patologice ale statusului pacientului


Medicul trebuie sa identifice cauza deoarece interventia trebuie sa apara numai cind aceasta e patologica

Variatii inter-pacient inter

Atribuabile
   

diferentelor inerente intre pacienti conditiilor diferite de masurare erorilor de masuratoare unei conditii patologice

Medicul e interesat de aceste diferente deoarece majoritatea intrebarilor legate de un pacient pornesc de la informatiile obtinute de la un grup de subiecti cu probleme similare
 

Scade mai tare TAd la pacienti care primesc medicamentul A fata de B? Cit de modificati sunt d-dimerii la dl Lazarescu fata de dpaceinti care nu au trombembolism?

de ce e necesara biostatistica

Prin efectuarea unui test, clinicianul se straduieste sa clasifice starea reala dar necunoscuta a unui subiect de observatie


cu ajutorul unui instrument imperfect

DISTINGEREA NORMALULUI DE ANORMAL

strategia diagnostica
Informatia clinica primita
    

Examen clinic Anamneza Imagistica Proceduri Examene de laborator Un test diagnostic se bazeaza pe presupunerea ca indivizii bolnavi si sanatosi pot fi diferentiati cu
 

acuratete reproductibilitate

TIPURI DE DATE
     

CALITATIVE Anamneza (descriptive) NUMERICE Investigatii laborator GRAFICE Biosemnale (ECG, EEG) SUNETE - Fonocardiograma IMAGINI STATICE - Radiografii, RMN IMAGINI DINAMICE film

Tipuri de cunostinte
a) Explicite
 Formalizabile  Se

pot transmite usor

b) Tacite (skill)
 Experienta

proprie  Greu de transmis  Training

Relatia cunostinte diagnostic/tratament


INFERENTA = Opera ie logic de trecere de la un enun la altul si n care ultimul enun este dedus din primul.

INFERENTA LOGICA


Medicina clasica (rationamentul medical)

INFERENTA STATISTICA


Medicina bazata pe dovezi

Medicina clasica


medicina clasic , deductiv




OpinionOpinion-Based Medicine OBM

bazat pe
bagajul de cuno tin e acumulat din studiile i experien a personl  tradi ionala ars medicae (arta medical )  intui ia personal a clinicianului.


Medicina bazata pe dovezi (MBD)




sus ine c medicina trebuie s se concentreze pe


  

obiectivitate, dovezi, metameta-analiz , a totalit ii ramurilor medicinii




folosirea metodic , algoritmic ,




epidemiologie, genetic , bio-statistic , informatic medical , biomedicin explorativ i de laborator prompt , precis i de calitate

 

considernd raportul cost eficien




sub un control de calitate riguros i permanent,

medicul consultat fiind factorul frontal al unui larg grup de speciali ti, cu care se g se te n interreac ie

ISTORIC


1975, Ministerul S n t ii Canadian a mobilizat o grup de speciali ti, (The Canadian Task Force) cu menirea


s compun directive tiin ifice i unitare de examinare sanitar periodic a popula iei.

Suzanne Fletcher & David Sackett au creat "nivele de eviden " (levels of evidence)


destinate s foloseasc ca "grade de recomandare" (Grades of recommendations),




criterii de ac iune n cadrul respectivelor directive

Practica medicinii bazate pe eviden




Identificarea problemei


sau a zonei de dubiu, de lips de certitudine

De cercetat i identificat fondul de eviden




De pus numai ntreb ri relevante, concentrate pe subiect, coerente, ntr-un ntrlimbaj clar i pe n eles,


dovezile, faptele importan ei clinice a faptelor, a eviden ei aplicabilit ii clinice a eviden ei

Aprecierea


la care pacientul poate s r spund




De selectat resursele cele mai potrivite de cercetare




E.g. de evitat pescuitul (fishing)




comandarea unei infinit i de examene de laborator n speran a c va apare un rezultat pozitiv

De ac ionat i de aplicat eviden a De apreciat avantajele efortului depus De adunat, de conspectat i de notat activitatea


pentru a o folosi n viitor

Obiectul metodologiei cercetarii stiintifice medicale


 

Productia cunostintelor [explicite] = cercetare Metode de cercetare


Observationale  anchete  trialuri clinice  Experimentale  studii de laborator - specifice  Teoretice modelare/simulare


CICLUL ACTIVITATII MEDICALE


tratament diagnostic

date Pacient Medic

cunostinte

Etapele activitatii de cercetare


  

Stabilirea obiectivelor Documentare Organizarea cercetarii


Studii clinice  Studii de laborator  Cercetarea teoretica, formalizarea cunostintelor


 

Prelucrarea datelor Prezentarea rezultatelor

Puncte de vedere
al pacientului ameliorarea starii de sanatate calitatea cea mai importanta a unui test diagnostic
 eficacitatea

 

(in sensul utilitatii)

precizia (gradul de exactitate)


diagnosticare gresita(fals pozitiv) nediagnosticarea(fals negativ)

 caracterul

inofensiv

Puncte de vedere
al medicului cel putin aceleasi motive ca si pacientul pentru ca un test sa fie eficace si inofensiv Interpretarea testului - confirmare si modificarea atitudinii terapeutice
 test


pozitiv conduce la aplicarea unui tratament


pozitivitatea testului creste probabilitatea ca boala sa existe valoare predictiva pozitiva

 test

negativ impiedica medicul sa trateze o afectiune potential severa valoare predictiva negativa

Puncte de vedere
al medicului Daca un test nou poate sa inlocuiasca unul mai vechi
!

standarde de referinta:


un nou test este comparat cu unul invechit si mai putin sensibil (mai multe falsuri negative)


numarul mai crescut de pacienti diagnosticati cu noul test vor fi considerati fiind drept falsi pozitivi,

Limitele
o

oricarei proceduri de diagnostic


eroare de diagnostic poate avea repercusiuni financiare si legale

Puncte de vedere

al societatii Inocuitatea
 guvernul

trebuie sa garanteze securitatea cetatenilor in toate domeniile

Consecintele
 analiza

economice

cost - eficacitate

TIPURI DE STUDII CLINICE


-

Studiul starii de s n tate a populatiei Studiul serviciilor de sanatate Evaluarea unui procedeu diagnostic Evaluarea unei abord ri terapeutice Cercetarea unor factori de risc i/sau prognostici

Distingerea normalului de anormal

Tipuri de teste diagnostice


 

Testul ideal da intotdeauna raspunsul corect Un bun test diagnostic


distinge individul afectat de boala de cel neafectat  este


nenociv  rapid  simplu  nedureros  de incredere  ieftin




Surse de nesiguranta/variabilitate


Instrument de masura: imprecizia analitica


 

acelasi test aplicat aceluiasi pacient




sa dea acelasi rezultat

Variabilitatea subiectului
 

intraindividuala


regresia catre medie - fluctuatii fiziologice

interindividuala Intraindividuala/interindividuala


Variabilitatea interpretarii examenului:




coeficient de concordanta k

 

Validitatea intrinseca a testului (Sn, Sp, LR). Prevalenta bolii (probabilitatea pretest)

Stabilirea diagnosticului
 

Validitatea unei proceduri de diagnostic inseamna capacitatea acesteia de a identifica subiectii atinsi de boala si subiectii sanatosi Stabilirea unui diagnostic este un proces imperfect


exprimat mai degraba in termeni de probabilitate, decat de certitudine




Un test diagnostic nu va avea sens




decat daca rezultatul este capabil sa modifice probabilitatea bolii




Probabilitatea de a fi atinsi de o boala nu este deci fixa, ci legata de testul diagnostic




sa reduca probabilitatea la un astfel de nivel, incat tratamentul sa nu se mai faca, sa o creasca pana la nivelul la care tratamentul sa fie legitim.

inainte de test, este vorba de probabilitatea "a priori" (pre(pretest probability)




prevalenta;

dupa test, este vorba de probabilitatea "a posteriori" (post(post-test probability)




valoarea predictiva a testului

Distingerea normalului de anormal

Tipuri de teste diagnostice




Teste calitative


Prezenta sau absenta unui semn sau simptom




Fractura la RX

Teste cantitative


Peste sau sub o valoare limita (valoare critica/ (valoare de referinta) referinta) considerata un criteriu pozitiv


glicemie

Alegerea unui criteriu pozitiv 1. Distributie gaussiana 2. Metoda percentilelor 3. Agreata cultural 4. Metoda terapeutica 5. Metoda factorilor de risc 6. Metoda diagnostica sau a valorii predictive


Tipuri de teste diagnostice

Curba Gaussiana
L = media 2 deviatii standard* * atentie la subgrupuri

Q-2.58W 2.58W

Q-1.96W 1.96W

Q-1W

Q 68% 95%

Q+1W Q+1.96W Q+2.58W +1W +1.96W +2.58W

99%

Tipuri de teste diagnostice

Curba Gaussiana
 

Avantaje simplitatea Dezavantaje


   

 

Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA Limitele fiind determinate la o populatie fara boala, un Q-2.58W Q-1.96W 2.58W 1.96W - 1W Q+1W +1W +1.96W +2.58W pacient poate fiQdiferit comparativQ+1.96W Q+2.58W cu populatia Q normala dar nu neaparat 68% bolnav Pacientul poate apartine unui subgrup cu alte valori 95% normale Schimbarile variabilelor unui test pot fi anormale chiar Ideal rar 99% daca ramin in limite normale
Fenilketonuria fenilalanina serica

Tipuri de teste diagnostice

Curba Gaussiana
 

Avantaje simplitatea Dezavantaje


   

 

Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA descentrat Limitele fiind determinate la o populatie fara boala, un Diagnostic foarte dificil pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale

Tipuri de teste diagnostice

Curba Gaussiana
 

Avantaje simplitatea Dezavantaje


   

 

Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA Dificil pentru rezultatele Limitele fiind determinate la o populatie fara boala, un aflate la suprapunere pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale

Tipuri de teste diagnostice

Curba Gaussiana
 

Avantaje simplitatea Dezavantaje


   

 

Cel mai frecvent distributie bimodala limitele normale nu include obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA e.g. Limitele fiind determinate la o populatie fara boala, un baterie pacientde screeningdiferit de teste poate fi de 20 comparativ cu populatia Daca normala dar nu neaparat bolnav Gaussiana se utilizeaza un singur model de distributie Pacientul poate apartine unuialtul si testele sunt independente unul de subgrup cu alte valori normale din 20 sa aiba un test anormal pentru fiecare test 1 sansa La 20 teste 1- (0.95)20 10.64 test sa aiba macar un Schimbarile variabilelor=unui sanse pot fi anormale chiar rezultat anormal daca ramin in limite normale
Sindromul Ulise

Sindromul Ulise


Inving tor n razboiul troian, Ulise porne te spre cas (Itaca)




cale de 1-2 s pt mni, n 1condi iile de navigare de atunci datorit unor aventuri fatidice, acest drum a durat 10 ani

Sindromul descrie efectele unor investiga ii intensive i prelungite venite ca urmare a unui rezultat de laborator fals-pozitiv sau interpretat falsgre it cu ocazia unor analize de rutin .

Tipuri de teste diagnostice

Curba Gaussiana
 

Avantaje simplitatea Dezavantaje


  

Cel mai frecvent distributie bimodala limitele normale nu include obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA


 

Limitele fiind determinate la o populatie fara boala, un pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale


Glicemie normala 60-106 mg/dl. O scadere de la 105 la 55 ar 60putea fi anormala

Tipuri de teste diagnostice

Metoda percentilelor


Daca se doreste doar limita superioara 5% superioare considerat anormal Daca se doresc limite superioare si inferioare 2,5% Avantaje
Simplitate  Aplicabilitate


Dezavantaje ca la Gauss

Tipuri de teste diagnostice

Agreata cultural

Tipuri de teste diagnostice

Agreata cultural

Avantaje


N-are: confunda medicina cu moda

Tipuri de teste diagnostice

Metoda terapeutica


Valorile sub sau peste care pacientul va fi tratat




Schimbat progresiv


e.g. valorile normale ale TA

 

Avantaje


Include numai subiectii care vor fi tratati Necesita un clinician care sa fie la curent cu toate noutatile terapeutice

Dezavantaje


Tipuri de teste diagnostice

Metoda factorilor de risc




Factor genetic, de mediu, comportamental, demografic, fiziologic




Cancer pulmonar Fumatori Nefumatori total 100 0 100

Fara cancer pulmonar 33,233 66,667 99.900

total

33,333 66,667 100,000

care are o ascoiere cauzala sau statistic semnificativa cu o anumita maladie In general usor de masurat Faciliteaza medicina preventiva

Avantaje
 

Studiu ipotetic


Prevalenta cancerului pulmonar 100/100,000 33,3% din populatie fumatori

Dezavantaje


Valoare predictiva scazuta

Ar insemna ca toti fumatorii fac cancer pulmonar




99,7% nu fac

Tipuri de teste diagnostice

Metoda diagnostica sau metoda valorii predictive


 

Bazata pe probabilitartea bolii pornind de la standardul de aur Alegerea valorilor pentru un test depinde daca e mai rau pentru pacient ca sa fie eronat considerat bolnav sau sa i se ignore boala


Daca consecintele ignorarii pot fi grave




Se va alege valoarea pozitivitatii criteriului astfel incit sa minimalizeze procentajul de fals negativ


eg mixedemul congenital

Daca o valoare fals pozitiva poate duce la un tratament riscant




eg chimioterapie cateterizare cardiaca

Se alege un criteriu care sa minimalizeze rata de fals pozitiv

Tipuri de teste diagnostice

Metoda diagnostica sau metoda valorii predictive


Adevarat pozitiv Fals pozitiv Fals negativ Adevarat negativ

Specificitate si specificitate egale Sensibilitate crescuta, sensibilitate specificitate scazuta

v Fals negativ = 0

w x y Test negativ Test pozitiv

z Fals pozitiv = 0

Metoda valorii predictive




Avantaje
   

Valorile variabilelor testului pot urma orice distributie Frecventa bolii este bazata pe date clinice concrete si e deci estimata realistic Tine cont de distributia variabilelor testului atit in populatia bolnava cir si in cea sanatoasa Se adreseaza nevoilor medicului si pacientului punind in balanta beneficiile potentiale ale tratamentului si implicatiile sale (nediagnosticarea sau etichetare gresita) Necesita stapinirea de catre clinician a prevalentei bolii, valoarea predictiva pozitiva si negativa, determinareaa performantelor testului

Dezavantaje


Descrierea performantelor unui test


 

STANDARDUL DE AUR Limite




Frecvent e metoda cea mai riscanta, dificila dpdv tehnic, impracticabil




Biopsie cerebrala pentru Alzheimer Angina pectorala

Pentru unele boli nu exista standard de aur




Compararea cu standardul de aur poate duce la concluzii eronate spunind ca noul test e mai rau cind de fapt e mai bun
 

Daca testul cel nou detecteaza cu o acuratete mai mare pacientii vor fi considerati gresit fals pozitiv Daca e negativ la mai multi subiecti care nu au boala va fi considerat in mod eronat fals negativ

Reprezentare grafica sau in tabele a rezultatelor unui test


   

Adevarat pozitiv


Pacienti identificati corect ca avind boala Pacienti sanatosi considerati bolnavi Pacienti sanatosi corect identificati Pacienti care au boala fals etichetati drept sanatosi

Fals pozitiv


Adevarat negativ


Fals negativ


Reprezentare grafica sau in tabele a rezultatelor unui test


AP

FN FP

AN

Test negativ

Test pozitiv

Sensibilitate si specificitate
Dg.corect Dg.incorect

Test +

a+b

Test total

c a+c

d b+d

c+d N

AP Dg. Dg, corect ) incorect dg .corect ( AP  FN


Test + a b a+b

sensibilitate

Test total

c a+c

d b+d

c+d N

probabilitatea de a avea un test pozitiv (anormal) atunci cnd subiectul prezinta afectiunea investigata


capacitatea de a recunoaste maximum de subiecti atinsi

SENSIBILITATE = AP/ bolnavi (AP+FN) importanta atunci cnd


  

ignorarea diagnosticului este grava eliminarea afectiunii este importanta maladia este rara (depistare)

LES

Prevalenta (Sn) % ANA 98 Anti-AND dc Anti-Sm 30

70

AP Dg. Dg, corect ) incorect dg .corect ( AP  FN


Test + a b a+b

specificitate

Test total

c a+c

d b+d

c+d N

probabilitatea de a avea un test negativ normal cnd subiectul nu prezinta afectiunea capacitatea de a recunoaste doar pacientii atinsi (deci de a nu atribui boala unui subiect care nu o prezinta), SPECIFICITATE = AN/ sanatosi (AN+FP) importanta atunci cnd trebuie confirmat un diagnostic

Boala prezenta Test pozitiv Test negativ Total a c a+c sensibilitate=a/(a+c) specificitate=d/(b+d)

Boala absenta b d b+d fals pozitiv=b/(b+d) fals negativ=c/(a+c)

Valoare predictiva pozitiva - probabilitte postest




probabilitatea de a avea maladia atunci cnd testul este pozitiv anormal




Proportia de subiecti bonavi intre cei cu test pozitiv

VALOARE PREDICTIVA POZITIVA = AP/ test+ (AP+FP)

Valoare predictiva negativa


 probabilitatea de a nu avea maladia cnd testul este negativ

normal
Proportia de indivizi sanatosi intre cei cu test negativ

VALOARE PREDICTIVA NEGATIVA = AN / test- (AN+FN) test-

Acuratete
concordanta testului cu diagnosticul final ACURATETE = concordante (AP + AN)/ total (AP+FP+AN+FN)


Receiver Operator Characteristic




Ideal pentru un clinician ar fi un test care sa aiba




att sensibilitatea ct si specificitatea foarte inalte

Acest lucru nu este intotdeauna posibil




ceea ce ar impune gasirea unui punct "de compromis", in care raportul specificitate / sensibilitate sa fie optim. optim.

Receiver Operator Characteristic




Relatia specificitate / sensibilitate poate fi exprimata prin trasarea curbei ROC (Receiver Operator Characteristic),
in care pe abscisa se pune nivelul fals pozitiv (1-specificitate) (1 iar pe ordonata nivelul adevarat pozitiv (sensibilitatea)

sensibilitate
1-specificitate

Prin stabilirea celor doua determinate pentru mai multe situatii se poate trasa o curba

Curba ROC


Reprezentare grafica a relatiei dintre sensibilitate si specificitate in cazul unui test

Metoda simpla de aplicare a metodei valorii predicitve pentru a alege un criteriu pozitiv

ROC analysis este parte din teoria detectiei semnalelor ("Signal Dectection Therory") dezvoltata in al doilea Razboi Mondial pt analiza semanalelor radar Operatorul radar trebuia sa decida daca ceea ce e pe ecran e un dusman, un prieten sau doar zgomot de fond


capacitatea sa a fost denumita Receiver Operating Characteristics

Abia in anii 70 teoria detectiei semnalului a fost considerata utila pentru interpretarea testelor medicale

Curba ROC


In cazul unor determinari cantitative (e.g. glicemia in diagnosticarea diabetului zaharat)




se pot inscrie valori numerice diferite;

cnd este vorba de un test calitativ (e.g. mamografia in diagnosticul cancerului mamar)
 

se poate realiza o scala cuprinznd mai multe categorii. un exemplu de scala in acest caz
    

probabil normal (imposibil) posibil normal (neverosimil) echivoc (indoielnic) posibil anormal probabil anormal


sigur

Curba ROC
1 0,8

sensibilitate

0,6 0,4 0,2 0 0 0,5 1

1-specificitate

Curba ROC

Cancer mamar
Radiology" 1988, 167: 353-58 353-

Cancer prezent Mamografie pozitiva Mamografie negativa Total AP a FN c a+b RP = real pozitiv FN = fals negativ

Cancer absent FP b AN d c+d FP = fals pozitiv RN = real negativ

MAMOGRAFIE pozitiva, in caz de suspiciune mare de cancer, negativa, in caz de suspiciune mijlocie sau mica

Cancer prezent Mamografie pozitiva 47 Mamografie 72 negativa Total 119 sensibilitate 47/119 = 0,40 a= (0,40;0,02)

Cancer absent 6 275 281 specificitate 6/281 = 0,02

MAMOGRAFIE pozitiva, in caz de suspiciune mare sau mijlocie de cancer, negativa, in caz de suspiciune mica

Cancer prezent Mamografie pozitiva Mamografie negativa Total 104 15 119

Cancer absent 123 158 281

sensibilitate 104/119 specificitate 123/281 = 0,87 = 0,44 b= (0,87;0,44)

MAMOGRAFIE
pozitiva, in caz de suspiciune mare, mijlocie sau mica (rarefieri radiografice) negativa, in caz de suspiciune cu opacitate radiografica sau suspiciune minima

Cancer prezent Mamografie pozitiva Mamografie negativa Total 113 6 119 sensibilitate 113/119 = 0,94 c= (0,94;0,57)

Cancer absent 160 121 281 specificitate 160/281 = 0,57

MAMOGRAFIE
pozitiva, in caz de suspiciune mare, mijlocie sau mica (opacitate radiografica) negativa in caz de suspiciune minima

Cancer prezent Mamografie pozitiva Mamografie negativa Total 116 3 119 sensibilitate 116/119 = 0,97 d= (0,97;0,72)

Cancer absent 202 79 281 specificitate 202/281 = 0,72

a)  b)  c)

 d)

suspiciune mare de existenta a unui carcinom; 1 (0,4;0,02) suspiciune mare sau mijlocie de existenta a unui carcinom; (0,87;0,44) suspiciune mare, mijlocie sau mica cu rarefieri radiografice de 0,5 existenta a unui carcinom; (0,94;0,57) suspiciune mare, mijlocie sau mica (opacitate radiografica) de existenta a unui carcinom. 0 (0,97;0,72)

Curba ROC


Trasarea curbei ROC setarea criteriului de pozitivitate


sensibilitate


1 0,8 0,6 0,4 0,2 0

w x

Cind implicatiile FP si FN sunt egale - cit mai aproape de coltul din stinga sus (x) Cind FP este in mod special indezirabil cit mai departe in stg (z) FN in mod special indezirabil in coltul din dreapta sus (creste sensibilitatea, scade specificitatea (w, v)

z
0 0,5 1

1-specificitate

Aria de sub curba ROC




Aria masoara capacitatea de discriminare capacitatea testului de a clasifica pacientii cu / fara boala


E.g. pacienti deja clasificati. Luam unul bolnav si unul sanatos (randomic). Pacientul cu testul cel mai anormal ar trebui sa fie din grupul celor bolnavi.

Aria de sub curba reprezinta procentajul perechilor luate randomizat pentru care acest fapt e adevarat (adica testul clasifica corect cei doi pacienti din perechea randomizata)

Interpretarea punctiei cu ac subtire


1. Frotiu inadecvat - fara elemente celulare tiroidiene 2. Frotiu benign; benign; a. rare tireocite b. multiple tireocite normale, grupate in cuiburi c. frotiu bogat celular 3. Frotiu tip tiroidita cu tireocite normale, limfocite abundente si celule Hurtle 4. Frotiu suspect cu placarde de tireocite cu nucleu voluminos, hipercromatic, nuclei liberi 5. Frotiu malign cu numeroase celule ce intrunesc criteriile clasice de malignitate

Rezultatul citologic si anatomopatologic


  

SENSIBILITATE =AP/(malign)AP+FN =31/41 = 75,6% SPECIFICITATE =AN/(benign)AN+FP =32/34 = 94,1% VALOARE PREDICTIVA POZITIVA =AP/(FNAB mg)AP+FP =31/33 = 93,9% VALOARE PREDICTIVA NEGATIVA =AN/(FNAB bg)AN+FN =32/42= 76,2%
AnatomoAnatomopatologic Citologic benign benign malign 32 10 malign 2 31

FNAB

calcularea curbei ROC


- suspiciune inalta (5) malign benign 1 33
FNAB pozitiva FNAB negativa

-suspiciune inalta, medie si minora (3+4+5)


malign 35 6 benign 4 30

FNAB pozitiva FNAB negativa

11 30

sensibilitate = 11/41 = 0,27 1- specificitate = 1 - 33/34 = 0,02

sensibilitate = 35/41 = 0,85 1- specificitate = 1 - 30/34 = 0,12

- suspiciune inalta si medie (4+5)(4+5)malign FNAB pozitiva FNAB negativa 31 10 benign 2 32

-suspiciune inalta, medie si minora (3+4+5)


malign FNAB pozitiva FNAB negativa 37 4 benign 10 24

sensibilitate = 31/41 = 0,76 1- specificitate = 1- 32/34 = 0,06 1-

sensibilitate = 37/41 = 0,90 1- specificitate = 1 - 24/34 = 0,29

FNAB curba ROC


nive l adevarat pozitiv (se nsibilitate)
1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0 0,2 0,4 0,6 0,8 1

nivel fals pozitiv (1-specificitate) FNB

PROBLEMA SPECIFICA INTERPRETARII TESTULUI




Experienta cercetatorului


capacitatea medicului poate evolua in cursul unui studiu de evaluare a testelor - procentul de rezultate false (fals pozitive sau fals negative), in raport cu standardul de referinta, risca sa fie mai ridicat ideal este ca acelasi observator sa interpreteze toate examinarile daca sunt implicati mai multi observatori in studiu, ei trebuie sa aiba aceeasi experienta interpretarea testului trebuie sa fie independenta de interpretarea testului de referinta

Omogenitatea in interpretare
 

Obiectivitate


REPRODUCTIBILITATEA


Capacitatea unui instrument de a furniza o masuratoare identica in mod repetat




concordanta rezultatelor mai multor masuratori, efectuate de diferiti observatori, poate fi mai mult sau mai putin ridicata. calitatile reale ale testului (sensibilitate, specificitate), interpretare

Reproductibilitatea depinde de
 

Cuantificarea - indicele kappa (K): evalueaza reproductibilitatea observata in raport cu concordanta legata de hazard


O = acord observat K = (0-E) / (1-E) (0(1K = 1 pentru o concordanta perfecta. K = 0 cand nu exista concordanta decat sub efectul hazardului.

Valorile negative ale K sunt posibile. Ele indica atunci ca exista mai putine sanse de acord decat doar cel observat sub efectul sansei.

EXACTITATEA


Capacitatea de a furniza o masuratoare exacta a unui fenomen




proportia rezultatelor corecte, pozitive sau negative

Evaluarea reproductibilitatii


Enumerarea surselor potentiale de eroare




 

Pozitia pacientului la o radiografie Momentul zilei (T, G) Conditii de masurare a TA

Masurarea importantei variatiilor si incercarea de a le reduce la maxim


  

Variatii inter-investigatori interVariatii intra-investigator intraVariatii intra-pacient intra-

Clasificarea surselor in ordine descrescatoare

Variatii interobservator
V1-V2 * (mL) media DS mediana maxim minim p 3,71 3,95 2.91 13,49 0,01 0,75 V1-V3 * (mL) 3,83 3,45 2.01 14,4 0,03 0,85 V3-V2* (mL) 2,3 2,27 1.4 9,01 0,14 0,93

V1 = volumele gasite de ex.1 V2 = volumele gasite de ex.2 V3 = volumele gasite de ex.3 * - au fost considerate diferentele in valoare absoluta - nesemnificativ

Diferentele inter-observator de determinare a volumului tiroidian inter-

Variatii interobservator
mL 16 14 12 10 8 6 4 2 0 V1-V2
p > 0,05 p > 0,05 p > 0,05

V1-V3

V2-V3

media min

max mediana

Diferentele inter-observator de determinare a volumului tiroidian inter-

Variatii intra-observator intraVT1-VT2 * media DS mediana maxim minim p 2,45 2,20 1,79 6,82 0,04 0,61
7 6 5 4 3 2 1 0

* - diferenta dintre volumele gasite la 2 determinari diferite - nesemnificativ

media min

max mediana

Diferentele intra-observator de determinare a volumului tiroidian intra-

Masurarea reproductibilitatii


Concordanta intre mai multi clinicieni




cl1
I I 25 4 3 0 32 II 7 14 6 1 28 III 2 5 17 2 26 IV 1 0 3 10 13 35 23 29 13 100

eg grad de severitate al unei afectiuni cl2

Concordanta (din 100 subiecti)




II III IV

25+14+17+10/100 = 66%

Importanta reproductibilitatii
Efecte ale absentei reproductibilitatii  Studii terapeutice


diminueaza puterea studiilor in strategiile terapeutice (creste varianta variabilei urmarite) Subestimarea asocierii factorilor de risc

Studii epidemiologice


Baterii de teste


Aplicate in paralel - cresc Sn


+ cand macar unul dintre ele este pozitiv  - cand toate sunt negative


Aplicate in serie - cresc Sp


+ cand toate sunt pozitive  - cand macar unul este negativ


Teste multiple


In practica, nu este foarte frecvent sa fie absolut sigur ca exista sau nu exista boala, dupa folosirea unui test diagnostic.


de fapt, testele perfecte (100% sensibilitate si specificitate) sunt foarte rare (daca exista!)!

Cand suntem in situatia, in care probabilitatea bolii la incheierea testului nu s-a modificat decisiv, pentru a face tratamentul sau pentru a renunta,


sunt necesare teste ulterioare

Teste utilizate in paralel




cand se doreste obtinerea rezultatelor rapid,


 

urgente bolnavi tratati in ambulator

sensibilitatea (si deci valoarea predictiva negativa) este mai buna pentru totalul acestor teste folosite in paralel, decat pentru fiecare dintre teste luate separat invers pentru specificitatea si valoarea predictiva pozitiva, care scad
 

mai putin probabil sa nu se descopere boala dar diagnosticele false si fals pozitive vor fi mai frecvente

utile, cand medicul are nevoie de un test sensibil, dar nu are la indemana decat 2 sau 3 teste putin sensibile


FolosinduFolosindu-le in paralel rezulta o strategie de diagnosticare de o sensibilitate mai mare, cu pretul totusi a existentei rezultatelor fals pozitive, care pot conduce la tratamente inutile.

Teste utilizate in serie


 

nu este indispensabila obtinerea rezultatelor rapid,




consultatii, in opozitie cu situatiile urgente de spitalizare. teste sunt scumpe si/sau cu risc


Testele in serie sunt folosite, cand




un asemenea test nu este de fapt folosit, decat daca un test mai simplu si mai putin agresiv a evocat in prealabil boala cautata.

  

consuma mai putine resurse paraclinice decat testele in paralel,




folosirea unui al doilea test depinde de rezultatul primului

Dar procedura este mai indelungata Testele folosite in serie


 

maresc specificitatea si valoarea predictiva pozitiva a strategiei de diagnosticare, dar micsoreaza sensibilitatea si valoarea predictiva negativa.

 

Medicul, dar si pacientul, sunt mai siguri ca boala este reala, cand testul este pozitiv, dar risca sa aiba mai multe rezultate fals negative. utila, cand nici unul dintre testele disponibile nu este foarte specific.


testul cel mai specific trebuie folosit primul, testul mai sensibil va fi folosit ulterior

S-ar putea să vă placă și