Validitatea de criteriu

Validitatea de criteriu
 Cum se comporta testul comparativ cu alte
masuratori
 Utilitatea diagnostica
Validitatea de criteriu
 Testul= predictor pentru comportamente viitoare
Compararea scorurilor la test cu alte criterii cantitative
definite
Performanţa la un test (predictor) trebuie raportată la o
altă performanţă pe care o numim criteriu
Criteriul este definit=standardul la care este raportată
performanţa la test
Caracteristicile criteriului
 Relevant: pentru activitatea sau caracteristica la
care se referă
 Fidel: congruent cu evaluări diferite ale
performanţelor la care se referă, evaluări realizate
la momente diferite
 Practic
 Necontaminat
 Unitar: să fie exprimat în aceleaşi unităţi pentru
toate persoanele
Analiza ROC
 ROC= Receiver Operating Characteristics

 permite evaluarea proprietăţilor diagnostice

ale unui test

 permite evaluarea capacităţii de discriminare

între diferite categorii de subiecţi
ANALIZA ROC
 Pentru a permite discriminarea între diferitele
categorii de subiecţi, trebuie stabilit un cut-off
point
 Proces dihotomic:
 Scor < cutt-off

 Scor> cutt-off
ANALIZA ROC
 Aplicând un test, obţinem 2 distribuţii (în
mod ideal separate) pentru cele două categorii
investigate
 Ex. Depresia
 În realitate este puţin probabil ca aceste
distribuţii să fie complet separate, existând o
suprapunere
Distribuţiile scorurilor la test
ANALIZA ROC
 Obţinem astfel 4 situaţii:

 AP (Adevăraţi Pozitivi)
 AN (Adevăraţi Negativi)
 FP (Falşi Pozitivi)
 FN (Falşi Negativi)
 Exemplu
Fara Cu
diagnostic diagnostic

Rezultatul la test
Exemplu
Fara diagnostic -“Negativi” Cu diagnostic -“Pozitivi”

Rezultatul la test
 “Negativi” “Pozitivi”

Adevarati
pozitivi

Rezultatul la
test
Fara diagnostic
Cu diagnostic
 “Negativi” “Pozitivi”

Rezultatul la Falsi
test Pozitivi
Fara diagnostic
Cu diagnostic
 “Negativi” “Pozitivi”

Adevarati
negativi

Rezultatul la test

Fara diagnostic
Cu diagnostic
 “Negativi” “Pozitivi”

Falsi
negativi

Rezultatul la test

Fara diagnostic
Cu diagnostic
Utilitatea diagnostică a unui test

Diagnostic

Test Pozitiv Negativ Total

Pozitiv AP FP T+
Negativ FN AN T-
Total D+ D- n
Utilitatea diagnostică a unui test
 D + = total cei care au tulburarea
 D - = total cei care nu au tulburarea
 T+ = total cei care au obţinut un scor pozitiv
la test
 T - = total cei care au obţinut un scor negativ
la test
 N = numărul total al subiecţilor analizaţi
Utilitatea diagnostică a unui test
 Sensibilitatea = AP/ D+ (adică AP + FN)

Sensibilitatea=Ce proporţie din diagnosticaţii

reali identifica testul?

Ex. Sensibilitate=.98  2% dintre cei care au

diagnostic rămân neidentificaţi de destul
nostru
ANALIZA ROC
 Specificitatea = AN/ D- (adică AN + FP)

Specificitatea = câţi dintre cei care nu au diagnostic sunt

identificaţi de test ca neavând diagnostic

Specificitate = .80  20% dintre cei care nu au

diagnostic sunt identificaţi ca având diagnostic.
ANALIZA ROC
 Puterea de predicţie pozitivă = AP/ T+ (adică AP
+ FP)

 Puterea de predicţie negativă = AN/ T- (adică

AN + FN)

 Utilitatea diagnostică = (AP + AN)/ n

 (perfect clasification)
Sensitivity

0.8

0.6

0.4

0.2

0.00.0

0.2 0.4 0.6 0.8 1.0

1 - Specificity (all positives
are
false positives)
 Comparatii curbe ROC

Test bun: Test slab:

100% 100%
True Positive Rate

True Positive Rate

0 0
% %
0 100% 100%
0
% False Positive Rate % False Positive Rate
Extreme curbe ROC
Cel mai bun Cel mai slab
test: test
100% 100%
True Positive Rate

True Positive
Rate
0
0 %
% 0 100
0 100 False Positive %
False Positive % %
% Rate
Rate

Distributiile nu se Distributiile se suprapun

complet
suprapun
Utilitatea Analizei ROC
1. Determinarea abilităţii unui test de a
discrimina între 2 grupuri

2. Stabilirea cut-off point-ului

3. Comparaţii între teste

Utilitatea Analizei ROC
1. Determinarea abilităţii unui test de a
discrimina între 2 grupuri
AUC- area under the curve
0.5-0.7 = acurateţe slabă
0.7-0.9 = acurateţe moderată
>0.9 = acurateţe bună
Utilitatea Analizei ROC
3. Compararea performanţei a două sau mai
multe teste

Compararea curbelor ROC ale celor 2 teste

ROC – compararea performanţei a 2
teste

a
B

A
Exerciţiu

Diagnostic

Test Pozitiv Negativ Total

Pozitiv 92 10 T+

Negativ 15 53 T-
Total D+ D- n