CONSIDERAŢII TEORETICE ASUPRA

CALITĂŢII
EXAMENULUI DIAGNOSTIC

Conf. Dr. Vasile Lucian Boiculese

 Aflarea diagnosticului pentru un pacient, presupune respectarea unor norme ce țin în mod corect de
culegerea de informații medicale și aplicarea unui set logic de reguli, pentru a deduce cu o probabilitate cât
mai mare și într-un mod cât mai eficient, tipul de afecțiune de care suferă.

Tipuri de diagnostice - exemple

✓ Prezumtiv – este prima etapă, este suspiciunea asupra unei afecțiuni (simptome, istoricul bolii,
antecedente). De obicei este determinat de medicul de familie.
✓ Clinic – se bazează pe următoarele: simptome și semne, istoricul afecțiunii, antecedente personale
(patologice, fiziologice), antecedente heredocolaterale (familie), mediul de viață, examenul fizic.
✓ Paraclinic – teste de laborator (biochimie, bacteriologie, hematologie, citologie, imunologie), imagistică
(radiografii, ecografii, RMN), explorări funcționale (EKG, EEG, spirometrie, aparat renal, secreții gastrice,
endoscopie, acuitate vizuală, etc.).
✓ Diferențial – se compară diagnosticul prezumtiv cu altele ce au simptomatologie asemănătoare.
✓ Intraoperator – act medical invaziv (operație), dar se poate folosi și pentru a preleva țesuturi, secreții
(puncție, biopsie).
✓ Definitiv – este etapa finală în care concluzia trebuie să se bazeze pe certitudine.
 Pentru estimarea calităţii unui test diagnostic, acesta se compară de obicei cu un etalon sau standard de
aur în vederea determinării prezenţei afecţiunii (maladiei – M). Există situaţii în care testul diagnostic se
rezumă doar la existenţa sau nu a unui semn (notat S). La modul general putem să vorbim de un scor S.
Se realizează astfel tabelul de contingenţă cu cele 4 situaţii posibile ale examenului diagnostic.

Afecţiune (standardul de aur)

Prezentă (M) ഥ
Absentă (𝑴) Total Valorile a,b,c,d reprezintă frecvențele absolute, deci
Pozitiv Adevărat Pozitiv Fals Pozitiv a+b
numărul de persoane.
Test diagnostic

(S) (a) (b)

TP FP Vom folosi scrierea prescurtată din limba engleză:
Negativ Fals Negativ Adevărat Negativ c+d
(ഥ
𝑺) (c) (d) Adevărat pozitiv = True positive → TP
FN TN Fals pozitiv = False positive → FP
Total a+c b+d n=a+b+c+d Fals negativ = False negative → FN
Adevărat negativ = True negative→ TN

Semnul / Scorul poate fi și în formă inversă - adică negativ să implice afecțiune (direcția trebuie definită)

Se definesc mai multe măsuri statistice care descriu calitatea examenului diagnostic.
 Studiem tabelul în lungul coloanelor

Sensibilitatea testului este aproximată cu raportul dintre determinările adevărat pozitive şi numărul total
de bolnavi existenţi în studiu. În situaţia în care volumul eşantionului este destul de mare, valoarea raportului
tinde către probabilitatea de a avea un test pozitiv din grupul de bolnavi.
Formula de calcul este : Se= a+ca = TP ,
TP+FN
Aceasta este o estimare punctuală a indicatorului de sensibilitate (se mai numeşte şi rata de pozitivi
adevăraţi, True Positive Rate - TPR).
Putem face apel la teoria probabilităţii pentru a exprima sensibilitatea.
Avem astfel: Se = TPR = P(S|M) , este probabilitatea de a avea semnul condiționată de existența afecțiunii
(M).
Tot din studiul primei coloane avem rata de falşi negativi (False Negative Rate FNR) ce se calculează cu
formula: FNR= a+cc = FN = 𝑷(ഥ 𝑺|𝑴).
TP+FN
Din studiul coloanei a doua rezultă următoarele măsuri: Specificitatea și rata de falși pozitivi.
Specificitatea testului este probabilitatea de a avea testul negativ atunci când afecţiunea este absentă.
Reprezintă o estimare a probabilităţii ce exprimă absenţa semnului S la populaţia sănătoasă. Se mai
numeşte şi rata de negativi adevăraţi (True Negative Rate - TNR).
Formula de calcul este : Sp=TNR= d = TN = P(S|M).
ഥ
b+d FP+TN
Definim din studiul coloanei a doua FPR – este complementară specificității:
Rata de falşi pozitivi ( False Positive Rate) este: FPR= b = FP = P(S|M)
b+d FP+TN

Se definesc în continuare măsuri ce țin cont de datele din ambele coloane:

Raportul verosimilității pozitive LR+ (Positive Likelihood Ratio): LR+= TPR = Se

FPR 1−Sp

Raportul verosimilității negative LR- (Negative Likelihood Ratio): LR−= FNR = 1−Se
TNR Sp

Raportul cotelor de diagnostic DOR (Diagnostic Odds Ratio) este: DOR= LR+ = TPR ·TNR = Se · Sp
LR− FPR ·FNR (1−Se)(1−Sp)
TP ·TN
DOR = a ·d = FP ·FN .
b ·c
Situație critică: b=0 sau c=0 implică DOR nu se poate calcula – neajuns pentru acest indicator.
 Afecţiune În concluzie din studiul pe coloane avem:
Prezentă (M) ഥ
Absentă (𝑴) Total
Pozitiv Adevărat Pozitiv Fals Pozitiv a+b
Se + FNR = 1 , Sp + FPR = 1
Test diagnostic

(S) (a) (b)

TP FP
a =
Sensibilitatea: Se=TPR= a+c TP = P(S|M) ,
TP+FN
Negativ Fals Negativ Adevărat Negativ c+d
(ഥ
𝑺) Specificitatea: Sp=TNR= d = TN = P(S|M).
ഥ
(c) (d) b+d FP+TN
FN TN
Total a+c b+d n=a+b+c+d
c =
Rata de falşi negativi (False Negative Rate) este: FNR= a+c FN = 𝑷(ഥ𝑺|𝑴).
TP+FN
Rata de falşi pozitivi ( False Positive Rate) este: FPR= b = FP = P(S|M).
b+d FP+TN
Raportul verosimilității pozitive LR+ (Positive Likelihood Ratio): LR+= TPR = Se
FPR 1−Sp

Raportul verosimilității negative LR- (Negative Likelihood Ratio): LR−= FNR = 1−Se
TNR Sp
Raportul cotelor de diagnostic DOR (Diagnostic Odds Ratio) este: DOR= LR+ = TPR ·TNR = Se · Sp
LR− FPR ·FNR (1−Se)(1−Sp)
TP ·TN
DOR = a ·d = FP ·FN
b ·c
 Testul diagnostic se poate baza pe o variabilă numerică ce se măsoară pe scală raport sau interval. În
acest caz trebuie să aflăm punctul optim al variabilei pentru care avem valori maxime ale Se cât și Sp.
În luarea deciziei logica este de felul: Dacă valoarea experimentală este mai mare ca cea a punctului
critic (sau prag) atunci decidem că există afecțiune (varianta 2: sau că nu există), în caz contrar nu există
afecțiune (varianta2: sau există).
Se pot calcula astfel, pentru fiecare valoare distinctă (considerată drept prag) a variabilei criteriu, atât Se
cât și Sp. Pentru a afla optimul se poate reprezenta grafic dependența Se funcție de 1-Sp numită curba
ROC (Receiver Operating Characteristic)
Se (TPR) Curba ROC

(0,1) (1,1)

Punctul optim se obține pentru Se=1 respectiv Sp=1.

X În reprezentarea grafică ROC acest punct este (0,1) deci colțul
din stânga sus.
(1,0)
Pentru cazul prezentat optimul este punctul X.
Dacă am folosi un sistem aleatoriu de decizie atunci am obține
(0,0) 1-Sp (FPR) puncte apropiate de bisectoarea întâi: (0,0) – (1,1).
Exemple: O variabilă utilă în decizie O formă aleatoare de decizie
 Dependența dintre Se și Sp
0.6 f(x) Acestea sunt curbele densitate de
0.5 Fără afecțiune Cu afecțiune probabilitate pentru variabila criteriu în cele
două cazuri posibile: cu respectiv fără
0.4
afecțiune.
0.3 Aceste măsuri (TP, FN, TN, FP) sunt
0.2 relative în această figură deoarece
TP - Adevărați pozitivi
TN - Adevărați negativi reprezintă probabilități și avem relațiile:
0.1
FN FP
0
- + Variabilă criteriu FN + TP = 1 , respectiv TN + FP = 1
0
Prag (rezultat test sau scor)

Astfel Se=TP/(TP+FN)=TP/1=TP respectiv Sp = TN

Dacă creștem valoarea de prag deci îl mutăm spre dreapta atunci scade TP deci Se și crește TN
respectiv Sp. Dacă micșorăm pragul va crește Se respectiv va scade Sp.
Observăm astfel că relația dintre Se și Sp este de invers proporționalitate – nu putem să le creștem
pe amândouă în același timp.
Decizia depinde de valoarea de prag și un compromis între Se și Sp trebuie acceptat.
 Cum calculăm punctul de optim ?

Se calculează Se și Sp pentru fiecare punct distinct al variabilei criteriu (variabilă biologică).

Se creează tabelul cu fiecare valoare a variabilei și valorile calculate ale Se și Sp.

Prag Distanța Suma

V. Criteriu
Se Sp
minimă maximă Pentru a determina optimul putem calcula distanța minimă față
de punctul ideal (de coordonate (0,1) din graficul ROC) sau metoda
5.23 0.641 0.88 0.378 1.521
…. …. … ….. …..
a doua, valoarea maximă a Se+Sp-1 (de ce -1 ??).
5.495 0.733 0.771 0.351 1.504
5.515 0.742 0.759 0.353 1.501 J=Max{Sec+Spc-1}, este condiția Youden (1950)
5.525 0.742 0.747 0.361 1.489 Indicele c reprezintă perechile Sp, Se calculate conform cu
5.54 0.75 0.747 0.355 1.497 valorile de prag ale variabilei criteriu.
…. …. … …. ….

Din tabelul alăturat observăm că avem două puncte de optim – fiecare corespunde condiției impuse.
Pentru sumă maximă avem punct de optim 5.23 pentru prag, iar pentru distanță minimă avem optimă
valoarea 5.49 pentru prag.
 Dependența dintre Se și Sp – exemplu practic

Histogramele cazuri / control

70
60
Participanți la studiu

Control Cazuri
50
40
30
20
10
0 14
10
11
12
13

15
16
17
18
19
20
21
22
23
24
3
4
5
6
7
8
9

Variabila Criteriu

Sensitivity Specificity
Test Result Variable(s): Criteriul Youden
1.0 Positive if
0.8 Greater Than or
0.6 Equal Toa Sensitivity Specificity Se+Sp-1 = MAX
10.9820 0.944 0.962 0.906
0.4 10.9882 0.944 0.964 0.908
0.2 10.9891 0.944 0.966 0.910
0.0 11.006 0.944 0.968 0.912
0 5 10 15 20 25 30 11.0891 0.942 0.968 0.910
Variabila Criteriu 11.1571 0.940 0.968 0.908
11.1645 0.940 0.970 0.910
11.172 0.940 0.972 0.912
11.1758 0.938 0.972 0.910
11.1810 0.936 0.972 0.908
11.1895 0.934 0.972 0.906
 Evaluarea unui examen de diagnostic se poate face funcție de curba ROC. Suprafața de sub această curbă
(AUC – Area Under the Curve) poate fi analizată printr-un test de ipoteză.
Ipoteza nulă în acest caz, constă în presupunerea că suprafața este egală cu cea a unui sistem aleator, deci
cu decizie aleasă la întâmplare. Evident un astfel de sistem nu este util. Suprafața în acest caz este definită de
diagonala principală în coordonatele curbei ROC. Această suprafață este egală cu ½ sau 0.5 (este jumătatea
unui pătrat cu latura egală cu 1). Ipoteza nulă va afirma egalitatea cu suprafața de valoare 0.5.

Multe din programele de statistică folosesc pentru

1.0

estimarea suprafeței de sub curba ROC teste neparametrice.

0.8

Estimarea cu interval de încredere este echivalentă testului de

5.495 (0.771, 0.733)
ipoteză. Practic se determină eroarea standard cu ajutorul
0.6
Sensibilitate

AUC: 0.802 (0.742–0.861)

căreia se calculează în continuare intervalul de confidență cât
și nivelul de semnificație.
0.4

Există de asemenea anumite limite pentru AUC ce exprimă

valoarea de utilitate a testului respectiv. Este cunoscut că
0.2

valori de peste 0.8 arată că examenul diagnostic este bine

0.0

determinat prin acel test.

1.0 0.8 0.6 0.4 0.2 0.0
Specificitate
 Studiem în continuare tabelul în lungul liniilor.
Odată cunoscut rezultatul testului, este util să se calculeze probabilitatea post-test (aposteriorică) a
afecțiunii. Prin realizarea testului se câştigă informaţie ce are influenţă asupra detecţiei stării patologice
respective.
Probabilitatea ca un individ care prezintă semnul S să fie afectat de afecţiune este valoarea diagnostică
sau valoarea predictivă pozitivă (PPV – Positive Predictive Value). Se mai numeşte şi precizie.
Estimarea punctuală este PPV= a , se poate exprima și ca probabilitate condiționată PPV=P M S =
a+b
P(M∩S) .
P(S)
Se arată că PPV depinde de prevalență (P(M)), Se și Sp: PPV= P(M)∙Se
P(M)∙Se+ 1−P(M) ∙ 1−Sp

Valoarea predictivă negativă (NPV – Negative Predictive Value) reprezintă probabilitatea ca un individ
care nu prezintă semnul să nu prezinte nici afecțiunea. Valoarea estimată este: NPV= d .
c+d
ഥ
ഥ Sത = P(M∩
Folosind probabilitățile condiționate avem: NPV=P M ഥ
S) .
P(S)
1−P(M) ∙Sp
NPV depinde de prevalență (P(M)), Se și Sp: NPV=
1−P(M) ∙Sp+P(M)∙ 1−Se
 Tot în cadrul analizei pe linii a tabelului de frecvențe, se definesc folosind probabilitățile evenimentelor
complementare următoarele măsuri:

Rata falsă de descoperire FDR (False Discovery Rate): estimarea punctuală FDR= b , iar dacă facem
a+b
ഥ .
apel la teoria probabilităților avem 𝐹𝐷𝑅 = 1 − 𝑃𝑃𝑉 = 𝑃 𝑀|𝑆
Rata falsă de omisiune FOR (False Omission Rate): estimarea punctuală FOR= c , și evident 𝐹𝑂𝑅 =
c+d
1 − 𝑁𝑃𝑉 = 𝑃 𝑀|𝑆ҧ .

O formă generală de evaluarea a sistemului decizional este prin acuratețe. Se notează ACC (Accuracy)
și se definește ca fiind: ACC= a+d
n .

De asemenea prevalența (prevalence) pe întreg tabelul este: PREV= a+c n

În situația în care cazurile detectate sunt noi atunci avem incidență.
Valoarea predictivă pozitivă cât și Valoarea predictivă negativă deăpind e prevalență !
Indicatori evaluare : test diagnostic/afecţiune

Afecţiune
Prezentă Absentă Total Evaluare
(M ) (𝑴ഥ )
Pozitiv AP FP a+b PPV FDR
a
Test diagnostic
(S) (a) (b) b
a+b a+b
Negativ FN AN c+d FOR NPV
(ഥ
𝑺) (c) (d) c d
c+d
c+d
Total a+c b+d n=a+b+c+d
Se = TPR FPR LR+ Prev
a b TPR a+c
a+c FPR DOR
Evaluare

b+d n
ACC
FNR Sp = TNR LR- LR+
c d FNR a+d
LR− n
a+c b+d TNR
 Observații

✓ Cei mai utilizați indicatori sunt Se, Sp, PPV, NPV.

✓ Se și Sp nu depind de prevalența afecțiunii (P(M)). PPV și NPV depind de prevalență și de Se și Sp.
✓ Valorile maxime Se=1 şi Sp=1 se pot obţine în situaţia în care cele două distribuţii nu se suprapun şi astfel
puterea discriminantă a factorului este maximă (atragem atenția asupra aproximării făcute).
✓ Legătura dintre Se şi Sp depinde de alegerea pragului de decizie. Această dependenţă este reprezentată
grafic de curba ROC. Creşterea simultană a celor doi indicatori nu este posibilă datorită dependenţei invers
proporţionale existente.
✓ Dacă avem specificitate maximă (Sp=1), rezultă că nu există falşi pozitivi astfel încât valoarea diagnostică
devine maximă PPV=1. Cu alte cuvinte, dacă testul este pozitiv atunci persoana este sigur bolnavă.
Semnul se numește patognomonic.
✓ În situaţia în care Se=1-Sp valoarea diagnostică PPV devine egală cu prevalenţa P(M) iar NPV=1-P(M). In
concluzie probabilitățile post test nu se schimbă. Avem: PPV=P M S =P(M) și NPV=P M ഥ Sത =P(M
ഥ ). Astfel
semnul sau variabila criteriu nu aduce informație deci nu este utilă în decizie.
✓ Evaluarea semnului în testul diagnostic se realizează cu ajutorul valorilor predictive dar și cu Se și Sp.
Semnul S1 este mai potrivit decât semnul S2 dacă PPV(S1) > PPV(S2) şi NPV(S1) > NPV(S2). Se poate
verifica și prin Se(S1)>Se(S2) respectiv Sp(S1)>Sp(S2).
✓ Dacă avem două teste diagnostice, unul caracterizat de sensibilitate mare iar celălalt de specificitate mare,
atunci o utilizare în serie (cascadă) a acestora va duce la creşterea calităţii diagnostice pe ansamblu.
 Exemplu practic – SPSS
Pentru analiza calităţii unui test de diagnostic trebuie să avem creat un tabel de date ce să cuprindă două
coloane cu următoarele informaţii:
1 – valoarea ideală a testului (exprimă prezenţa afecțiunii, codificată de obicei cu 1 respectiv 0)
2 – valorile de tip numeric real, ce reprezintă evaluarea testului.
Presupunem că avem un set de date ce conţine informaţii despre prezenţa sau nu a unei maladii pentru
cazurile studiate. Avem coloana afecțiune (codificarea 1 – prezentă respectiv 0 - absentă) determinată printr-o
procedură gen standard de aur. A doua coloană reprezintă scorul testului nostru sau variabila criteriu (denumită
Vbiol) şi este de tip real între 2.66 şi 8.40.
În SPSS vom urma paşii de lansare în execuţie a analizei: Analyse + ROC Curve

Definim variabila de test, apoi variabila dicotomică cât

și valoarea ce exprimă evenimentul studiat.

Bifăm toate opțiunile din grupul de afișare – toate sunt

utile:
- Afișarea curbei ROC;
- Eroarea standard și intervalul de confidență a ariei
de sub curbă;
- Tabelul cu punctele de coordonate din curba ROC,
necesare pentru calculul optimului.
 În cadrul butonului de opțiuni foarte importantă este relația dintre
variabila criteriu și evenimentul studiat – această direcție trebuie
specificată :

- valori mari ale variabile criteriu implică șanse mari de a se

realiza evenimentul studiat ?
 Rezultate obținute

Case Processing Summary

afectiune Valid N (listwise)
Positivea 120 Un tabel cu frecvența absolută a datelor grupate după
Negative 83
Smaller values of the test result variable(s) indicate variabila dicotomică.
stronger evidence for a positive actual state.
a. The positive actual state is 1.

Area Under the Curve

Test Result Variable(s): Vbiol
Asymptotic 95%
Confidence Interval
Testul asupra ariei de sub curba (AUC).
Asymptotic Lower Upper Avem semnificație deci variabila criteriu este utilă –
Area Std. Error a Sig. b Bound Bound aceasta se observă și din intervalul de confidență ce nu
.802 .030 .000 .742 .861
The test result variable(s): Vbiol has at least one tie between the
cuprinde valoarea 0.5 care ar fi obținută în cazul folosirii
positive actual state group and the negative actual state group. unui sistem aleatoriu de decizie.
Statistics may be biased.
a. Under the nonparametric assumption
b. Null hypothesis: true area = 0.5
 Curba ROC

Punctul de optim a fost calculat separat și apoi

reprezentat grafic.
SPSS – nu calculează punctul de optim.
 Coordinates of the Curve
Tabelul ce prezintă coordonatele curbei ROC Test Result Variable(s): Vbiol
Positive if Less
Than or Equal
Toa Sensitivity 1 - Specificity
Se precizează în clar (la sfârșitul tabelului) cum au 1.6700 .000 .000
2.9350 .008 .000
fost determinate punctele de prag pentru variabila 3.2800 .017 .000
criteriu (cele din prima coloană): 3.4300 .025 .000
3.5100 .033 .000
3.5350 .042 .000
The test result variable(s): Vbiol has at least one tie 3.5650 .050 .000
between the positive actual state group and the negative 3.5850 .058 .000
actual state group. 3.5950 .067 .000
a. The smallest cutoff value is the minimum observed test 3.6100 .075 .000
value minus 1, and the largest cutoff value is the maximum 3.6350 .083 .000
observed test value plus 1. All the other cutoff values are the 3.6950 .092 .000
averages of two consecutive ordered observed test values. 3.7550 .108 .000
3.7750 .117 .000
3.7850 .125 .000
3.7950 .133 .000
3.8850 .142 .000
4.0100 .150 .000
 Punctul de optim l-am calculat în Excel – SPSS nu calculează automat valoarea de prag sau valorile de
prag posibile pentru diferite metode de optim.

Prag Distanța Suma

Se Sp
V. Criteriu minimă maximă
Pentru a determina optimul putem calcula distanța minimă față
5.23 0.641 0.88 0.378 1.521 de punctul ideal (de coordonate (0,1) din graficul ROC) sau metoda
…. …. … ….. …..
5.495 0.733 0.771 0.351 1.504
a doua, valoarea maximă a Se+Sp-1 (de ce -1 ??).
5.515 0.742 0.759 0.353 1.501
5.525 0.742 0.747 0.361 1.489 J=Max{Sec+Spc-1}, este condiția Youden (1950)
5.54 0.75 0.747 0.355 1.497 Indicele c reprezintă perechile Sp, Se calculate conform cu
…. …. … …. …. valorile de prag ale variabilei criteriu.

Alternativă aplicația R pachetul pROC (se pot face și comparații între curbe și pe subdomenii).
 Exemplu practic – R pachetul pROC
Pentru analiza calităţii unui test de diagnostic trebuie să avem creat un tabel de date ce să cuprindă două
coloane cu următoarele informaţii:
1 – valoarea ideală a testului (exprimă prezenţa afecțiunii, codificată de obicei cu 1 respectiv 0)
2 – valorile de tip numeric real, ce reprezintă evaluarea testului.

Pentru analiza curbei ROC vom folosi pachetul pROC ce poate fi instalat gratuit în aplicația R. Am folosit
interfața Rstudio care ajută în scrierea comenzilor și prezentarea rezultatelor.
Vom încărca pachetul cu comanda:
> library(pROC)

În continuare vom încărca tabelul de date ce conține cele două coloane numite Vbiol respectiv Afectiune. Ne
folosim de forma interactivă:
> data_1=read.delim(file.choose(), sep = "\t", header=TRUE)

Menționăm că datele au fost exportate din Excel în format text cu delimitare tab.
Vom reprezenta grafic curba ROC - pentru buna înțelegere vom scrie comanda și efectul va fi ușor sesizat
prin reprezentarea grafică. Creăm un obiect roc:
> roc1 <- roc(data_1$Afectiune,data_1$Vbiologic, plot=TRUE)
 Iată rezultatul obținut – graficul alăturat

Continuăm să adăugăm opțiuni – calculăm intervalul de confidență al ariei

de sub curbă:
> roc1 <- roc(data_1$Afectiune,data_1$Vbiologic, plot=TRUE,ci=TRUE)
> roc1
Call:
roc.default(response = data_1$Afectiune, predictor = data_1$Vbiologic,
ci = TRUE, plot = TRUE)

Data: data_1$Vbiologic in 83 controls (data_1$Afectiune 0) > 120 cases

(data_1$Afectiune 1).
Area under the curve: 0.8017
95% CI: 0.742-0.8614 (DeLong).
Avem intervalul de confidență calculat – il putem folosi ca și în cadrul testelor de ipoteză pentru a compara
suprafața de sub curbă cu cea a unui sistem aleator (valoarea AUC este 0,5). În cazul nostru acest interval de
confidență nu conține valoarea 0,5 ceea ce înseamnă că avem semnificație statistică, astfel sistemul nostru
decizional este diferit de cel aleator deci este util.
Putem folosi și comenzile:
> ci.auc(roc1,conf.level=0.99,method="bootstrap")
99% CI: 0.7186-0.8695 (2000 stratified bootstrap replicates)
> ci.auc(roc1,conf.level=0.99,method="delong")
99% CI: 0.7232-0.8802 (DeLong)

Putem în continuare calcula intervalul de confidență al curbei ROC:

> sens.ci <- ci.se(roc1, specificities=seq(0, 100, 5)/100)
> sens.ci
95% CI (2000 stratified bootstrap replicates):
sp se.low se.median se.high
0.00 1.0000 1.0000 1.0000
0.05 0.9750 0.9917 1.0000
0.10 0.9583 0.9917 1.0000
………………………….
1.00 0.1667 0.2583 0.4083

Reprezentăm grafic acest interval:

> plot(sens.ci, type="shape", col="lightyellow")
 Calculăm punctul de optim.

> coords(roc1, "best", ret=c("threshold", "sensitivity", "specificity")) implicit "best" =Youden

threshold sensitivity specificity
5.2300000 0.6416667 0.8795181
> coords(roc1, "best", ret=c("threshold", "sensitivity", "specificity"), best.method=c("closest.topleft"))
threshold sensitivity specificity
5.4950000 0.7333333 0.7710843

În continuare vom reprezenta grafic curba ROC folosind mai

multe opțiuni.
> plot(roc1, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1,
0.1), auc.polygon.col = "lightyellow", print.thres = "best",
print.thres.best.method = "closest.topleft", xlab="Specificitate",
ylab="Sensibilitate")
Compararea a două curbe ROC

Avem două variabile V1 respectiv V2 și afecțiunea (0,1).

Definim cele două obiecte roc:
> roc1 <- roc(data_1$Afectiune,data_1$V1, plot=TRUE)
> roc2 <- roc(data_1$Afectiune,data_1$V2, plot=TRUE)

> roc.test(roc1, roc2, method="bootstrap", paired=TRUE)

Bootstrap test for two correlated ROC curves

ROC1
data: roc1 and roc2
D = -4.755, boot.n = 2000, boot.stratified = 1, p-value = 1.984e-06
alternative hypothesis: true difference in AUC is not equal to 0
sample estimates:
AUC of roc1 AUC of roc2
0.8017068 0.9597390 ROC2
 ROC1 ROC2
threshold sensitivity specificity threshold sensitivity specificity
5.495 0.7333 0.771 6.665 0.817 0.916
VĂ MULȚUMESC !