Evaluare psihologic metode psihometrice curs 6

2.4. Validitatea incremental

Acest tip de validitate se refer la capacitatea instrumentului de a oferi informaii
suplimentare n comparaie cu celelalte instrumente deja existente ce evalueaz acelai construct.
Formele de validitate descrise anterior vizeaz anumite caliti intrinseci ale instrumentului
(coninutul itemilor si, relevana pentru un criteriu exterior, potrivirea cu prediciile teoretice ale
ariei psihologice din care face parte constructul). Cea incremental nu se raporteaz la o alt
faet a instrumentului, ci are n vedere plusul fa de celelalte instrumente pe care l aduce
instrumentul pe aceste dimensiuni ale validitii.
Cele mai frecvente evaluri ale validitii incrementale se realizeaz asupra a dou dintre
faetele validitii concurente, i anume cea predictiv i cea discriminativ. n primul rnd, un
instrument nou ar trebui s permit predicia mai precis a unor comportamente reale ale
individului (care reprezint criteriul de validare pe aceast dimensiune a validitii predictive). n
al doilea, el ar trebui s indice mai bine diferenele dintre oamenii care posed acea caracteristic
psihologic la un nivel ridicat i cei care nu o posed (cei de la polul opus) i, deci, s ofere
diagnostice mai precise, identificnd mai corect indivizii din cele dou categorii. n sintez, se
consider c un instrument are validitate incremental dac permite creterea corectitudinii
diagnosticului i a prediciilor fcute pe baza instrumentului.
2.4.1. Validitatea incremental predictiv este evaluat prin analiza capacitii
instrumentului de a crete corectitudinea prediciilor care pot fi fcute prin utilizarea sa cu privire
la anumite comportamente reale (criterii). Tehnic, instrumentul are validitate incremental
predictiv dac el duce la identificarea unei proporii mai mari a cauzelor diferenelor dintre
subieci n ceea ce privete criteriul. Acest aspect este examinat prin metoda statistic a regresiei,
analiznd creterea procentului de varian explicat a criteriului prin introducerea respectivului
instrument ca predictor. Dac el explic un procent mai mare de varian dect celelalte
instrumente deja existente, nseamn c diferenele dintre oameni la scorurile sale sunt n mai
mare msur asociate cu diferene n privina respectivului comportament. Deci, el ajut mai
mult dect celelalte instrumente n predicia msurii n care oamenii vor realiza acel
comportament, avnd astfel validitate incremental.
b. Validitatea incremental discriminativ
n cursul despre validitatea de criteriu, cea discriminativ (ca form a acesteia) a fost
definit ca fiind capacitatea instrumentului de a separa corect oamenii din cele dou tipuri
extreme dup criteriul trsturii msurate. Dat fiind faptul c n cazul validitii incrementale
trebuie comparate mai multe instrumente dup acest criteriu al separrii corecte, simpla diferen
dintre grupuri nu mai este suficient. De aceea, pentru evaluarea diferenierii ntre grupurile
cunoscute la mai multe instrumente (cel nou i cele deja existente), a fost elaborat o abordare
mai complex a validitii discriminative n general (cu aplicaii directe n cea incremental),
1

Evaluare psihologic metode psihometrice curs 6

care este focalizat pe corectitudinea diagnosticului ce poate fi pus prin folosirea acelui
instrument.
n practic, instrumentele au un etalon ce permite identificarea de niveluri ale acelei
caracteristici psihologice, i deci diagnosticarea oricrui individ care le completeaz prin
includerea sa ntr-o categorie. Decizia cu privire la aceasta se ia prin compararea scorului total cu
etalonul; de exemplu, un instrument care evalueaz intensitatea depresiei i care mparte oamenii
n dou categorii (depresie prezent / absent) ar putea avea scorul de demarcaie ntre cele dou
25. n acest caz, toi subiecii cu scor mai mare dect 25 ar fi diagnosticai ca depresivi, iar cei cu
scor sub 25 ca non-depresivi. n general, aceast abordare se aplic pe instrumentele similare
cu cel din acest exemplu, adic cele care ofer o evaluare n termeni bipolari: fie prezena
trsturii (diagnostic pozitiv), fie absena sa (diagnostic negativ).
Validitatea discriminativ este analizat, n aceast abordare, pe baza a dou dimensiuni,
i anume sensibilitatea i specificitatea instrumentului.
a. Sensibilitatea nseamn procentul de identificri pozitive corecte; de exemplu, dac
dintre 100 de depresivi instrumentul ar diagnostica ca depresivi pe 80, atunci sensibilitatea sa ar
fi de 0,8. Termenul de sensibilitate sugereaz tocmai aceast idee, a gradului n care
instrumentul poate detecta trstura pe care o evalueaz (deci, este sensibil la ea). Deci,
sensibilitatea se calculeaz n etapa de pretestare (ce necesit aplicarea instrumentului pe oameni
din cele dou categorii diagnostice de exemplu, depresivi i non-depresivi) ca raport dintre
numrul de identificri pozitive corecte i numrul total de indivizi care au trstura. n aplicarea
viitoare a acelui instrument, ea indic probabilitatea de a obine un diagnostic pozitiv corect n
populaia cu acea trstur (true positives).
b. Specificitatea nseamn procentul de identificri negative corecte; de exemplu, dac
dintre 100 de oameni care nu au depresie, instrumentul ar diagnostica ca non-depresivi pe 40,
atunci specificitatea ar fi de 0,4 (implicit, el ar grei la 60 dintre ei, diagnosticndu-i ca
depresivi). Termenul de specificitate sugereaz necesitatea ca instrumentul s fie specific n
diagnosticarea trsturii, adic diagnosticul pozitiv s fie limitat la oamenii care chiar au acea
trstur, s fie specific lor, i s nu fie aplicat i pe cei de la polul opus. n pretestare,
specificitatea se calculeaz ca raportul dintre numrul de identificri negative corecte i numrul
de indivizi care nu au acea trstur. n aplicarea viitoare a acelui instrument, ea indic
probabilitatea de a obine un diagnostic negativ corect n populaia care nu posed acea trstur
- true negatives.
Deoarece n psihologie nu exist instrumente perfecte, cele dou dimensiuni sunt
dependente reciproc, n sensul c creterea sensibilitii (prin schimbarea punctului de tiere, de
separare a celor dou categorii, al scorurilor la instrument) duce la scderea sensibilitii: cu ct
cretem probabilitatea de a detecta oamenii care posed acea trstur, cu att mai mult ne
asumm riscul de a diagnostica pozitiv ca avnd acea caracteristic i oameni care, n
realitate, nu o posed. De exemplu, dac vrem s detectm toi oamenii care au acea trstur,
mutnd punctul de tiere n jos (de exemplu, la un instrument de evaluare a depresiei ce
genereaz scoruri de la 1 la 10, am putea stabili linia de demarcaie ntre cele dou categorii la 2,
2

Evaluare psihologic metode psihometrice curs 6

cei cu scoruri peste aceasta fiind diagnosticai ca depresivi), atunci este foarte probabil s
diagnosticm pozitiv i mare parte din cei care nu au acea trstur.
Analiza validitii discriminative a unui instrument presupune i aceast investigare a
punctului de tiere optim pentru a respecta obiectivele legate de specificitate i sensibilitate.
Tehnic, o metod de examinare a sa este ROC (Receiver Operating Characteristic). Ea
calculeaz cei doi parametri pentru fiecare scor al testului, considerat ca punct de tiere:
- Sensibilitatea indicnd procentul de indivizi care posed acea trstur care au scorul
mai mare dect acel punct de tiere, deci procentul identificrilor pozitive corecte (n exemplul
precedent, procentul de subieci depresivi cu scor peste 2);
- 1 specificitatea aici, tehnica genereaz parametrul opus sensibilitii, aa cum a fost
definit teoretic; acest parametru indic procentul de indivizi care nu posed acea trstur i
care au, totui, scorul la test mai mare dect acel punct de tiere (n exemplul anterior, procentul
de depresivi care au i ei scorul mai mare de 2 i care ar fi diagnosticai greit de instrument ca
fiind depresivi). Deci, el arat procentul identificrilor pozitive eronate, care este inversul
specificitii (procentul identificrilor negative corecte): dac din 100 de indivizi care nu au
depresie, 40 sunt diagnosticai (greit) ca avnd aceast caracteristic, atunci instrumentul ofer
un diagnostic negativ corect pentru restul de 60.
Cei doi parametri sunt reprezentai grafic, calculndu-se aria de sub curb, ce
reprezint indicatorul de baz al validitii discriminative a testului. Aceast arie trebuie s fie
semnificativ mai mare dect linia diagonal de reper, corespunztoare valorii medii de 0,5, adic
ghicirii la ntmplare a celor care au acea trstur. Aplicnd aceast metod a ghicirii,
probabilitatea de a oferi un diagnostic corect unui individ este de 50% - din moment ce
caracteristica respectiv are 2 posibiliti (de exemplu depresiv non-depresiv) -, indiferent dac
el este sau nu depresiv n realitate.

Linia de reper

Aria de sub curb

Evaluare psihologic metode psihometrice curs 6

Aria de sub curb este calculat pe baza sensibilitii i specificitii calculate pentru
fiecare scor total la instrument; acestea sunt prezentate comparativ ntr-un tabel ca cel urmtor:
Coordinates of the Curve
Test Result Variable(s): scor test 1
Positive if
Greater Than
a
or Equal To
1.0000
2.5000
3.5000
4.5000
5.5000
6.5000
7.5000
8.5000
10.0000

Sensitivity
1.000
1.000
.926
.721
.588
.485
.368
.132
.000

1 - Specificity
1.000
.939
.879
.576
.364
.121
.121
.030
.000

The tes t res ult variable(s ): scor test 1 has at least one tie
between the positive actual s tate group and the negative
actual state group.
a. The smallest cutoff value is the minimum
observed test value minus 1, and the largest cutoff
value is the maximum observed test value plus 1.
All the other cutoff values are the averages of two
consecutive ordered obs erved test values .

Prima coloan conine fiecare dintre posibilele puncte de tiere ce ar putea face diferena
ntre cele dou categorii, derivate din scorurile totale ale instrumentului; a doua conine
sensibilitatea obinut dac punctul de tiere ar fi stabilit la acea valoare, iar ultima conine
indicatorul 1 specificitatea, rezultat n aceeai situaie. De exemplu, punctul de tiere ar fi
stabilit la 6,5, atunci sensibilitatea ar avea valoarea 0,485, adic 48,5% dintre subiecii care au n
realitate depresie ar fi diagnosticai ca atare; parametrul 1 specificitatea ar fi 0,121, deci 12,1%
dintre oamenii care nu au n realitate depresie ar fi identificai de test ca fiind depresivi
(specificitatea ar fi de 87,9%).
Tabelul urmtor conine valoarea ariei de sub curb i testarea semnificaiei diferenei
sale fa de 0,5 (ghicirea la ntmplare).
Area Unde r the Curve
Test Result Variable(s): scor tes t 1

Area
.662

St d. E rror
.055

As ymptotic
b
Sig.
.008

As ymptotic 95% Confidenc e

Int erval
Lower Bound Upper Bound
.770
.554

The tes t result variable(s): s cor test 1 has at leas t one tie bet ween the
positive ac tual state group and t he negative actual st ate group. S tatis tic
may be biased.
a. Under the nonparametric as sumption
b. Null hy pothesis : true area = 0.5

Valoarea Asymptotic Sig este mai mic dect 0,05, deci instrumentul ofer o clasificare
semnificativ mai bun dect ghicirea. Valoarea ariei de sub curb este 0,662; ea indic
4

Evaluare psihologic metode psihometrice curs 6

probabilitatea ca un individ care are, n realitate, acea trstur s obin un scor diferit (n acest
caz, mai mare) la instrument dect unul care nu o posed. Acest indicator sintetizeaz validitatea
discriminativ a instrumentului, deoarece cu ct el este mai mare, cu att acesta face diferena
mai precis ntre oamenii din cele dou categorii. Dac valoarea ariei de sub curb este maxim
(1) atunci ar fi sigur (probabilitate de 100%) c orice subiect depresiv ar obine un scor mai mare
dect orice non-depresiv. Dac ea ar fi redus (apropiat de 0,5), ar nseamna c probabilitatea ca
oamenii care au acea trstur s obin scoruri mai mari dect cei care nu o au este la fel cu cea
ca ei s obin scoruri mai mici. Aadar, instrumentul nu ar diferenia ntre cele dou grupuri i
nu ar putea fi folosit pentru a decide dac un individ are sau nu acea trstur (validitatea sa
discriminativ ar fi, n consecin, una redus).
Aplicaii ale tehnicii ROC
1. evaluarea validitii incrementale, prin compararea validitii discriminative a noului
instrument cu cea a unui instrument deja existent. Practic, aceast situaie presupune alegerea
instrumentul cu cea mai mare arie de sub curb.
De exemplu, presupunem c folosim dou instrumente pentru evaluarea depresiei,
aplicate pe un lot de subieci crora le cunoatem diagnosticul (ca fiind depresivi sau nondepresivi).
Procedurile n SPSS sunt: Analyse ROC Curve; Standard error and confidence
interval; Coordinate points of the ROC curve; Value of state variable: 2 (codul depresivilor n
baza de date).
Rezultatele calculrii ariilor de sub curb indic faptul c testul 2 (al crui parametru este
0,991, deci exist o probabilitate de 99,1% ca un depresiv s aib scorul la testul 2 mai mare ca
un non-depresiv) are o arie mai mare, i d eci o validitate discriminant mai bun, chiar dac
ambele ofer o clasificare semnificativ mai bun dect ghicirea:
Area Under the Curve

Test Result Variable(s)

scor test 1
scor test 2

Area
.662
.991

Std. Error
.055
.007

As ymptotic
b
Sig.
.008
.000

As ymptotic 95% Confidence

Interval
Lower Bound Upper Bound
.554
.770
.978
1.005

The tes t result variable(s): s cor test 1, scor test 2 has at least one tie between the positive actual
state group and the negative actual s tate group. Statis tics may be bias ed.
a. Under the nonparametric as sumption
b. Null hypothesis : true area = 0.5

2. Identificarea punctului optim de tiere al scorurilor la test n funcie de scopul

utilizrii instrumentului (screening sau diagnostic)
- dac instrumentul urmeaz a fi folosit n scop diagnostic, atunci este important
echilibrarea, pe ct posibil, a celor dou dimensiuni (sensibilitatea i specificitatea)
5

Evaluare psihologic metode psihometrice curs 6

- dac instrumentul urmeaz a fi folosit n scop de screening, adic de detecie a
oamenilor care ar putea avea acea trstur, atunci ne putem asuma riscul includerii unora care
nu o au; acetia vor fi identificai de evalurile ulterioare de profunzime. De exemplu, n
populaia de adolesceni poate fi important detecia celor care ar putea avea ideaii suicidare la
orice nivel, indiferent ct de slab ar fi el, chiar dac am include n aceast categorie i un numr
ridicat de adolesceni care nu au, n realitate, astfel de ideaii. Deci, pentru a atinge acest obiectiv
al deteciei maxime, sunt necesare valori mari ale sensibilitii instrumentelor.
Revenind la exemplul urmtor, valorile celor doi parametri ai instrumentului 2 sunt:
Coordinates of the Curve
Test Resul t Variable(s): scor test 2
Positive if
Greater Than
a
or Equal To
.0000
1.5000
2.5000
3.5000
4.5000
5.5000
6.5000
7.5000
8.5000
9.5000
11.0000

Sensiti vity
1.000
1.000
1.000
1.000
1.000
.926
.706
.412
.103
.015
.000

1 - Specificity
1.000
.909
.697
.455
.121
.030
.000
.000
.000
.000
.000

The tes t res ult variable(s ): scor test 2 has at least one tie
between the positive actual s tate group and the negative
actual state group.
a. The sm allest cutoff value is the m inim um
observed test value minus 1, and the largest cutoff
value is the maximum observed test value plus 1.
All the other cutoff values are the averages of two
consecutive ordered obs erved test values .

n scop diagnostic, valoarea recomandabil a punctului de tiere ar fi aici 5,5, deoarece

astfel am obine o sensibilitate i specificitate de peste 0,9 (aproape egale). Deci, peste 90% din
depresivi ar fi identificai ca atare, i peste 90% din non-depresivi nu ar fi diagnosticai ca avnd
depresie (i ei primind, deci, diagnosticul corect). n scop de screening, valoarea recomandabil
ar fi de 4,5, deoarece ea ne-ar oferi o sensibilitate maxim (chiar i cu o diminuare a specificitii
fa de pragul anterior de 5,5.
Valorile celor doi parametri ai instrumentului 1 sunt:

Evaluare psihologic metode psihometrice curs 6

Coordinates of the Curve
Test Result Variable(s): scor test 1
Positive if
Greater Than
a
or Equal To
1.0000
2.5000
3.5000
4.5000
5.5000
6.5000
7.5000
8.5000
10.0000

Sensitivity
1.000
1.000
.926
.721
.588
.485
.368
.132
.000

1 - Specificity
1.000
.939
.879
.576
.364
.121
.121
.030
.000

The tes t res ult variable(s ): scor test 1 has at least one tie
between the positive actual s tate group and the negative
actual state group.
a. The smallest cutoff value is the minimum
observed test value minus 1, and the largest cutoff
value is the maximum observed test value plus 1.
All the other cutoff values are the averages of two
consecutive ordered obs erved test values .

Aici, scopul diagnostic poate fi urmrit prin stabilirea punctului de tiere la 5,5, deoarece
el echilibreaz cel mai mult cei doi parametri: 0,588 la sensibilitate i 0,636 la sensibilitate (10,364). n scop de screening punctul de tiere ar putea fi stabilit la 2,5, ceea ce ar asigura
sensibilitatea maxim, ns specificitatea ar fi extrem de redus (de doar 0,061, deci peste 90%
din oamenii care nu au depresie ar fi diagnosticai greit ca avnd). Acest procent extrem de
mare al identificrilor pozitive eronate face ca instrumentul 1 s fie mai puin recomandat pentru
screening.
Bibliografie

Aiken, L.R. (2000). Psychological testing and assessment, (10th edition), Allyn and Bacon

Bohrnstedt G. (1983). Measurement. n Rossi PH, Wright JD, Anderson AB (Eds.) Handbook of Survey
Research. Orlando , FL : Academic Press

Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in scale development. Psychological
Assessment, 7, 309-319.

Cohen, R., Swerdlik, M., & Smith, D. (2009). Psychological testing and assessment: An introduction to
tests and measurements (7th ed.). New York: McGraw-Hill

Fischer J., Corcoran K. (2007). Measures for clinical practice: A sourcebook. 4nd Ed., New York: Oxford
University

Havrneanu, C. (2000). Cunoaterea psihologic a persoanei, Iai, Polirom

Kerlinger, F.N. (1986). Foundations of behavioral research (3rd ed.) New York: Holt, Rinehart and
Winston.

Nunnally, J., Bernstein, I. (1994) Psychometric Theory. New York: McGraw Hill, 3rd ed.

Switzer, G., et al. (2000). Measurement issues in intervention research. n R. Schulz (Ed.), Handbook on
dementia caregiving: Evidence-based interventions for family caregivers. New York: Springer

Urbina. S. (2004). Essentials of Psychological Testing, John Wiley & Sons, Inc.