VALIDITATEA TESTELOR PSIHOLOGICE

Definiia validitii
modalitatea n care un test msoar ceea ce i propune s msoare (Anastasi, 1976).

trebuie atribuit ntotdeauna inferenelor fcute pe baza performanelor la un test validitatea determin relaia dintre inferenele fcute pe baza performanelor la un test i realitate

Validarea
Validarea implica un proces de culegere de informatii despre test si evaluarea lor Autorii testului ofera aceste informatii in manual. Utilizatorii pot sa realizeze studii de validare.

Validare:
Utilizatorul realizeaza validare:
~ ~

Schimba formatul testului, instructiunile, limbajul sau continutul testului Daca populatia evaluata difera de cea pe care s-a validat testul

Cum se determina validitatea?

~ ~ ~

Analizand continutul. Relatia dintre test si alte teste sau masuratori. Cum se structureaza testul dupa aplicare.

Formele validitii
validitate de coninut validitate de criteriu validitate de construct (Anastasi, 1976; Cohen, et. all, 2000) validitatea de aspect = ceea ce un test pare s msoare, mai degrab dect ceea ce msoar (APA, 1974)

modul n care persoana evaluat percepe itemii testului Dac persoana evaluat apreciaz c testul msoar ceea ce i propune, spunem c testul are o validitate de aspect ridicat Nu este un criteriu important pentru inferenele pe baza unui test

A. Validitatea de criteriu (validitate empiric)

Indic msura n care testul este un bun predictor pentru un eantion de comportamente viitoare Compararea scorurilor la test cu alte criterii cantitative definite Testul poate sau nu s msoare acelai construct Performana la un test (predictor) trebuie raportat la o alt performan pe care o numim criteriu Criteriul este definit ca standardul la care este raportat performana la un test. Un test psihologic este adecvat dac este relaionat cu un criteriu i deci poate fi considerat un bun substitut al criteriului - testul este predictor pentru criteriul respectiv

Caracteristicile unui criteriu

reprezint o msur direct i independent a ceea ce testul dorete s prezic Condiii:

s fie relevant pentru activitatea sau caracteristica la care se refer s fie fidel, adic s fie congruent cu evaluri diferite ale performanelor la care se refer, evaluri realizate la momente diferite s fie practic Sa fie necontaminat s fie exprimat n aceleai uniti pentru toate persoanele

Exemple de criterii utilizate n analizarea validitii testelor care vizeaz constructe - Anastasi
vrsta se folosete ca i criteriu n cazul constructelor ce vizeaz procese care cunosc o maturizare performanele colare sunt un criteriu bun pentru testele de cunotine sau pentru testele care evalueaz aptitudini colare performanele la diverse programe de instruire special (muzic, sport, etc.) sunt criterii adecvate pentru testele de aptitudini speciale rezultatele altor teste se utilizeaz adesea ca i criteriu n construirea de noi teste grupele contrastante

Tipuri de validitate de criteriu

1. Validitatea predictiv = acurateea cu care putem estima n ce msur o anumit caracteristic sau aptitudine a unei persoane se va manifesta n viitor pe baza msurii n care persoana posed o serie de caracteristici sau aptitudini curente Predicia este procesul de stabilire a unor expectaii despre viitor avnd la baz date / evenimente curente: datele actuale = predictori variabilele care descriu performana se numesc criteriu

Principii ale prediciei

a.

Abordarea pe baz de trsturi are la baz principiul deductiv nomologic (principiul DN) din teoria tiinei (Stegmuller, 1974) asumpia c exist un numr de relaii bine precizate ntre trsturile unei persoane i activitile pe care persoana le desfoar, relaii exprimate n forma legilor psihologice

b. Abordarea pe baza generalizrii comportamentului = o generalizare a comportamentului observat ntrun eantion de situaii la un o alt situaie similar cu cele din eantionul ales are la baz o similaritate mai mare ntre predictor i criteriu, fapt ce poate determina o mai bun predicie

Diferene: n primul caz se relaioneaz o caracteristic durabil a unei persoane (ceva ce persoana are) cu activitatea sa (ceva ce persoana face) A doua abordare nu ia n considerare trstura, ea relaioneaz comportamente (ce face o persoan cu altceva ce face)

Similariti: au la baz asumpia c exist o stabilitate a comportamentului

2. Validitatea concurent = rezultatele predictorului (testului) sunt obinute simultan cu rezultatele la criteriu Exprim n ce msur scorurile la test pot fi utilizate pentru a estima performana actual a unei persoane la un anumit criteriu

Validarea predictiv: presupune existena unui interval de timp ntre test i verificarea criteriului validarea predictiv vizeaz evoluia sa n viitor

Validarea concurent: presupune obinerea scorurilor la criteriu aproximativ n acelai timp cu scorurile la test are ca scop rezolvarea unei probleme privind starea actual a subiectului exprim n ce msur scorurile la test pot fi utilizate pentru a estima performana actual a unei persoane la un anumit criteriu

Coeficienii de validate
coeficienii de corelaie ntre scorurile la predictor i scorurile la criteriu Valoarea coeficientului de validitate al testelor utilizate pentru a face predicii este cuprins ntre 0 i 0,60 La testele de personalitate coeficientul de validitate aprox. 0,40

Validarea de criteriu
Cum se comporta testul comparativ cu altele destinate sa masoare acelasi lucru Utilitatea diagnostica

Evaluarea instrumentelor psihologice

Caracteristici funcionale versus structurale
Caracteristici funcionale
Cum se comport instrumentul comparativ cu altele care sunt destinate s msoare acelai construct? Care este utilitatea diagnostic a instrumentului?

Caracteristici structurale
Structura instrumentului este consistent cu prediciile teoretice? Analiza factorial

Validarea de criteriu pentru teste diagnostice dihotomic

In ce masura pe baza rezultatului la test putem decide daca subiectul are un diagnostic (ex. Depresie, anxietate)? In ce masura pe baza rezultatului la test putem decide daca subiectul are o boala ? Analiza pe baza teoriei detectarii semnalului

Utilitatea diagnostica
Cum se analizeaza? Conditii: doua instrumnete:
Unul standard Unul experimental

Algoritm de analiza

Rezultatul la un test pe care dorim sa il validam Pozitiv Prezent (da) Criteriu Diagnostic Absent (nu) AP (Adevrat pozitiv) (Hit) FP (Alarme false) (False Alarm) Negativ FN (Fals negativ) (Miss) AN (Adevrat negativ) (True Negative)

Utilitatea diagnostic
CONCEPTE: Adevrai pozitivi (Hits) - AP Adevrai negativi - AN Fali pozitivi (false alarm) - FP Fali negativi (Miss) - FN Utilitatea diagnostic

Instrument foarte sensibil

Sensibilitatea = AP/(AP+FN)= 1 Test Da Nu

Criteriu

Da

Nu

80 10

0 20

Instrument putin sensibil la nivelul sansei!

Sensibilitatea =AP/(AP+FN)= 0,5 Test Da Nu

Criteriu

Da

Nu

50 0

50 0

SPECIFICITATEA
Specificitatea =AN/(AN+FP)= 1 Test Da Nu

Criteriu

Da

Nu

20 0

0 80

PUTEREA DE PREDICIE POZITIV

PPP =AP/(AP+FP)= 1 Test Da Nu

Criteriu

Da

Nu

80 0

10 20

PUTEREA DE PREDICIE NEGATIV

PPN =AN/(AN+FN)= 1 Test Da Nu

Criteriu

Da

Nu

15 15

0 10

UTILITATEA TESTULUI
UTILITATEA =AP + AN/ N = 0,62 Test Da Nu

Criteriu

Da

Nu

15 15

0 10

Prag de decizie diagnostica

Cum se stabilieste care este scorul la care putem decide daca subiectul are sau nu un diagnostic? (da nu) Care este pragul la care vom decide? Verificarea utilitatii pragului se face pe baza teoriei detectarii semnalului Relatia dintre sensibilitate si specificitate

ROC Curba
100

1 2

Cut-off ideal

% Sensibilitate

Random QROC

% Specificitate

100

ROC Curba
100

1 2

Cut off ideal

% Sensibilitate

Random QROC

% Specificitate

100

Exemplu
Higher Cutoff Point on Dementia Screening Test Recommended for Educated Patients CME
News Author: Pauline Anderson CME Author: Hien T. Nghiem, MD Clinicians should send older, well-educated white patients for cognitive evaluation if they score less than 27 on the Mini-Mental State Examination (MMSE) rather than use the traditional cutoff point of 24, results of a new study suggest.

The study found that raising the cutoff point to 27 increased the sensitivity for detection of dementia to 89% (from 66% using a cutoff value of 24), although it lowered the specificity from 99% to 91%.

PTSD

Rezultatul la testul CPS Pozitiv Negativ 100 8 FN (Miss) 36 AN (True Negative) N = 150

Prezent Criteriu Diagnostic DSM Absent

AP (Hit) 6 FP (False Alarm)

Teoria detectrii semnalului

Sensibilitate = Adevrai pozitivi Adevrai pozitivi + Fals negativi Specificitate = Adevrai negativ Adevrai negativ + False alarme Puterea de predicie AP pozitiv = AP + False Alarme Puterea de predicie negativ = Adevrai negativ Adevrai negativ + Fali negativ Utilitatea Diagnostic Adevrai pozitiv + Adevrai negativ N

.93 .86 .94 .81 .91

DEPRESIE
Pozitive 87 Prezent DSM DEPRESIE AP

SCALA BECK Negativ 21 FN

1 Absent FP

41 AN

N = 150

Teoria detectrii semnalului

Sensibilitate =

Specificitate =

Puterea de predicie pozitiv = Puterea de predicie negativ =

Utilitatea Diagnostic