Documente Academic
Documente Profesional
Documente Cultură
2 VALIDITATEA TESTELOR
Definiia validitii
Evaluarea psihologic vizeaz o anumit realitate fie intern, fie extern. Numim domeniu de
evaluare orice realitate (intern sau extern) care este supus evalurii. n orice proces de
evaluare psihologic pornim de la definirea domeniului de evaluare i apoi propunem o serie
de modaliti cantitative prin care observm dac indivizii posed sau nu caracteristicile
domeniului respectiv. Deoarece definirea domeniului poate s fie mai mult sau mai puin
corect ne punem ntrebarea dac aptitudinile /caracteristicile msurate de test corespund
domeniului de evaluare. Astfel, pentru ca testul s fie considerat o msur bun a domeniului
de evaluare este necesar s obinem o serie de informaii care s reflecte faptul c testul
msoar ceea ce i-a propus. Din aceste cerine decurge problema validitii unei msurtori.
Orice instrument de evaluare psihologic trebuie s satisfac cerinele validitii. Tradiional,
definiia cea mai des ntlnit a validitii este modalitatea n care un test msoar ceea ce i
propune s msoare (Anastasi, 1976). Validitatea se refer deci la relaia dintre scorul obinut
la un test i un anumit criteriu sau o performan extern. Acest criteriu poate s aparin
oricrui domeniu; poate include selecia de personal, reuita colar sau nosologia clinic.
Aspecte
Observaii
*
Scopul validrii este acela de a prezice esteimportant a se cunoate dac scorurile
o performan viitoare
Validarea este procesul prin care se obin informaii legate de validitatea unui test.
mai
mic
predictive
pentru
succesele
3.
4.
5.
6.
1923, p.232)
Un test nu are nici o semnificaie nainte ca
acesta s fie validat (Link, 1924)
Hull (1928) susine c pentru a putea prezice
cu mare acuratee un anumit criteriu, trebuie
utilizat o baterie alctuit din 4, 5 sau mai
7.
8.
criteriu.
selectat un criteriu
Metodele psihometrice sunt preferate Evaluatorul nu se va limita la un instrument
metodelor nepsihometrice.
9.
Analiza fcut de Guion (1976) ne ofer o imagine global a ceea ce nsemna la nceputul sec.
xx modaliti tradiionale de realizare a studiilor de validitate a unui instrument de evaluare
psihologic.
O abordare mai recent i poate mai corect a validitii este formulat de APA 1, AERA2,
NCSEPT3 n 1974. Conform standardelor asociaiilor amintite Validitatea se refer la
corectitudinea inferenelor realizate pe baza unui test sau a altei forme de evaluare (p.25).
Altfel spus, dar fiind un set de ntrebri la care dorim s rspundem pe baza unei evaluri
psihologice trebuie s ne verificm ct de corecte (sau valide) sunt rspunsurile (sau
informaiile) oferite de un test psihologic (Ghiselli & all, 1986).
1
- chiar a
performanelor la un test i realitate (este inclus aici orice aspect care este supus evalurii).
Dac analizm definiia dat de Nunnally (1978) validitii, i anume ct de util tiinific
este un instrument de msur observm c i n acest caz este vorba de inferene, sau judeci
realizate pe baza instrumentului respectiv.
Forme ale validitii.
Literatura de specialitate indic diferite tipuri de validitate psihologic. Ele trebuie nelese ca
fiind tehnici, modaliti prin care se ncearc optimizarea unui instrument de msur
psihologic. Modalitatea cea mai des ntlnit n literatura de specialitate (Anastasi, 1976;
Cohen, et. all, 2000) de a concepe validitatea o constituie urmtoarea taxonomie:
validitate de criteriu
validitate de coninut
validitate de construct.
n afara celor trei tipuri de validitate, normele APA analizeaz validitatea de aspect.
Validitatea de aspect este definit ca ceea ce un test pare s msoare, mai degrab dect
ceea ce msoar (APA, 1974). Exprim de fapt modul n care persoana evaluat percepe
itemii testului; ea este important n msura n care poate influena rspunsurile persoanei
examinate la test. Dac persoana examinat apreciaz c testul msoar ceea ce i propune s
msoare de fapt, atunci putem spune c testul are o validitate de aspect ridicat. Conform
Standardelor de Evaluare APA (1974) validitatea de aspect nu constituie
un criteriu
constituie un bun predictor pentru declinul cognitiv la vrsta a treia?. Aceste ntrebri se
adreseaz validitii de criteriu. Adesea acest tip de validitate este ntlnit sub denumirea de
validitate empirica (Lyman, 1998). Validitatea de criteriu indic deci msura n care testul
este un bun predictor pentru un eantion de comportamente viitoare. n acest caz performana
la un test trebuie raportat la o alt performan pe care o numim criteriu.
Criteriul este definit ca standardul la care este raportat performana la un test. Astfel
criteriul poate fi performana unui pilot care conduce un Boeing 767, numrul de zile
petrecut ntr-un spital de psihiatrie, notele obinute de un elev la disciplinele umane,
performana la un alt test. Aa cum se poate observa nu exist reguli stricte pentru ceea ce
numim criteriu. Acesta poate fi un comportament specific sau un grup de comportamente, o
perioad de timp, un diagnostic psihiatric, indicele de absenteism, alcoolemia din snge, etc.
Dei la o prima vedere se poate spune c un criteriu poate constitui orice, acest lucru este
adevrat doar dac criteriul este relevant pentru domeniul de evaluare, dac este
necontaminat, dac este valid i fidel.
Un test psihologic este adecvat dac este relaionat cu un criteriu i deci poate fi considerat un
bun substitut al criteriului. n general numim testul ca fiind predictor pentru criteriul
respectiv.
Caracteristicile unui criteriu.
Criteriul reprezint o msur direct i independent a ceea ce testul dorete s prezic. Astfel
pentru un test de aptitudini mecanice criteriul l poate constitui performana n munca de
mecanic; pentru un test de cunotine criteriul l pot constitui notele colare.
Criteriul trebuie s ndeplineasc cteva condiii (Corsini, 1994):
s fie relevant pentru activitatea sau caracteristica la care se refer; adic ordinea
subiecilor la test s coincid cu ordinea performanei la criteriu;
s fie fidel, adic s fie congruent cu evaluri diferite ale performanelor la care se
refer, evaluri realizate la momente diferite.
s fie practic, adic s nu coste mult;
persoana respectiv performana poate nsemna msura n care simte c este apreciat. Avem
n acest caz de-a face cu mai multe dimensiuni ale unui criteriu. Aceste surse de informaii pot
fi utilizate pentru a prezice fiecare dintre cele dou surse ale criteriului iar validitatea acestora
va fi determinat diferit. Dac un criteriu este adecvat este cel mai adesea o judecat de
valoare (Ghiselli et. all). Putem estima prin diferite modaliti fidelitatea unui criteriu
(stabilitatea acestuia n timp de ex.) ns formularea lui, respectiv coninutul acestuia
constituie cel mai adesea un raionament sau o judecat a celui care realizeaz evaluarea.
n exemplul anterior criteriul aparine viitorului i n momentul evalurii nu este disponibil,
deci avem nevoie de o serie de predictori pentru estimarea acestuia. S presupunem ns c
avem de-a face cu un criteriu care poate fi estimat acum (adic n momentul evalurii).
ntrebarea pe care trebuie s ne-o punem este urmtoarea: avem la dispoziie msurtori
economice ale criteriului care pot fi folosite acum?. Un exemplu de astfel de criteriu este
msura n care o serie de indivizi prezint o form sau alta de tulburare psihic. O analiz
complet a acestei dimensiuni ar dura cteva zile i ar fi neeconomic. Dac n plus sarcina
psihologului este acela de a analiza un numr mare de persoane din prisma acestor criterii ar
trebui gsit o alt modalitate dect cea clinic, complet. Problema cu care ne confruntam
acum este aceea de a gsi o modalitate economic (rapid n timp i necostisitoare) care ar
putea substitui examinarea clinic complet care constituie criteriul.
Exist de multe ori evenimente care s-au petrecut n trecut i care deci nu mai pot fi evaluate
n mod direct. Care este n acest caz predictorul utilizat pentru evaluarea criteriului
(evenimentul trecut)? De exemplu, analiza de ctre medic a unei electrocardiograme
(predictor) poate fi utilizat ca modalitate de a decide dac pacientul respectiv a suferit sau nu
un atac de cord (criteriu). Un alt exemplu care intr n aceast categorie este rolul pe care l
are un judector de a stabili dac un individ a comis o crim n trecut (criteriul) pe baza
prezentrii faptelor la proces (predictor).
nainte de a prezenta diferitele tipuri de validitate de criteriu trebuie reinut urmtoarea
afirmaie. O anumit variabil poate constitui un criteriu ntr-o anumit situaie respectiv
predictor n alt situaie. Ceea ce este astzi criteriu poate s nu mai fie mine.
APA (1974) difereniaz ntre dou tipuri de validitate de criteriu:
validitate predictiv.
validitate concurent
Validitatea predictiv.
Termenul de predicie poate fi utilizat fie n sens larg cnd se refer la predicia unui test
pentru orice situaie, sau n sens restrns cnd se refer la predicie ntr-un interval de timp.
Validitatea predictiv vizeaz cel de-al doilea sens.
Validitatea predictiv este definit ca acurateea cu care putem estima n ce msur o anumit
caracteristic sau aptitudine a unei persoane se va manifesta n viitor pe baza msurii n care
persoana posed o serie de caracteristici sau aptitudini curente (Ghiselli, et. all). De exemplu,
la un examen de admitere la facultate ne poate intereseaz n ce msur aptitudinile de care
dispune acum o persoana sunt predictive pentru performana academic. Pe baza notei la
examenul de admitere (predictor) am putea face o predicie asupra reuitei academice
ulterioare (criteriu).
n practica clinic de exemplu, un test care ar reui s prezic tentativele viitoare de suicid ar
constitui un bun predictor pentru acest criteriu.
Ce este predicia?
Predicia este procesul de stabilire a unor expectaii despre viitor avnd la baza date /
evenimente curente de exemplu desprinderea unor date despre performana viitoare n
munc pornind de la caracteristicile actuale ale unei persoane.
n literatura de specialitate, datele actuale se numesc predictori, n timp ce variabilele care
descriu performana se numesc criteriu.
Principii ale prediciei.
Psihologia personalului, orientat pe selecie ofer 2 modele tiinifice ale prediciei:
abordarea pe baz de trsturi i abordarea pe baza generalizrii comportamentelor
(Wernimont & Campbell, 1968).
Abordarea pe baz de trsturi (figura 1) pornete de la asumpia c exist un numr de
relaii bine precizate ntre trsturile unei persoane i activitile pe care persoana le
desfoar, relaii exprimate n forma legilor psihologice. Aceast abordare are la baz
principiul deductiv nomologic (principiul DN) din teoria tiinei (Stegmuller, 1974). Cnd
pentru un grup de persoane o anumit lege psihologic stabilete c exist o legtur ntre o
caracteristic A a persoanei i un anumit tip de comportament E, putem realiza, pe baza
acestei legi, predicia c o persoan care posed caracteristica A va manifesta comportamentul
E. Principiul nu poate fi aplicat n aceast form simpl din mai multe motive. n primul rnd,
relaia dintre predictor i criteriu este mai degrab una probabilistic i nu determinist.
Astfel, cunoscnd scorul unei persoane la o variabil predictor, putem face doar o inferen
despre scorul la criteriu; aceast inferen se realizeaz cu o anumit probabilitate i nu cu
certitudine. n al doilea rnd, trsturile i caracteristicile comportamentale, nu pot fi msurate
n mod direct, ci ele sunt msurate pe baza unor instrumente care au caracteristici
psihometrice specifice. n al treilea rnd legile dintre trsturi i comportamente trebuie
stabilite foarte clar, fr contradicii logice. Astfel de contradicii ar putea apare atunci cnd
un test ar realiza o predicie a unei performane bune a persoanei, iar un alt test ar prezice o
performan slab.
Caracteristica A
Lege psihologic
Comportamentul E
Ipoteze pe baz de
Ipoteze pe baz de
observaie
observaie
Predicie
Caracteristica a observat
Comportamentul observat e
Eantion de situaii
Reprezentativitate
Reprezentare
Eantion de sarcini
Univers de situaii
Reprezentare
Predicie
Univers de sarcini
Validarea predictiv presupune existena unui interval de timp ntre test i verificarea
criteriului. Pentru un test care are ca scop predicia reuitei colare la scris-citit n clasa I testul
va fi aplicat la intrarea n clasa I, iar criteriul (performanele la scris-citit) va fi verificat fie
dup un semestru, fie la sfritul clasei I.
Studiul de validare al unui test care vizeaz prognoza reuitei la citire n clasa I, trebuie s
parcurg urmtoarele etape (Kulcsar, 1980) (figura 1):
analiza psihologic a activitii de citire; indicarea premiselor psihologice ale
reuitei la citire;
alegerea unui test sau a unor teste psihologice care exploreaz tocmai acele aspecte
psihologice care condiioneaz reuita la citire;
aplicarea testului sau a testelor psihologice destinate prediciei reuitei la citire;
msurarea criteriului, adic evaluarea gradului de nsuire a deprinderii de citire pe
baza notelor colare sau a unor probe de citire elaborate n acest scop;
analiza cantitativ i calitativ a rezultatelor la test i la criteriu; studierea legturii
ntre cele dou categorii de rezultate.
15 septembrie 1980
15 iunie 1981
Aplicarea testului sau a bateriei de teste Msurarea criteriului (notele colare; aplicarea
predictive (la intrarea n clasa I)
15 septembrie 1980
Testare psihologic
15 septembrie 1980
Msurarea criteriului
Dac rezultatele la predictor (test) sunt obinute simultan cu rezultatele la criteriu, msura
relaiei dintre predictor i criteriu o constituie validitatea concurent. Validitatea concurent
exprim deci n ce msur scorurile la test pot fi utilizate pentru a estima performana actual
a unei persoane la un anumit criteriu.
Analiza validitii de criteriu (fie ea predictiv sau concurent) se bazeaz pe dou tipuri de
analize statistice: coeficienii de validitate.
Coeficienii de validate
Validitatea de criteriu a unui test reprezint o modalitate cantitativ i obiectiv a relaiei
dintre scorurile la predictor i scorurile la criteriu. Astfel coeficienii de corelaie sunt o
modalitate de a estima validitatea predictiv. Cnd acetia sunt utilizai pentru a indica relaia
dintre un predictor i un criteriu, ei sunt denumii coeficieni de validitate.
VALIDITATEA DE CONINUT
Validitatea de coninut implic examinarea sistematic a coninutului testului pentru a se
verifica dac testul acoper un eantion reprezentativ din domeniul care se cere a fi evaluat
prin test (Anastasi, 1976). Astfel pentru a vorbi de o validitate de coninut ridicat trebuie ca
itemii care alctuiesc testul s fie reprezentativi pentru ceea ce testul dorete s msoare.
Analiza validitii de coninut a unui test trebuie s surprind:
1. Definirea i descrierea domeniului de coninut a testului. Aceast descriere trebuie s fie
extrem de clar i s includ toate faetele domeniul care se dorete a fi evaluat.
2. Analiza itemilor care sunt inclui n test. Vor trebui s fie eliminai acei itemi care nu
evalueaz aspecte ale domeniului de coninut identificat anterior. Aceast analiz se va
face de ctre experi care pot s aprecieze relevana fiecrui item pentru un domeniu dat.
Validitatea de coninut nu depinde ns de relevana aparent a coninutului itemilor ci de
caracterul relevant al rspunsurilor subiectului la itemi (Anastasi, 1976). Pentru a stabili
validitatea de coninut a testului, orice analiz teoretic trebuie deci s fie confirmat
empiric (Kulcsar, 1980).
3. Compararea structurii testului cu domeniul de coninut. Astfel se va analiza dac itemii
acoper toate aspectele domeniului, respectiv dac ei sunt proporionali n test cu
importana i mrimea fiecrui aspect.
Deoarece acest tip de validare nu reclam metode i modele statistice, ea fcndu-se doar pe
baza de raionamente, o gsim n literatura de specialitate i sub denumirea de validare logic
sau raional (Thorndike, Hagen, 1961).
Validarea referitoare la coninut se impune a fi calculat n urmtoarele cazuri:
1. n cazul testelor de cunotine atunci cnd nu exista un criteriu extern adecvat pentru
analiza validitii de criteriu;
2. n cazul testelor utilizate la msurarea unui atribut ce nu poate fi exprimat printr-un
construct (Murphy & Davidshofer, 1991). De exemplu, se poate descrie cu uurina
domeniul de coninut al unui test construit pentru cunotine de aritmetic la elevii clasei
I, dar este foarte dificil s gsim comportamente prin care aceast caracteristic s poat
fi observat.
3. n cazul testelor care evalueaz performana n munca n scopuri de selecie i clasificare a
angajailor. Acest tip de validare este adecvat cnd testul reprezint un eantion de
comportamente din ceea ce reprezint deprinderile i cunotinele specifice muncii
respective.
ANALIZA DE ITEMI
Care sunt criteriile pe baza crora putem spune c un item este bun?
Aa dup cum putem analiza un test din prisma fidelitii i validitii, la fel putem analiza
conform acestor criterii un item. Mai precis, un item bun discrimineaz ntre dou categorii de
subieci; putem spune de asemenea c un item bun dac performana la item coreleaz cu
performana la test.
Care este procesul pe baza cruia putem analiza itemii? Dup ce am generat itemii, dup ce
acetia au fost aplicai la un eantion de subieci, ne intereseaz n ce msur itemii pe care iam generat pot fi considerai itemi buni, respectiv le care dintre itemi ar trebui s renunm
deoarece nu satisfac criteriile. Totalitatea procedeelor statistice cunoscute sub denumirea de
analiz de itemi servesc scopurilor prezentate. Este important de menionat faptul c analiza
de itemi cuprinde att procedee cantitative ct i procedee calitative.
VALIDITATEA DE CONSTRUCT
Validitatea de construct reprezint msura n care se poate susine c testul msoar o
variabil sau o trstur specific. n termeni generali constructul este sinonim cu acela de
concept (Kline, 1992) fiind utilizat pentru a desemna o serie de fenomene ntr-un cadru
tiinific. El este util atunci cnd poate fi operaionalizat. Dac lum de exemplu conceptul de
specie, el este extrem de util n investigare i clasificare n tiinele naturii. Cu toate aceste
nu exist o entitate distinct pe care putem s o etichetm specie, ea nu poate fi deci
studiat i observat direct. Este doar o categorie, creat n scopul nelegerii diferitelor tipuri
de organisme vii. Constructul este desprins dintr-o teorie psihologic care ofer cadrul menit
s fundamenteze analiza semnificaiei psihologice a rezultatelor la test. Vorbim de validitate
relativ la construct n cazul testelor de personalitate.
Pentru a putea fi utilizat i evaluat, un concept trebuie corect i precis operaionalizat. Aceast
operaionalizare impune descrierea constructului n termeni comportamentali concrei.
Murphy & Davidshofer (1991) identific urmtorii pai n operaionalizarea unui construct:
1. identificarea comportamentelor care au legtur cu constructul;
2. identificarea altor constructe, pentru fiecare decizndu-se dac au sau nu legtur
cu constructul msurat de test;
3. alctuirea pentru fiecare construct a unei liste de comportamente prin care acestea
se exprim. Pentru fiecare comportament, pe baza relaiilor dintre constructe se
decide dac are sau nu legtur cu constructul msurat de test.
Spunem despre un test c are validitate convergent dac evalueaz aceleai constructe ca i
alte teste, adic dac ntre scorurile sale i scorurile altor teste exist o relaie funcional. Un
test are validitate de discriminare dac evalueaz altceva dect alte teste despre care se tie c
se refer la constructe ce nu au legtur cu constructul msurat de test. Acest lucru nseamn
c ntre scorurile la test i scorurile la alte teste sau variabile nu exist o relaie funcional.