P. 1
Curs IV Validitatea

Curs IV Validitatea

|Views: 30|Likes:
Published by sun_flower04

More info:

Published by: sun_flower04 on Apr 11, 2012
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PPT, PDF, TXT or read online from Scribd
See more
See less

11/21/2013

pdf

text

original

Calităţi psihometrice

VALIDITATEA

Dr. Mihaela Minulescu ©

Definiţie

Validarea unui test este procesul prin care se investighează gradul de validitate a interpretării propuse de acesta (APA. Standards 1985); gradul în care testul măsoară ceea ce se presupune a măsura lată deci că validarea nu se mai referă atât la instrumentul în sine, ci la interpretarea datelor furnizate de el. Dar, pentru o interpretare corectă a scorurilor unui test este necesar să fie îndeplinite două condiţii (Albu, 1995):
• să se ştie exact ce reprezintă scorurile testului; • măsurările tăcute de test să fie corecte.

probleme generale şi perene ale validităţii.
      

Măsoară testul ceea ce pretinde? Poate fi utilizat în luarea unor decizii corecte? Cercetăm aspectele avute în vedere de test suficient de echilibrat? S-a pierdut ceva important? Modul de măsurare introduce cumva surse de invalidare sau de variaţie irelevantă care pot influenţa scorurile sau evaluările? Modul ales de scorare reflectă maniera în care se combină procesele domeniului respectiv pentru a produce efecte? Este structura scorului ales consistentă cu structura domeniului asupra căruia trebuie să producem evaluări sau să facem predicţii? Ce dovezi există că scorurile noastre semnifică ceea ce interpretăm că ar semnifica şi, în particular, ca reflectări ale unor caracteristici personale ce au implicaţii plauzibile pentru acţiunea educaţională, de selecţia de personal sau terapeutică?

Azi: transformarea procesului de validare într-o progresivă includere a tot mai multe aspecte practice

 

Există interpretări plauzibile opuse pentru înţelesul scorurilor, sau implicaţii alternative pentru acţiuni şi, dacă există, prin ce dovezi şi argumente au apărut? Sunt evaluările şi scorurile fidele şi sunt ele proprietăţi şi relaţii generalizabile de-a lungul conţinuturilor şi contextelor de utilizare, cât şi pentru grupe de populaţie pertinente? Sunt implicaţiile valorice ale interpretărilor scorurilor fundamentale empiric şi mai ales, au ele şi un aspect peiorativ; sunt co-articulate cu implicaţiile scorurilor trăsăturii respective? Au scorurile utilitate pentru scopurile propuse în şedinţele aplicative? Sunt aplicate corect pentru scopurile avute în vedere? Există consecinţe pe termen lung sau scurt pentru interpretarea scorurilor. Sunt ele folosite ca punct de sprijin pentru scopurile generale ale testării; nu există cumva şi efecte secundare?

Standardele APA (1985)
propun patru categorii esenţiale de definire a validităţii denumite cele “patru feţe ale validităţii” şi care în prezent au devenit patru strategii ale validării inferenţelor făcute pe baza scorurilor de test  1. validitatea conceptuală;  2. validitatea de conţinut;  3. validitatea predictivă;  4. validitatea concurentă.

Faţete ale validităţii
 Validitate

de conţinut: validitatea itemilor specifici ai testului; include şi validitatea de aspect (de faţadă)  Validitatea de construct: gradul în care testul relaţionează cu constructul teoretic subiacent testului  Validitatea de criteriu: abilitatea unui test de a prezice cu acurateţe performanţele subiectului la un criteriu din viaţa reală

Standardele APA (1985):

apreciază că nu se poate vorbi despre “tipuri” diferite de validitate, cele recunoscute până acum sunt doar simple etichete atribuite unor categorii de strategii de validare care nu sunt disjuncte. înlocuirea denumirii de ‘tip de validitate” cu cea de “tip de analiză a validităţii”. Prin “analiza validităţii” el înţelege o procedură, un proces sau o strategie prin care se colectează sau se generează date în vederea determinării extinderii ori a robusteţii inferenţelor care pot fi făcute pe baza unei mulţimi de scoruri de test (C. L. Lawshe,1986)

Hammond, 1995:

1. Există numeroase metode pentru validarea testelor, care pot fi privite ca moduri diferite de formulare a cerinţelor referitoare la teste. Corespunzător scopurilor pentru care se utilizează un test, se alege strategia de validare. Ea se poate baza pe analiza de itemi, pe analiză factorială, pe determinarea corelaţiilor testului cu diverse criterii etc. 2. Validitatea unui test nu poate fi estimată printr-un singur coeficient, ci se deduce din acumularea dovezilor empirice şi conceptuale. Standardele APA din 1974, subliniază faptul că “validitatea nu se măsoară, ci se deduce”. Manualul testului trebuie să conţină coeficienţii de validitate, dar în cazul unei aplicări particulare a testului nu se va lua în considerare un singur coeficient ci, prin analiza lor globală, se va aprecia dacă utilizarea testului este “adecvată” sau “nesatisfăcătoare”.

...
Standardele APA din 1985 modifică terminologia utilizată în legătură cu validitatea. Astfel, ele înlocuiesc denumirile - cunoscute ale tipurilor ele validitate cu următoarele “etichete” atribuite strategiilor de validare:  “dovezi ale validităţii relative la conţinut”,  “dovezi ale validităţii relative la construct” şi  “dovezi ale validităţii relative la criteriu”.

...Hammond
3. Validarea unui test este cumulativă. Procedura de va1idare trebuie reluată periodic pe eşantioane diferite de subiecţi. Ori de câte ori se face o modificare importantă într-un test în ceea ce priveşte formatul, limbajul, conţinutul sau instrucţiunile de administrare, testul trebuie revalidat. 4. Validitatea unui test depinde mai mult de felul în care este folosit testul decât de testul in sine.

Validitatea testului relativă la constructul măsurat

variabile sunt construite pornind de la fapte observabile, printr-un şir de raţionamente bazate pe ipoteze şi deducţii. Din acest motiv, va1iditatea relativă la construct este adesea denumită şi “validitate ipotetico-deductivă” construct şi concept sau noţiune sunt adesea utilizaţi ca sinonimi, validitatea relativă la construct a testului este denumită şi “validitate conceptuală” (concept validity).

Definiţie:

Validarea testului relativă la constructul măsurat se ocupă de calităţile psihice care contribuie la formarea scorurilor acestuia şi urmăreşte înţelegerea dimensiunilor evaluate de test. Numai înţelegând constructul măsurat de test se pot formula ipoteze asupra predicţiilor pe care le face testul şi asupra relevanţei şi a reprezentativităţii conţinutului său. Deci, validarea constructului trebuie să preceadă validarea conţinutului testului si validarea relativă la criteriu

Procedură:
Pentru a putea verifica dacă un test măsoară bine un anumit construct, este necesar să se realizeze o descriere a constructului în termeni comportamentali concreţi. Operaţia se numeşte "explicarea constructului" şi constă din trei paşi (Murphy şi Davidshofer, 199l):  Se identifică acele comportamente care au legătură cu constructul măsurat de test.  Se identifică alte constructe şi pentru fiecare se decide dacă are sau nu legătură cu constructul măsurat de test.  Se alcătuieşte câte o listă de comportamente prin care se manifestă aceste constructe. Pentru fiecare din ele, pe baza relaţiilor dintre constructe, se decide dacă are sau nu legătură cu constructul măsurat de test.

Componente:
descompunerea operaţiei de validare a testului relativă la constructul măsurat, în trei componente: • validarea materialului testului (substantive validity), care necesită specificarea constructului măsurat de test şi se confundă uneori cu validarea conţinutului testului; • validarea structurii constructului aflat la baza testului (structural validity), care identifică elementele componente ale constructului şi investighează legăturile dintre ele; • validarea externă (extenal validity), care urmăreşte să determine relaţiile constructului cu alte măsurători (constructe sau variabile observate).

Validarea externă
Se referă la calitatea testului de a avea relaţii corecte cu alte măsuri psihologice; ea este denumită uneori "validitate convergentă şi discriminantă" (Murphy şi Davidshofer, 1991): a. Un test are validitate convergentă dacă măsoară ceea ce evaluează si alte teste sau variabile care se referă la acelaşi construct, deci scorurile sale variază (liniar sau nu) în acelaşi sens cu rezultatele respectivelor măsurători. b. Un test are validitate discriminantă dacă evaluează altceva decât diverse teste sau variabile despre care se ştie că se referă la constructe ce nu au legătură cu constructul măsurat de test. Aceasta înseamnă că scorurile testului nu sunt în relaţie funcţională monotonă (liniară sau nu) cu rezultatele acelor măsurători.

conţinut
 Validitatea

convergentă: indică cât de bine corelează testul cu alte măsurători ale aceluiaşi construct  Validitatea divergentă: un test nu trebuie să coreleze înalt cu acele teste care nu relaţionează cu constructul măsurat de test

matricea “multitrait-multimethod”

O metodă utilizată pentru verificarea validităţii convergente şi discriminante a testelor este aceea propusă de D. T. Campbell şi D. W. Fiske, bazată pe matricea “multitrait-multimethod” Aceasta conţine valorile coeficienţilor de corelaţie liniară între diverse măsurători ale aceloraşi constructe, dar obţinute prin intermediul a două sau trei tehnici ori instrumente diferite.

Procedură:
 În

urma evaluării constructelor A, B şi C, despre care se face presupunerea că nu au legături între ele, prin trei metode diferite “test I”, “test II” si “test III” - s-a obţinut următoarea matrice de coeficienţi de corelaţie liniară (pentru a se putea urmări mai uşor datele, ea a fost scrisă sub forma unui tabel unde coeficienţi de corelaţie sunt la pragul p .05):

metode / constructe test I a b c test II a b c a b c

test I a b 81 .12 .86 .04 .32 .46 .14 .48 .08 .21 .50 .32 .46 .28 .36

test II c a b

test III b c a

c

.76 .74 .02 .77 .55 .10 .15 .54 .37 .65 .60 .28 .38

.82 .85 .38 .61 .36 .83 .40 .85

test III

Explicaţie

Valorile notate pe diagonala principală sunt coeficienţii de fidelitate ai testelor, obţinuţi prin metoda formelor paralele. De exemplu, pentru testul II, coeficienţii de fidelitate sunt .74 (pentru constructul A), .77 (pentru constructul B) şi . 82 (pentru constructul C). Valorile de pe diagonalele celorlalte căsuţe sunt coeficienţii de corelaţie între măsurătorile realizate de cele trei teste pentru aceleaşi constructe. Ei servesc la verificarea validităţii congruente.

Pentru constructul a,
 coeficienţii

de corelaţie sunt:  .46 (testul I cu testul II);  .50 (testul I cu testul III);  .54 (testul II cu testul III).

Pentru constructul b
 .48

pentru testul I cu II  .46 pentru I cu III  .65 pentru II cu III

Pentru constructul c,

 .55

pentru I cu II  .60 pentru I cu III  .61 pentru II cu III

Validitate discriminativă
 Celelalte

valori din matrice reprezintă coeficienţii de corelaţie liniară între constructe diferite, măsurate prin acelaşi test sau prin teste diferite. Ei servesc la aprecierea validităţii discriminativă a testelor

2. Validitatea testului relativă la conţinutul său
Definiţie: Acest tip de validitate este analizat la testele care se utilizează pentru a estima “cum acţionează o persoană în universul de situaţii pe care testul intenţionează să îl reprezinte” (APA Standards, 1974). Pentru analizarea acestui tip de validitate trebuie luat în considerare nu numai conţinutul itemilor testului ci şi procesul utilizat de subiect pentru a ajunge la formularea răspunsului; urmăreşte să verifice dacă eşantionu1 de stimuli şi cel de răspunsuri observate şi înregistrate în procesul de măsurare sunt reprezentative pentru universul de comportamente pe care îl defineşte constructul respectiv

3. Validitatea relativă la criteriu
Strategii:  Concurentă: încearcă să indice stadiul actual al problemei (utilă în testele de diagnostic şi QI)  Predictivă: utilă pentru teste care încearcă să anticipe comportamentul viitor (ex. Scale de suicid, etc.)

Definiţie:
Validarea

relativă la criteriu se referă la gradul în care deducţiile făcute pornind de la scorurile testului concordă cu cele bazate pe scorurile unei alte măsurări, numită criteriu.

necesitatea
 Este

important ca un test să fie valid relativ la un criteriu atunci când testul trebuie să înlocuiască variabila criteriu, fie din cauză că valorile variabilei criteriu nu sunt cunoscute în momentul testării (de exemplu, în cadrul unei acţiuni de selecţie profesională), fie pentru că administrarea testului este mai puţin costisitoare decât măsurarea variabilei criteriu

procedură
 Aprecierea

validităţii relative la criteriu se bazează, de obicei, pe valorile unui “coeficient de validitate a testului”, obţinut în urma calculului coeficientului de corelaţie (liniară sau de alt fel) între scorurilor testului si rezultatele criteriului.

validarea predictivă
Este interesată de gradul de eficientă al testului în prognoza comportamentului unei persoane într-o situaţie dată. Ea se realizează prin compararea scorurilor testului cu rezultatele obţinute la criteriu după un interval de timp mai lung sau mai scurt.

valididarea concurentă

Pentru estimarea validităţii concurente este necesară obţinerea scorurilor la criteriu aproximativ în acelaşi timp cu cele ale testului. Deosebirea esenţială dintre cele două tipuri de validări relative la criteriu nu constă în lungimea intervalului de timp dintre administrarea testului şi înregistrarea rezultatelor criteriului, ci în faptul că validarea concurentă utilizează un eşantion de populaţie selecţionat (personal angajat deja sau studenţi admişi în facultăţi). Apare aici problema denumită restrângerea mulţimii şi care face ca validarea concurentă să nu poată furniza totdeauna informaţii corecte asupra capacităţii predictive a testului.

Coeficientul de validitate
R

este coeficientul de validitate; ridicat la pătrat indică varianţia scorurilor la test explicată de test  De exemplu: dacă r este .80, atunci coeficientul de validitate la pătrat va fii .64 ceea ce înseamnă că 64% din varianţă poate fi explicată de test

Eroarea standard a estimării, SEE
Formula de calcul utilizată pentru eroarea standard a estimării este: SEE = Sdy - rxy2 În formulă:  Sd este deviaţia standard la scorurile obţinute la criteriu  rxy2 este pătratul valorii coeficientului de validitate  dacă rxy = maxim 1, atunci SEE = 0, deci o certitudine de 100% privind comportamentul subiectului în viitor

SEE, exemplu
 dacă

rxy = 08.0, atunci SEE = Sdy, deci criteriul folosit de cei care au utilizat testul.  dacă rxy = 0.80, SEE = 0.36, anticiparea poziţiei ocupate de subiect este mai mare cu 36% decât dacă s-ar face din pură întâmplare.

interpretarea validităţii
Se apreciază că un test are validitate de criteriu bună atunci când coeficientul de validitate este mare. Valoarea coeficientului de validitate evidenţiază gradul în care randamentul la test corelează cu rezultatele la criteriu:  Valoarea coeficientului este influenţată de o serie de factori având în vedere că, de regulă, mai ales când apelăm la modalitatea predictivă, există o durată de timp între cele două serii de măsurători. În orice caz, două aspecte sunt implicate:

- natura şi specificul grupului (vârstă, sex, pregătire profesională..) - caracter omogen sau eterogen al eşantionului (val. coeficientului de corelaţie e mai mare)

Majoritatea consideră că valoarea corelaţiei trebuie să fie suficient de mare pentru a fi semnificativă la un prag de 0.01 - 0.05

Interpret....
 În

experienţa obţinută, valoarea coeficientului de validitate predictivă al unui test este cuprinsă între 0 şi 0.60, în majoritatea cazurilor fiind situată în partea inferioară a intervalului (Guilford, 1965)

Interpret...

Se pot obţine valori mari ale coeficienţilor de validitate atunci când testul predictor reproduce o situaţie din criteriu (de exemplu, dacă se dă un test de aptitudini matematice unor studenţi de la Politehnică). Din contră, atunci când testul se referă la atribute dificil de evaluat prin orice fel de date non-test (de exemplu, adaptarea socială şi emoţională. creativitatea etc.) coeficienţii de validitate iau valori mai mici decât 0.30 (L. J. Cronbach, C. Gleser. după Silva, 1993)

Interpetare: matricea progresivă Messick

În ultima decadă a secolului trecut, validitatea este privită ca un raţionament evaluator integrativ, legat de gradul în care dovezile empirice şi raţiunile teoretice sprijină aspecte precum adecvarea interpretărilor şi adecvarea acţiunilor bazate pe scorurile la teste. Validitatea nu înseamnă un simplu scor de corelaţie între valorile la test, sau la test vs. criteriu, sau evaluările experţilor privind măsura în care conţinutul testului este relevant sau nu pentru utilitatea testului. Validitatea este şi o evidenţă a consecinţelor reale şi potenţiale ale utilizării acţiunilor de interpretare a scorurilor testului şi de utilizare a informaţiilor astfel obţinute

cadru unificator...
Pentru Messick, un cadru unificator distinge între două dimensiuni interconectate ale validităţii ca şi concept unitar:  sursa de justificare a testării prin evaluarea fie a dovezilor care sprijină înţelesurile scorurilor, fie a consecinţelor ce contribuie la valoarea scorului;  cealaltă dimensiune este funcţia sau rezultatul testării, fie utilizarea ca interpretare, fie ca aplicare directă.

Matrice a procesului de validare
Faţete Interpretarea testului Validitatea de construct Utilizarea testului

Evaluarea dovezilor

Validitatea de construct şi Relevanţa (utilitatea)

Evaluarea consecinţelor

Validitatea de Validitatea de construct, Relevanţa, construct şi Implicaţiile valorice Implicaţiile valorice şi Consecinţele sociale

Explicaţie

Autorul consideră că cele patru cerinţe corespund celor 4 aspecte fundamentale ale validităţii. Astfel putem evalua în ce măsură, pe baza dovezilor şi a raţiunilor teoretice, scorurile la test ar trebui interpretate şi utilizate în modul propus: Ce echilibru de dovezi susţine interpretarea sau înţelesul scorurilor? Ce dovadă sprijină nu numai înţelesul scorului ci şi relevanţa scorului pentru scopul aplicativ particular?

...explicaţie

Ce face ca implicaţiile valorice ale interpretării scorurilor să fie credibile şi, asemenea, toate implicaţiile asociată privind modalităţile de acţiune? Ce semnifică valoarea funcţională a testării din perspectiva consecinţelor ei intenţionate sau ne-intenţionate?

...explicaţie

Deseori, denumirea constructului revelă atitudinea latentă a cercetătorului faţă de importanţa acestuia, atitudine care este mai degrabă dependentă de ideologie decât de dovezile experimentale. Implicaţiile valorice ale interpretărilor scorurilor apar astfel nu numai ca o parte a înţelesului scorurilor, ci şi o parte cu relevanţă socială care poate facilita sau împiedica acţiunile bazate pe scoruri şi poate servi la înţelegerea relaţiei dintre măsurarea constructului şi problemele practicii aplicative şi a politicilor sociale. Fundamentul pentru consecinţele utilizării testului îl reprezintă evaluarea atât a consecinţelor sociale potenţial, cât şi a celor reale, consecinţele circumstanţelor în care se aplică testul. O modalitate de evaluare a efectelor secundare posibile este compararea beneficiilor şi riscurilor utilizării testului propus cu aspectele pro şi contra alternative.

consecinţă

Această perspectivă multiplă evidenţiată prin matricea progresivă elaborată de autorul american permite o examinare deschisă, clară a valorii fiecărei componente propuneri posibile privind testarea psihologică cu anumite teste. Ceea ce contează nu este pur şi simplu faptul că unele consecinţe sociale ar putea invalida testul ci faptul că unele consecinţe sociale adversive nu ar trebui atribuite nici uneia dintre sursele de invalidare a unui anume teste avut în vedere (de exemplu, posibilitatea irelevanţei constructului).

Relaţia dintre fidelitate şi validitate
 Pentru

a fi valid un test trebuie să fie fidel; nu şi invers.Totuşi, un test fidel nu trebuie să fie şi valid.  Maximul de validitate:
Rmax = R11R22

(R11 şi R22 sunt coeficienţii de fidelitate ale celor două variabile)

Bibliografie

M.Minulescu, Teorie şi practica în psihodiagnoyă. Testarea intelectului, Ed. Fundaţiei România de Mâine, 2003 P. Lisievici, Evaluarea în învăţământ. Teorie practică, instrumente, Editura Aramis, 2002 M.Albu, Construirea şi utilizarea testelor psihologice, Clusium, Cluj Napoca, 1998 A.Anastasi, Psychological Testing, MacMillan, N.Y., 1988

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->