FIDELITATEA TESTELOR PSIHOLOGICE. METODE DE EVALUARE A FIDELITII 1.

DELIMITRI CONCEPTUALE n 1954 i n 1966, Standards for Educational and Psychological Tests nelegeau prin fidelitate ,, precizia / consistena i stabilitatea msurrii realizate de test, n 1974, fidelitatea este privit ca i ,,gradul n care rezultatele testrii pot fi atribuite surselor sistematice de variaie. Ultimele Standards for Educational and Psychological Tests, cele din 1985, definesc fidelitatea ca fiind ,,gradul n care scorurile testului sunt consistente sau repetabile, adic gradul n care ele nu sunt afectate de erorile de msur. Exemplu: Ne imaginm c am cntrit 140 de grame de fin. Dup o or, pe acelai cntar, constatm s-a ajuns la 180 de grame, iar dup dou ore la 100 de grame. Se poate afirma c msurtorile nu sunt fidele. Fidelitatea unui test psihologic se refer la dou aspecte: 1. consistena intern; 2. stabilitatea n timp a rezultatelor testrii. Analiza fidelitii unui test pornete de la conceptul de eroare. Orice scor la un test psihologic este rezultatul scorului real i al unei erori de msur: Xobservat = Xreal + e (e = eroarea de msur) Fidelitatea reprezint absena relativ dintr-o prob psihologic a erorilor de msurare. Acest lucru ns n psihologie nu poate fi ntlnit; de aceea orice test psihologic trebuie s estimeze valoarea acestor erori aleatoare de msur. Calculul fidelitii indic msura n care scorurile obinute la test exprim de fapt valorile reale ale constructului pe care testul l msoar. Coeficientul de fidelitate este cuprins ntotdeauna ntre 0 i 1. Coeficientul de fidelitate este egal cu 1 dac i numai dac scorurile observate coincid cu scorurile reale, adic testul este o msur foarte precis. Teoria referitoare la fidelitatea testelor consider c erorile de msur sunt complet impredictibile, indiferent de cunotinele pe care le avem despre persoanele evaluate sau despre procesul de msurare. nainte de a calcula coeficientul de fidelitate al unui test este absolut necesar s se precizeze ce reprezint scorurile reale ale testului. De exemplu, la un test de cunotine la fizic administrat cu ajutorul calculatorului, lipsa deprinderii de a lucra la calculator i anxietatea fa de calculator acioneaz ca factori perturbatori. Influena lor va fi mai mare la o clas cu profil umanist dect la cei dintr-o clas de informatic. Rolul coeficientului de fidelitate Coeficientul de fidelitate servete la aprecierea preciziei unui test, dar nu este suficient pentru descrierea acestuia ca instrument de msur. 2. METODE DE EVALUARE A FIDELITII Fidelitatea unui test poate fi calculat pe baza a patru metode:

1. 2. 3. 4.

metoda consistenei interne coeficieni de consistenta intern; test retest coeficieni de stabilitate; metoda formelor paralele coeficieni de echivalen; metoda fidelitii interevaluatori coeficieni interevaluatori.

2.1.CONSISTENA INTERN Consistena intern a unui test se refer la msura n care toi itemii testului msoar aceeai variabil. Calculul coeficientului de consisten intern va consta n analiza corelaiei ce exista ntre fiecare item. Pornind de la scorurile observate la un test, pentru analiza consistentei interne pot fi calculai urmtorii coeficieni: 1. Cronbach (rspunsuri multiple la un item) ; 2. 3 Guttman; 3. 20 i 21 Kuder Richardson (dac itemii testului sunt binari, itemii care pot fi scorai corect greit ). Toi coeficienii prezentai se bazeaz pe un calcul de corelaie ntre itemii ce alctuiesc testul. Un coeficient de consisten ridicat exprim faptul c toi itemii testului se refer la aceeai variabil. Se impune o observaie: dac testul este administrat cu limit de timp, atunci ultimii nu vor fi rezolvai de mai multe persoane, deci n lotul de subieci ei vor aprea de mai multe ori cu scorul zero. Intercorelaiile lor vor avea astfel valori mari, crescnd consistena intern a testului. Pentru a putea calcula coeficienii de consisten intern a uni test, acesta trebuie administrat fr limit de timp. n afara coeficienilor prezentai anterior, consistena intern a unui test poate fi calculat i pe baza metodei njumtirii ( split-half). Pe baza acestei metode testul este mprit n jumtate, calculndu-se coeficientul de corelaie dintre cele dou pri. Dac acest coeficient este ridicat el ne indic o bun fidelitate (consistena intern) a testului. Metoda njumtirii rezolv multe din problemele teoretice i practice inerente metodei test-retest i metodei formelor paralele. Mai nti, nu este necesar s se administreze dou teste diferite i nici s se administreze de dou ori acelai test. Dar dificultatea const n construirea jumtilor care s fie msurtori paralele. Se recomand s se elaboreze perechi de itemi similari ca: - form ( mod de prezentare a textului, a ilustraiilor) - coninut - tip de ntrebare ( cu rspuns liber, cu rspuns la alegere) Exist multe modaliti de ordonare a itemilor n cadrul unui test. O form particular a metodei njumtirii o constituie metoda item cu item, n care testul este mprit n dou prin selectarea itemilor pari respectiv a celor impari. Aceasta tehnic este util mai ales n cazul testelor n care itemii sunt prezentai n ordinea crescnd a dificultii. Se calculeaz i acest caz coeficientul de consisten intern ntre cele doua pri ale testului, valoarea lui reprezentnd valoarea coeficientului de fidelitate. Practic este dificil s se construiasc itemi de test buni, care s fie paraleli cu itemii existeni n test. Pe de alt parte, testele lungi consum mult timp i sunt mai scumpe dect cele scurte. Deci, nu ntotdeauna este rentabil creterea fidelitii prin adugarea de itemi paraleli.

2.2.STABILITATEA Stabilitatea rezultatelor testrii ne indic n ce msur la aplicri diferite n timp un subiect obine aceleai rezultate la un test psihologic. Calculul coeficientului de stabilitate se realizeaz astfel: a) se administreaz testul la un grup de persoane; b) dup un interval de timp se readministreaz testul; c) se calculeaz un coeficient de corelaie ntre cele dou administrri. O valoare mare a acestui coeficient indic o bun stabilitate n timp a rezultatelor. Se poate spune despre acel instrument c este fidel deoarece relev aceleai valori ale unei variabile la msurtori diferite n timp. Exemplu: Un aspect major al fidelitii test-retest este acela numit efectul memoriei. S ne imaginm c se aplic un test de vocabular cu 10 ntrebri, i apoi la 10 minute mai trziu, li se cere s completeze acelai test. Muli dintre noi ne vom reaminti rspunsurile i cnd ncepem s rspundem din nou, ne vom raporta mai degrab la rspunsurile pe care le-am dat prima dat dect s citim atent ntrebrile. Acesta poate crea un coeficient de fidelitate artificial crescut pentru c subiecii au dat rspunsurile din memorie, iar testul nu mai este relevant pentru constructul msurat. Metoda test-retest este util atunci cnd scorurile reale ale testului msoar caracteristici durabile, generale i specifice ale persoanelor. Factorii temporari ( starea de oboseal sau boal a celui examinat, emoiile, temperatura i lumina din sala de testare) pot ajuta unei persoane ntr-o ocazie i i pot scdea scorul observat la un alt experiment. Ei nu modific scorul real al persoanei, ci influeneaz erorile de msur. Aplicarea metodei test-retest impune s se asigure asemenea condiii nct pentru fiecare persoan erorile de msur la cele dou testri s fie variabile aleatoare. Factori care influeneaz calculul fidelitii test-retest (stabilitii): Intervalul de timp ntre test i retest. Dac timpul este prea scurt exist o mare probabilitate ca subiecii s i reaminteasc rspunsurile date anterior; respectiv un timp prea lung ntre test i retest poate determina maturizarea eantionului de subieci. Astfel dac aplicm un test de percepie la 4 ani i l reaplicm la un interval de 6 luni exist o mare probabilitate s obinem rezultate diferite la cele dou administrri ale testului deoarece n intervalul de 6 luni subiecii s-au maturizat. n acest caz retestul va include n evaluare nivelul de maturizare al subiecilor. Datorit acestor argumente este destul de dificil de stabilit cu exactitate un timp optim ntre test i retest. Totui unii autori, Kline ( 1993, apud Albu, 1998) recomand ca lungimea acestui interval s nu fie mai scurt de trei luni. Adesea, mai ales n cazul testelor de aptitudini i de cunotine, n intervalul de timp dintre test i retest subiecii i modific scorul real, datorit maturizrii, a experienei sau a cunotinelor dobndite. S analizm ce se poate ntmpla n urma dup prima administrare a unui test de cunotine. Pe de o parte, intervine uitarea, care determin o scdere a scorurilor reale. Pe de alt parte, subiecii pot dobndi cunotine noi, ceea ce face s creasc scorurile reale. Unele persoane pot cuta n cri rspunsurile corecte la itemi, mai ales acolo unde tiu c nu au tiut sau nu au fost sigure de rspuns. Perioada poate fi foarte scurta(zile/sptmni) sau mai lung(luni/ani).Cercetrile arat c intervalele mici asigur o mai mare valoare a fidelitii. Cnd intervalul este foarte mare,valoarea coeficientului este foarte redus tinznd ctre zero cnd trec mai mult de 10-15 ani. n general,

perioada de timp trebuie sa fie mic (de regul 6 luni, apud Mitrofan, 2004 ). Pentru copiii mici, perioada de timp trebuie s fie mult mai scurt,la vrstele mici schimbrile ca urmare a dezvoltrii sunt observabile dup <1 lun ( apud Mitrofan, 2004). Valoarea coeficientului de stabilitate poate fi apropiat de 1 i atunci cnd testul nu este potrivit lotului de subieci, fiind foarte dificil sau, din contr, foarte uor. n asemenea situaii, marea majoritate a persoanelor vor obine, la ambele administrri ale testului, scoruri foarte mici, respectiv scoruri forate mari. ntotdeauna cnd se calculeaz acest coeficient trebuie precizat intervalul scurs ntre test i retest, vrsta subiecilor precum i condiiile n care s-au administrat testele pentru a putea identifica eventualele surse de eroare de msur. Gradul de dificultate al itemilor. Dac itemii sunt fie prea uori fie prea dificili se vor obine coeficieni de stabilitate ridicai deoarece itemii testului fie vor fi rezolvai de majoritatea subiecilor (n primul caz) fie nu vor fi rezolvai nici la test nici la retest (al doilea caz). Schimbri ale subiectului determinate de prima aplicare. Pot exista o serie de situaii n care se obin performane diferite la retest deoarece subiectul fie a nvat s rspund la itemi dup prima administrare, fie aceast prim administrare a determinat schimbri de atitudini fa de o anumit problem. Dezavantajul metodei test-retest const n faptul c pretinde dou administrri ale testului, ceea ce necesit timp i cheltuieli materiale. 2.3. METODA FORMELOR PARALELE Exist o serie de situaii practice care necesit aplicri repetate a unui test psihologic la un interval foarte scurt de timp. n acest caz aplicarea aceluiai test este improprie deoarece s-a vzut anterior c la un interval scurt de timp subiecii pot s i reaminteasc rspunsurile date anterior. n acest caz trebuie s se construiasc forme echivalente sau paralele ale unui test. Dou teste sunt paralele dac pentru un subiect erorile de msur la cele dou administrri sunt variabile aleatoare independente. n acest caz itemii celor dou teste trebuie s fie logic izomorfi, adic s aib acelai nivel de dificultate. Metoda formelor paralele prezint unele avantaje fa de metoda test retest, astfel, cele dou forme fiind diferite, rezultatele la cel de-al doilea test nu mai sunt influenate nici de memorarea rspunsurilor date la primul test, nici de aflarea rspunsurilor la ntrebrile la care nu s-a tiut rspunde. Avantajul acestei metode este, astfel, acela c nu mai permite reamintirea rspunsurilor i nici posibilitatea cutrii rspunsurilor la ntrebrile la care nu s-a tiut rspunde. Dezavantajele acestei metode sunt urmtoarele: necesit consum de timp prin dou administrri; subiecii se pot plictisi dac testrile sunt prea lungi, ceea ce influeneaz scorurile la cel de-al doilea test ; este greu de realizat, fiind dificil i costisitoare. Metoda formelor paralele se folosete atunci cnd se dorete obinerea unei colecii de teste paralele, de bun calitate. Este de exemplu, situaia ntlnit n psihoterapie, cnd este necesar

administrarea periodic, la intervale de timp relativ scurte, a unor teste de anxietate sau depresie. Pentru ca subiecii s nu fie tentai s repete rspunsurile date la administrrile anterioare ale testului se prefer utilizarea alternativ a unor forme de test paralele. 2.4. FIDELITATEA INTEREVALUATORI Este necesar a fi calculat n cazul testelor care nu au o cotare obiectiv aa cum sunt testele proiective de personalitate la care scorul este influenat i de interpretarea pe care o d persoana care face cotarea. Chiar dac evaluatorii ndeplinesc cerinele formulate n manualul testului referitoare la cunotinele i experiena necesare, este puin probabil ca ei s atribuie scoruri identice fiecrui subiect. Pentru a verifica n ce msur scorul la test este influenat de modalitatea n care se face cotarea de diferite persoane se va cere la diferii evaluatori s calculeze scorurile la test, iar apoi se va realiza un coeficient de corelaie interevaluatori. Acest coeficient va exprim msura n care testul este independent de erori datorate modalitii de cotare a rspunsurilor subiectului. - Sunt dou modaliti de estimare a fidelitii interevaluatori o Dac msurtorile constau n categorii (evaluatorii verific care din aceste categorii se potrivete), se poate calcula gradul de acord ntre evaluatori, de exemplu, ai 100 de observaii care au fost realizate de 2 observatori. Pentru fiecare observaie, evaluatorul poate completa una din trei categorii. S presupunem c 86 din cei 100 au completat aceeai categorie. n acest caz, procentul de acord va fi 86%. Este o msur brut, dar ofer o idee despre ct acord exist. o O alt modalitate de a estima fidelitatea este cnd msurtoarea este continu. Astfel, trebuie s calculezi corelaia ntre valorile celor 2 observatori. De exemplu, trebuie s evaluezi nivelul general de activitate din clas pe o scal de 1 la 7 ( la 30 de secunde). Fidelitatea interevaluatori este o cale excelent pentru a estima fidelitatea cnd instrumentul de msur este observaia. Ca alternativ, am putea cuta corelaia evalurii unui singur observator n dou momente diferite. Unii autori ( Hammond, 1995, apud Albu, 1998) recomand utilizarea coeficientului K a lui Cohen, care ia valori ntre 1 i -1 i indic msura n care concordana evalurilor este diferit de cea datorat ntmplrii. Alegerea metodei aplicate pentru estimarea fidelitii trebuie s in seama de ceea ce msoar testul, de scopul pentru care el va fi folosit i de condiiile concrete n care se poate face testarea. Atunci cnd testul msoar o caracteristic durabil i, deci, trebuie s fie puin sensibil la situaia de testare, sau cnd pe baza scorurilor testului urmeaz s se trag anumite concluzii valabile pentru o perioad de timp mai ndelungat, se va aplica metoda test-retest. Dac nu se poate asigura retestarea persoanelor dup un interval de timp suficient de lung pentru ca subiecii s nu i poat reaminti rspunsurile date la test, dar exist o form paralel a testului, se va utiliza metoda formelor paralele. n cazul particular cnd forma paralel a testului a fost administrat mpreun cu testul se va putea aplica metoda njumtirii.

Dac se tie c testul se compune din itemi care msoar aceeai caracteristic, pentru estimarea coeficientului de fidelitate se va folosi o formul de calcul al unui coeficient de consisten intern. n cazul testelor pentru care cotarea nu este obiectiv, evaluatorul devine o component a procesului de msurare realizat cu ajutorul testului. Valorile coeficienilor de consisten intern sunt mai mari dect cele ale coeficienilor de echivalen ( forme paralele) care sunt, de obicei mai mari dect coeficienii de stabilitate. Acest lucru se explic prin faptul c numrul factorilor care influeneaz erorile de msur este mai mare n metoda test-retest i n metoda formelor paralele, dect n metoda analizei consistenei interne. 3. FACTORI CARE INTERVIN N ESTIMAREA COEFICIENILOR DE FIDELITATE Pentru ca estimarea coeficientului de fidelitate s fie ct mai precis, este necesar s fie ndeplinite urmtoarele condiii ( Traub, 1994, apud Albu 1998): a. Eantionul s fie ct mai voluminos. b. Eantionul de subieci s fie reprezentativ pentru populaia creia i este destinat testul c. Msurtorile efectuate cu ajutorul testului s fie independente ntre ele, adic msurtoarea realizat asupra unui subiect s nu fie influenat i nici s nu influeneze msurtorile efectuate asupra altor persoane. Dac administrarea testului se face n grup, acest lucru nseamn c persoanele examinate vor fi supravegheate s nu copieze. Atunci cnd calculul coeficientului de fidelitate impune ca fiecare persoan de dou ori la acelai test sau s rspund la dou forme paralele ale testului foarte asemntoare ntre ele, nu li se va oferi subiecilor posibilitatea de a revedea sau de a-i aminti rspunsurile date la prima administrare a testului. d. Procedura de administrare a testului i a retestului sau a celor dou forme paralele trebuie s fie identic i s fie aceeai cu cea care se va utiliza n practic. Astfel, de exemplu, dac se prevede ca testul s fie administrat cu limit de timp, n 40 de minute, atunci acest interval de timp va fi respectat i la administrarea testului pentru estimarea fidelitii.
4. INTERPRETAREA COEFICIENILOR DE FIDELITATE

Este de preferabil s fie ales testul care are cea mai mare fidelitate. Se impun cteva recomandri n interpretarea coeficienilor de fidelitate: - se vor cere niveluri nalte de fidelitate testelor folosite pentru a se lua decizii importante asupra persoanelor i a celor care mpart indivizii n mai multe categorii pe baza unor diferene relativ mici ntre ei. n selecia de personal, se vor folosi teste care au coeficieni de fidelitate mai mari de 0.9. - se vor accepta niveluri sczute de fidelitate atunci cnd testele se utilizeaz pentru a se lua decizii preliminare, nu finale, n cazul testelor care mpart persoanele ntr-un numr mic de categorii, pe baza unor diferene individuale mari n general, fidelitatea chestionarelor de personalitate i a celor de interese este mai mic dect cea a testelor cognitive ( de cunotine, de inteligen, de aptitudini speciale) ( Aiken, 1994, apud Albu, 1998). n practic se ntlnesc de obicei coeficieni de fidelitate cuprini ntre 0.70 i 0.98 ( Guilford,1965 apud Albu, 1998). Testele cotate obiectiv care msoar aptitudini cognitive pot furniza coeficieni de fidelitate mai mari dect 0.8. Testele cotate subiectiv care msoar aptitudini, teste de cunotine i cele care evalueaz performane tipice ( chestionare de

personalitate) au adesea coeficieni de fidelitate mai mici dect 0.80 ( Traub, 1994, apud Albu, 1998). Coeficienii de fidelitate transformai n coeficieni de determinare (ptratul coeficientului de fidelitate) relev proporia n care variana total a rezultatelor psihometrice se datoreaz varianei reale diferenelor individuale reale sau din contr, varianei eroare, definit diferit, n funcie de metoda particular urmat n stabilirea tipului de fidelitate (Kulcsar, 1980). n consecin, dei semnificaia diferiilor coeficieni de fidelitate nu este aceeai, totui orice coeficient de fidelitate, ridicat la ptrat, poate fi interpretat n termeni de procentaj al variantei randamentului la test. Astfel de exemplu, un coeficient de fidelitate de .80 nseamn c .802=64% din variana total a rezultatelor psihometrice considerate se datoreaz varianei reale a domeniului explorat, iar 36% varianei eroare, generat de unele din sursele multiple ale deosebirilor n rezultatele psihometrice. Trebuie menionat faptul ca dei fidelitatea unui test este importanta, ea nu este suficient pentru un test bun. Un test poate avea o bun consisten intern (toi itemii evalueaz aceeai variabil) respectiv o bun stabilitate n timp, dar s msoare altceva dect i propune. Problema evalurii corecte a ceea ce i propune s msoare un test este constituie subiectul validitii testelor. 5. Modaliti de mbuntire a fidelitii ( reducerea erorilor de msurare) A. - scrierea ct mai clar a itemilor - instruciuni ct mai clare i mai uor de neles - respectarea condiiilor de administrare a testului - reguli de scorare subiective ct mai explicite posibil B. - lungimea testului Procentul erorilor de msurare scade dac lungimea testului crete. Chiar dac fidelitatea crete cu lungimea testului, aceast recomandare este mai evident n cazul testelor scurte ( creterea lungimii testului cu 5 itemi poate mbunti substanial fidelitatea unui test dac testul original are 5 itemi, dar poate avea un impact minim dac testul original are 50 de itemi) - calitatea itemilor Itemii care discrimineaz ntre elevi cu grade diferite de pricepere bazate pe coninutul cursului sunt dezirabili i vor mbunti fidelitatea un item este considerat c discrimineaz dac elevii buni tind s rspund corect pe cnd cei mai slabi tind s rspund incorect

BIBLIOGRAFIE Albu, M., ( 1998), Construirea i utilizarea testelor psihologice, Editura Clusium, Cluj-Napoca. Mitrofan, N., Mitrofan, L., (2005). Testarea psihologic. Inteligena i aptitudinile, Iai: Editura Polirom Mowbay, C.,T., Holter, M., Teague, G., B., Bybee, ( 2003), Fidelity Criteria: Development, Measurement, and Validation, American Journal of Evaluation, Vol. 24, Nr. 3, pp. 315340. Nunnally, J., C., Bernstein, I., H., ( 1994), Psychometric Theory, Mc Graw Hill, New York

Raven, J., Raven, J.,C., Court, J., H., (2003), Manual Raven: seciunea 3, ediia n limba romn, Romanian Testing Services, Cluj-Napoca. Stan, A. (2002), Testul psihologic. Evoluie construcie, aplicaii. Editura Polirom, Iai. Vaida, H., ( 2007), Tehnici de psihodiagnostic, Editura Universitii din Oradea, Oradea. Wells, C., Wollack, J., ( 2003), An Instructors Guide to Understanding Test Reliability,Madison Wisconsin http://www.socialresearchmethods.net/kb/reliablt.php