Bazele Constructiei Testelor Psihologice

I. Constructia Testelor Psihologice

1. Consideratii generale privind constructia testelor psihologice Aurel Stan Testul psihologic Reprezinta un domeniu devenit distinct in ultimele decenii care presupune o anumita specializare pe care din pacate nu toti psihologii o au la indemana. Aceasta specializare se refera atat la una dintre etapele cele mai importante ale constructiei testelor psihologice si anume redactarea itemilor cat si la derularea unui ansamblu de proceduri si luare pe durata constructiei a unor decizii importante care se vor reflecat in validitatea testului psihologic. Activitatea de constructie a unui test psihologic reprezinta o activitate stiintifica in cel mai adevarat sens al cuvantului de cele mai multe ori se desfasoara in echipa ptr ca implica eforturi foarte mari atat teoretice cat si de natura metodologica, eforturi care se intind pe durata a mai multor ani. In interiorul comunitatii celor care sunt antrenati in constructia testelor psihologice exista o anumita diviziune a muncii in sesnul ca unii psihologi sunt specializati in managementul calitatii de redactare a itemilor, altii sunt specializati in controlul mai ales statistic dar si evaluativ a calitatii psihometrice ale itemilor, ale scalelor sale. O alta etapa importanta este informatizarea testelor atat sub aspectul implementarii lor pe computer cat si in sensul construirii unor adevarate banci de itemi, din care peridioc pot fi extrase seturi in vedre construrii de noi probe paralele. Desi exista la ora actuala, cu o anumita consacrare, diversi algoritimi privitori la constructia testelor care prezinta si descriu in amanunt etapele de constructie a testelor psihologice, de la un autor la altu, exista diverse nuantari care sunt determinate in primul rand de tipul de test psihologic avut in vedere, prin urmare dincolo de existenta unor principii generale privitoare la constructia testelor psihologice, exista deosebiri in ceea ce priveste constructia testelor psihologice din domeniul ocupational comparativ cu domeniul educational, ori cu domeniul clinic. O alta diferentiere importanta privind principiile de constructie a testelor psihologice exista intre testele psihologice de aptitudini si capacitati pe de-o parte si inventarele de personalitate. O alta diferentiere trebuie efectuata intre testele psihologice propriu-zise in care sunt introduse si chestionarele de personalitate si testele de cunostinte. Testele de cunostinte sunt pe larg utilizate, mai ales in SUA, in vederea evaluarii ratei de progres in invatare atat in scoala elementare, in liceu sau in facultate. Mai precis urmarea unui anumit traseu educational este conditionata de promovare acestor teste de cunostinte. Testele de cunostinte alaturi de testele bazate pe proba de lucru fac parte din categoria predictorilor alaturi de testele psihologice utilizati in predictia performantei profesionale. Sunt posibile anumite distinctii chiar in interiorul psihodiagnosticului ocupational privitor la metodologia de constructie a testelor de aptitudini comparativ cu aceea specifica cvonstruirii testelor situationale.

Bazele Constructiei Testelor Psihologice Putem vorbi de o anumita specializare a constructorului testelor psihologice fie in domeniul educational, fie in domeniul ocupational, intrucat dincolo de niste principii care sunt comuni tuturor testelor exista specificitatii care se refelcta puternic in caract testelor psihologice. Astazi unii autori de trate privind constructia testelor psihologice recurg la aceasta nuantare privitaoare la distinctia intre caract psihometrice a tesetlor psiuhologice si validitatea interpretarii a rez testului psihologice. Aceasta validitate este dependenta atat de gradul de antrenament al psihologului in administrarea, scorarea si interpretarea testului respectiv cat si de catre informatiile pe care le constine manualul testului privitoare la etapele de constructie a acestuia deoarece toate se reflecta in validitatea, fidelitatea, sensibilitatea testului respectiv.

2. Problematica constructiei testelor, a particularitailor acestora in functie de categoria instrumentelor de testare si de domeniul in care se aplica In constructia testelor psihologice se are in vedere testele psihologice cum ar fi: testele de aptitudini si testele care evalueaza trasaturile de personalitate, structura acesteia si diversele dezordini psihice. Includem inventarele de personalitate aici deoarece prin structura lor constituie instrumentul metodologic asemenea testelor de capacitate. A doua categorie, testele de cunostinte acumulate in concordanta cu programa educationala in scoli generale, licee, facultati, trebuie sa respecte intocmai standardele constructiei, administrarii si implementarii testelor psihologice in vederea reliabilitatii masuratorilor pentru ca numai astfel aplicarea acestor instrumente constituie luarea unei decizii corecte la orice nivel. Problematica constructiei testelor psihologice si a testelor in general, include principii teoretico-metodologice ale adaptarii testelor dintr-o cultura si limba intr-o alta cultura si limba. Teoretizarea problematicii adaptarii lingvistice si culturale a testelor psihologice este cu atat mai justificata cu cat multa vreme, cam pana in deceniul al -IX-lea al secolului trecut, multi autori au considerat suficienta traducerea corecta intr-o alta limba decat cea de origine a anumitor teste de aptitudini si mai ales anumitor inventare de personalitate. (Ronald K. Hambleton si Merenda Adaptarea testelor psihologice si educationale pentru evaluarea comparativa a mai multor culturi) 3. Principii teoretico-metodologice privind constructia inventarelor de personalitate Pervin Personality Assessment M.Minulescu Invetarele de Personalitate pag.31-66 John Willy Vol.10 Handbook of Psihological Assessment

Bazele Constructiei Testelor Psihologice Inventarele de personalitate ridica constructorilor de teste o problema foarte serioasa anume aceea a dificultatilor in a transpune in itemii acestor instrumente situatii fata de care self-ratingul respondentilor sa aiba loc ca si cum acestia s-ar afla intr-o situatie reala. Din pacate acesta este un deziderat, iar eforturile metodologice ale constructiei de inventare cauta sa micsoreze aceasta dificultate. Crombach sustine ca este o mare deosebire intre un item de inventare de personalitate care evoca situatia frustranta, ca de exemplu palmuirea de catre un interlocutor, si situatia reala. In realitate in item se comporta ca si cum existand mereu posibilitatea ca in raspunsurile lor sa nu angajeze toate contunuturile psihice care ar putea fi mobilizate intr-o situatie reala de fapt. A doua mare dificultate mai putin insurmontabila decatr prima este aceea referitoare la identificarea unor criterii obiective de validare a inventarelor. Pentru testele de capacitati si de aptitudini validarea printr-un criteriu extern nu intampina atatea dificultati asa cum nu intampina dificultati realizarea unor itemi in care subiectii sa se comporte aidoma situatiilor reale. Intr-un test de aptitudine tehnica intuirea modului de functionare a unui mecanism cu roti dintate nu se diferentiaza cu nimic cu situatia reala in care subiectul ar trebui sa faca acelasi lucru in fata unui dispozitiv compus din roti dintate. In constructia testelor psihologice Meggarji, in 1972, a mentionat urmatoarele metode in urma unei sinteze a modalitatii in care au fost construite mai multe inventare de personalitate: CPI, MMPI, s.a. Acestea sunt: a.metoda rationala numita metoda intuitiva b.metoda bazata pe criteriul extern/metoda empirica c.metoda bazata pe criteriul intern, adica pe analiza factoriala. a.= valorifica din plin experienta psihologului in constructia inventarelor de personalitate respectiv in scrierea itemilor. Aceasta intuitie este sustinuta de o bogata cultura psihologica generala si de aprofundate cuniostine in domeniul personalitatii si al inventarelor de personalitate. Aceasta metoda uneori este combinata cu metoda empirica/metoda bazata pe criteriul extern, adica itemii odata redactati sunt controlati din punct de vedere a puterii lor discriminative prin diferite statistici una dintre ele consta in a corela scorurile obtinute pe un esantion la fiecare item cu scorurile la chestionarul intreg in felul acesta se verifica daca itemii contribuie in mod semnificativa la varianta generala a inventarului. Unul dintre dezideratele majore ale constructiei inventarelor de personalitate caruia incearca sa-i raspund toate cele trei metode mentionate este acela de a fundamenta scala sau inventarul pe un singur factor. Daca itemii chestionarului vor fi saturati intr-un singur factor atunci semnificatia unui scor la chestionar isi va pastra semnificatia de la un individ la altul. Sau altfel spus: de exemplu scorul x obtinut de un subiect la o scala de extraversie va fi comparabil cu scorul y obtinut de un alt subiect la aceiasi scala. Din pacate cel mai adesea acest deziderat nu pot fi implinit prin metoda intuitiva, daca ea se bazeaza exclusiv pe intuitia constructorului si nu apeleaza la statistici avansate cum este aceea a analizei factoriale. Succesiunea pasilor in derularea acestei metode de constructie este urmatoarea: 3

Bazele Constructiei Testelor Psihologice 1.definirea domeniului, respectiv a continutului itemilor inseamna ca psihologul in cazul unui test de aptitudini se va focaliza pe una dintre aptitudinile mentale descrise de Thurstone, respectiv aptitudine numerica, fluenta verbala, aptitudine spatiala, viteza perceptiva, etc. 2.redactarea unui numar dublu de itemi decat cel care urmeaza sa intre in componenta scalei respective constructorul se bizuie pe experienta sa acumulata pe parcursul realizarii altor instrumente similare, el se bizuie si pe cunostintele sale privitaore la domeniul de continut pe care il abordeaza (redactarea unor itemi pentru un chestionar de anxietate presupune din partea constructorului cunoasterea in profunzime a teoriile despre anxietatea atat de natura dinamica cat si de orientare cognitivista; el se sprijina pe experienta sa anterioara in redactarea unor itemi care se adreseaza anxietatii). 3.apelul la un grup de experti care vor aprecia masura in care itemii respectivi sunt potriviti sa masoare ceea ce se intentioneaza sa se masoare. Avantajul acestei metode rezida in faptul ca fondeaza constructia itemilor pe o conceptie unitara, pe un construct unitar asa cum el este impartasit de catre cel care construieste testul. Ca dezavantaj principal al acestei metode este faptul ca are un control mai slab al validitatii externe, bazate pe criteriu, singurul tip de validitate pe care il gestioneaza mai bine este acela al validitatii de continut. b.= are o larga utilizare in constructia inventarelor de personalitate utilizate mai ales in depistarea cazurilor care prezinta contraindicatii, fie in legatura cu exercitarea unui job, fie in domeniul clinic sau in domeniul educational. Aceasta metoda consta in utilizarea a doua sau a mai multe grupuri contrastante de subiecti care trebuie sa fie asemanatoare din cat mai multe puncte de vedere si deosebite din punct de vedere al constructului care urmeaza sa fie masurat. Daca este de exemplu o scala pentru psihodiagnosticul comportamentului maniacal vor putea fi utilizate 2 grupuri unul constituit din perspane care se incadreaza in aceasta categorie altul format din eprsoane normale. Aceste grupuri trebuie sa fie asemanatoare din punct de vedere al varstei, genului, dar vor trebui sa fie cat mai diferite din punct de vedere al comportamentului maniacal. Etapele de aplicare ale acestei metode in constructia inventarelor de personalitate sunt: 1.definirea si delimitarea domeniului de continut 2.redactarea unui esantion, a unei colectii de itemi mai mare decat numarul itemilor care va fi inclus in chestionar. Acesti itemi pot sa fie, fie o parte din ei redactati prin metoda intuitiva, fie pot sa fie imprumutati de la alte inventare. Inca de pe la inceputul secolului trecut au fost construiti itemi care prin diverse imprumuturi s-au perpetuat de prin secolul VII-VIII. 3.acestia sunt administrati pe un esantion numit esantion de pilotare sau pilot. Va fi determinat scorul obtinut de fiecare subiect la fiecare item. Vor fi pastrati in viitorul chestionar acei itemi care din punct de vedere statistic (testul t si testul ipotezei de nul) se dovedesc a fi rezolvati diferit de catre subiectii din grupul manical comparativ cu subiectii din grupul normal. 4

Bazele Constructiei Testelor Psihologice 4.urmeaza alte faze prin care itemii selectionati vor fi aplicati pe un esantion normativ in vedere verificarii caracteristicilor psihometrice, a stabilirii normelor, in vederea interpretarii calitative a scorurilor la teste. Principala dificultate cu care se confrunta aceasta metoda este aceea ca itemii sunt selectionati nu pe baza semnificatiei lor psihologice, si pe baza puterii lor de a discrimina gurpurile contrastante. Scorul obtinut de catre un subiect la scala maniacala nu are o semnificatie psihologica ci doar ne spune ca el este similar cu scorul pe care persoanele cu comportament manical il obtin la aceasta scala. Cu alte cuvinte nici aceasta metoda nu are ca rezultat un chestionar unifactorial, altfel spus itemii selectionati prin aceasta metoda oarba, empirica, bazata pe corelatia lor cu un criteriu extern, nu sunt saturati, nu tintesc un singur factor, ci eventual 2,3 factori, din aceasta cauza scorul X obtinut de doi indivizi la aceeasi scala este posibil sa nu aiba aceeasi semnificatie, pentru ca daca cel putin 2 factori sunt implicati poate aparea situatia ca subiectul 1 - factorul 1=4, factorul 2=6, subiectul 2 - factorul=5, iar factorul 2=5, unde factorul 1 s-ar putea sa fie ciclotinmia, iar factorul 2 extraversia. Fundamentarea unui chestionar pe un criteriu extern conduce la o situatie extravaganta in care itemii chestionarului respectiv au vizibilitate redusa si respectiv o semnificatie contrara a aceea pe care ar presupune-o constructorul masurat. Sa presupunem ca este vorba de un chestionar de anxietate este de asteptat ca itemii, potrivit teoriei anxietatii, sa se refere la iminenta unui pericol resimtit de subiect, la incapacitatea lui de a-i face fata, la caracterul neprecizat al pericolului, la existenta unor simptome vegetative tremur, palpitatii, accelerarea batailor inimii. Probabil asa ar proceda constuctorul acestui test daca ar adopta metoda intuitiva, dimpotriva in cazul metodei empirice bazata pe criteriul extern daca itemul am beneficiat de multa intelegere si libertate din partea parintilor in copilaria mea se dovedeste ca raspunsul sau da este mai frecvent in randul grupului persoanelor anxioase si foarte putin frecvent in randul persoanelor normale, in baza acestei legaturi statistice cu anxietatea el va fi retinut si introdus in acest chestionar. Din punct de vedere al semnificatiei psihologice nu poate fi afirmata nicio legatura intre smenificatia acestui itemi si constructorul masurat, anxietatea. Avantajul acestei metode furnizeaza itemi greu de falsificat intrucat persoanele testate nu intuiesc sensul favorabil al raspunsului. De obicei chestionarele clinice sunt construite pe aceasta baza, prin raportarea la un ciretriu extern si deci prin utilizarea unor gruprui contrastante. Este insa foarte dificil sa reusim sa constituim aceste grupuri pentru ca nu facem decat sa perpetuam dificultati care exista chiar in interiorul sistemelor de clasificare al bolilor psihice. c.= urmand aceiasi pasi pana la inclusiv redactarea unuei colectii ipotetice de itemi, metoda bazata pe criteriul intern consta in a verifica puterea descriminativa a itemilor precum si consistenta interna a scalei prin determinarea saturatiei itemilor intr-un anumit factor. Dupa ce au fost redactati itemii sunt administrati unui esantion in vederea calcului corelatiilor dintre fiecare itemi cu toti ceilalti. Matricea corelatiilor este apoi analizata factorial, adica rotita pana cand itemii ajung sa formeaza clusteri/ciorchini, 5

Bazele Constructiei Testelor Psihologice adica factori. Cea mai buna metoda de grupare a itemilor o constituie metoda de analiza factoriala in componente principale. Urmeaza dupa aceea faza de rotire a factorilor extrasi dupa metoda varimex pana cand numarul acestor factori este comprimat la maximum. In acest caz criteriul de selectie al itemilor, adica vor fi pastrati in chestionar, cei care au saturatia cea mai mare in factorul care corespunde constructului pe care vrem sa-l masuram. Daca este vorba de un chestionar de anxietate, toti itemii care sunt puternic saturati in acest factor vor constitui viitorul chestionar. Are mare avantaj ca permite identificare acelor itemi care contribuie la o consistenta interna ridicata a inventarului. Deobicei constructorii rareori utilizeaza o singura metoda, si de cele mai multe ori cele trei metode sunt imbinate in functie de nevoile si obiectivele urmarite de catre constructor. 4. Pasii esentiali ai constructiei Testelor Psihologice 1. determinarea trasaturii, a abilitatii, a starii emotionale a tulburarii care ne intereseaza si nu in ultimul rand a atitudinii - In problematica constructiei si adaptarii testelor psihologice trebuie inclusa si problema sondajelor de opinie atunci cand acestea sunt utilizate de psiholog. Pentru a obiectiva preferinte, atitudini, este necesar sa se satisfaca aceleasi exigente de natura psihometrica pe care de obicei le adresam testelor psihologice. Abilitatile se refera la latura instrumentala a personalitatii, respectiv la acele aptitudini care au fost obiectivate in performanta. Ex.: aptitudini muzicale, de inteligenta, aptitudine tehnica, matematica, comprehensiune a scrisului. Cand vorbim de trasaturi ale personalitatii, ne gandim in principal la acele dimensiuni care exprima modurile constante de comportament in conduita oamenilor in general. Exemplu: Yung: extroversiunea, psihismul, devianta, creativitatea; Modelul Big Five 2. alegerea manierei in care constructul ales va fi masurat - prin construct intelegem notiunea care desemneaza una din dimensiunile enuntate mai sus. In general, o masuratoare adecvata a conceptului trebuie sa fie efectuata asupra unui esantion de comportament intrucat comportamentul in intregime nu este accesibil. Pe de alta parte, conceptul respectiv va fi testat mai degraba indirect decat direct, datorita unor limitari de ordin practic si etic. Exemplu: masurarea agresivitatii. Cea mai buna cale ar fi sa introducem persoana testata intr-o situatie de frustrare, dar cea mai buna cale este de a ne bizui pe capacitatea individului de a relata despre propriile sale experiente legate de cum s-a comportat in cutare si cutare situatie frustranta. In cursul acestei etape, constructorul de test trebuie sa-si puna problema daca testul va fi administrat in scris sau oral, daca raspunsurile vor fi discrete sau de tipul DA/NU (raspunsurile discrete sunt specifice scalelor de masurare care implica mai multe variante). Exista si optiunea ca raspunsurile sa fie deschise daca acestea pot fi evaluate reliabil (cu exactitate). De asemenea, in legatura cu raspunsurile la itemi, constructorul trebuie sa ia decizia daca ele vor fi orale, scrise sau nonverbale. 3. stabilirea daca constructul ce urmeaza a fi masurat are una sau mai multe dimensiuni si cum ar putea acel construct fi impartit in mai multe dimensiuni 6

Bazele Constructiei Testelor Psihologice 4. scrierea itemilor - daca este evaluata o trasatura de personalitate sau o stare emotionala, atunci itemii ar trebui sa fie concordanti cu teoria sau cu descrierea care este data caracteristii ce urmaeaza a fi evaluate. Se apeleaza la cativa experti pentru a genera acesti itemi. Daca este insa masurat nivelul de cunoastere intr-un anumit domeniu, atunci trebuie apelat la manuale si tratate ale domeniului respectiv sau la experti. In legatura cu redactarea itemilor exista o discutie extrem de ampla asupra careia vom mai reveni. 5. apelarea la experti dupa generarea itemilor pentru a evalua calitatea acestora in vederea retinerii doar acelora care intrunesc rangurile cele mai inalte - In general acesti experti trebuie sa provina din domeniile pe care testul le are in vedere. Exemplu: itemii pentru masurarea depresiei ar trebui evaluati de catre experti in domeniul sanatatii mentale (psihologii clinicieni) 6. pilotarea sau pretestarea testului - Esantionul utilizat pentru pilotare ar trebui sa reprezinte o extractie reprezentativa din populatia cu care persoana testata in viitor va fi comparata. Odata administrat testul pe esantionul pilot, se intrepirnd urmatorele operatiuni: a) determinarea corelatiei dintre fiecare item si scorul general. In cazul in care testul are in compozitia sa alte subteste, aceasta procedura trebuie realizata inclusiv la nivelul fiecarui subtest pentru a fi inlaturati itemii care nu coreleaza semnificativ cu scorul total; b) eliminarea itemilor prea facili sau prea dificili. Aceasta procedura va maximiza consistenta interna a testului. Consistenta interna constituie o masura a fidelitatii testului; c) se calculeaza coeficientul Alfa-Kronbach. Aceasta statistica exprima masura in care un subtest sau testul insusi cand nu are in componenta alte subteste, masoara un singur construct, respectiv gradul in care toti itemii masoara aceeasi abilitate sau trasatura.(> 0,70) 7. validarea si crosvalidarea testului - Validarea reprezinta corelarea performantelor obtinute pe un esantion la test cu performantele aceluiasi esantion la o activitate (notele la matematica pentru un test de inteligenta scolara). Crosvalidarea reprezinta utilizarea unui alt esantion extras din aceeasi populatie prin care sa se realizeze o noua validare. 8. calcularea datelor normative - Se calculeaza o serie de statistici (tendinte centrale, medie, abatere) care permit convertirea scorurilor individuale la test in exprimari calitative bazate pe compararea scorului individual cu performanta esantionului normativ. 5. Constructia testelor psihologice de aptitudini si a testelor de cunostinte Numarul de pasi in constructia testelor psihologice, prezentati de diversi autori, variaza si aceasta deoarece unii dintre ei sunt mai rigurosi in a detalia toate fazele pe care le implica constructia acestor itemi. Un algoritm cu nurmar redus de pasi privind constructia testelor psihologice, contine urmatoarele etape: 1.precizarea scopului testarii (testarea aptitudinii spatiale, testarea iteligentei, testarea cunostintelor asimilate de catre studentii in inginerie la finalul celui de-al doilea an de studiu). Se precizeaza domeniul pe care-l vizeaza viitorul test (ocupational, clinic, educational) 7

Bazele Constructiei Testelor Psihologice 2.definirea continutului in cadrul unui test de cunostinte se delimiteaza domeniul de continut pe care testul il va avea in vedere. 3.redactarea itemilor 4.pilotarea itemilor in aceasta faza este fixat instructajul testului si se determina tipurile de raspuns impreuna cu modalitate de scorare 5.administrarea testului pe un esantion normativ prilej cu care sunt controlat caracteristicile psihometrice ale testului. In acest stadiu este selectionat esantionul de itemi, astfel incat acesta sa satisfacta exigentele validitatii de continut ceea ce inseamna ca itemii trebui sa fie reprezentativi pentru constructul masurat. 6.redactarea manualului testului in care sunt condensate toate informatiile necesare pentru a asigura si justifica validitatea, fidelitatea si sensibilitatea testelor Algoritm de constructie a testelor psihologice compus din 12 etape: 1.stabilirea planului general al constructiei testului etapa extrem de importanta deoarece in aceasta etapa este definit scopul, dar si domeniul pe care il va tinti viitorul test, sunt fixate etapele care vor fi parcurse in constructia testului, sunt fixate responsabilitatii in cadrul echipei odata cu termenele de indeplinire a acestora. In aceasta faza sunt luate in considerare principalele tipuri de amenintari la adresa validitatii carora etapele de constructie ale noului test vor terbui sa identifice diverse solutii. Toate proiectiile privitoare la constructia testului care sunt efectuate in aceasta faza au o implicatie fundamentala asupra felului in care testul va satisface cerintele de natura psihometrica, precum si rezultatele pe care le va produce odata cu aplicatia lui vor sustine validitatea interpretarii. 2.definirea domeniului continutului - in functie de modul in care decurge aceasta etapa, decat de bine este fixat continut, se va asigura validitatea de continut, adica reprezentativitatea itemilor pentru constructul masurat 3.stabilirea specificatiilor testului se refera la forma itemilor, daca sunt de natura materiala (sau grafica plansele testului cuburilor Kohs) sau de natura verbala (itemii oricarui test de inteligenta verbala). Un rol important in aceasta faza il are stabilirea caracterului tipului de raspuns la itemi daca acestia sunt de tip eseu cu raspuns liber sau cu raspuns la alegre. Fundamentale pentru constructia testului este decizia daca numarul variantelor de raspuns va fi mai mare decat 2, adica mai multe decat raspunsurile dihotomice adevarat/fals, da/nu, corect/incorect. Numarul variantelor de raspuns trimite la un anumit tip de relatia pe care itemii il vor avea cu criteriul de validare se stie ca itemii dihotomici au o relatie nonlineara cu criteriul de validare. Aceasta inseamna ca statisticile utilizate in studiul relatiei de covariere intre performanta la test si performanta la criteriu vor fi diferite - coeficientul de corelatie Pearson pentru raspunsurile trihotomice sau pentru itemii cu mai multe variante de raspunsuri si coeficientul de corelatie Spearman pentru itemii cu raspunsuri dihotomice. Specificatiile legate de test se refera de asemenea la numarul de itemi estimat a fi inclusi in test, se refera de asemenea la formatul acestora daca stimulul si raspunsul vor fi redactate pe aceeasi pagina. Deciziile pe care constructorul le face in aceasta privitor la specificatiile testului sunt 8

Bazele Constructiei Testelor Psihologice fundamentale pentru maniera in care va decurge constructia lui in etapele viitoare si pentru rezultatele si demersul constructiv va satisface cerintele de natura psihometrica. 4.elaborarea itemilor in randul constructurilor de teste exista specialisti care sunt specializati in redactarea itemilor. Reprezinta poate faza cea mai creativa a constructiei testelor respective. Cu cat itemii vor fi mai bine redactati cu atat amploarea si complexitatea activ desfasurate in etapele urmatoare vor fi mai reduse. Itemii trebuie sa reprezinte materailizari, operationalizarii ale constructului masurat. Ei trebuie sa satisfaca in primul rand cirteriul validitatii de continut. Talentul de a scrie itemi nu este innascut. El se bazeaza pe cultura psihologica, pe cunoasterea in profunzime a domeniului de continut si pe antrenament. In occident antrenamentul in constructia itemilor se realizeaza in cadrul unor workshopuri. Se realizeaza prin antrenament, prin tutorial si prin feedback. 5.stabilirea designului testului elementele de design se refera la modalitatea de redactare, modalitatea de incadrare in pagina a itemilor, dar se refera si la designul experimentelor care vor urma in fazele urmatoare pentru studiere colectiei ipotetice de itemi. Vom folosi spre exemplu un design experimental bazat pe gruprui independente, adica grupuri contrastante, sau vom prefera corelarea rezultatelor la test cu scorurile obtinute la criteriu? 6.productia testului se refera la activitatile care privesc procesarea, redactarea, tiparirea testului respectiv. In aceasta faza testul capata forma de caiet sau forma unei colectii de sarcini sau forma unor tablouri asa cum este cazul itemilor de performanta din cadrul bateriei Wechsler, unde trebuie puse elementele necesare pentru a realiza un desen acesti itemi se numesc construire de obiect. 7.administrarea testului implica faza de pilotarea in care sunt puse la punct anumite detalii privitoare la formatul itemilor, la tipurile de rapuns, la instructaj, la exemplele furnizate pentru intelegerea sarcinilor; si faza de testare propriu-zisa a unui esantion mult mai consistent in vederea constituirii unei baze de date pe care sa fie aplicate statisticile ncesare care vor aigura validitatea, fidelitatea si sensibilitatea testului calculul indicilor de start, trasarea poligonului de frecvente sau a histiogramei, analiza de regresie, analiza factoriala, analiza de cluster s.a. 8.scorarea raspunsurilor modalitatea de scorare a raspunsurilor are consecinte asupra caracteristicilor psihometrice, de aceea scorarea raspunsurilor presupune demersuri de natura evaluativa, cat si de natura statistica. In alegerea modalitatii de scorare un rol important il joaca frecventa scorurilor prilej cu care se urmareste daca aceasta distributie estimeaza normalitatea. Scorarea raspunsurilor trebuie efectuata de asa natura incat procentajul P de reusita la fiecare item sa se situeze intre 20-80%. Daca procentajul de reusita este sub 20% atunci itemul este mai dificil decat limita de la care el devine selectiv. Peste 80% itemul este prea usor si de asemenea este prea putin selectiv. Intr-o prima etapa se utilizeaza experti care evalueaza nivelul de adecvare al scorarii la obiectivele pe care le urmareste masurarea cu acel test. 9.stabilirea scorurilor de admisibilitate in cazul multor teste de aptitudini, dar mai ales in cazul testelor de cunostinte, stabilirea scorului de admisibilitate are ca tinta 9

Bazele Constructiei Testelor Psihologice fixarea unui anumit prag sub care cei testati vor fi respinsi. In stabilirea pragurilor de admisibilitate se utilizeaza atat metode de natura evaluativa apelul la experti, cat si metode statistice analiza de regresie prin care un anumit criteriu de performanta este estimat in functie de scorurile obtinute la test. 10.prezentarea rezultatelor testului sub aceasta denumire este inglobata o intreaga gama de activitati de sinteza prin care toate etapele si rezultatele obtinute in etapele de constructie a testului sunt redactate pentru a putea pune la dispozitia utilizatorilor toate informatiile necesare care sa contribuie la cresterea interpretarii testului. In mare parte din rezultatele acestei activitati vor fi incluse in manualul testului. 11.banca de itemi ideea realizarii unei banci de itemi care sa gestioneze in functie de varietatea de criterii si intr-o maniera flexibila toti itemi elaborati in faza 4 de elaborare a testului a capatat consistenta odata cu accesul larg al constructorilor de teste la facilitatile IT. O banca de itemi este cu atat mai utila cu cat ea va sta la baza realizarii unor versiuni paralele ale testului deja elaborat. Versiunile paralele sunt utilizate atunci cand se pune problema retaestarii anumitor grupuri de persoane in domeniul clinic dar si in alte domenii fara ca efectul de facilitare (efectul imbunatatirii raspunsurilor ca urmare a cresterii sentimentului de familiaritate cu testul respectiv si al invatarii itemilor) sa genereze influente perturbatoare. Problema realizarii unei banci de itemi este cu mai multa acuitate valabila in cazul testelor de cunostinte unde efectul de facilitare este mai puternic. O banca de itemi nu este super flow in cazul inventarelor de personalitate, mai ales in cazul unor itemi vizibili, unde o noua retestare ridica problema alterarii raspunsurilor. Realizarea unei banci de date nu se refera doar la stocarea itemilor ci la accesarea lor ori de cate ori este nevoie, accesare ce se realizeaza in functie de niste facilitati de randomizare. Realizarea unei banci de itemi pune problema posibilitatii de a sorta itemii din perspectiva mai multor criterii considerate simultane. In cazul unui test de inteligenta criteriile posibile itemi nonverbali cu raspunsuri la alegere de tip adevarat/fals cu grad de dificultate mediu etc. O alta problema pe care o ridica elaborare unei banci de date este securitatea acestora- reglementarea accesului membrilor echipei, cat si a accesului altor persoane, liberul acces poate sa duca la invalidarea testului. 12.raportul final reprezinta modalitatea de redactare intr-o forma coerenta a rezeultatelor celor 11 etape. O parte consistenta in raport o ocupa prezentarea rezultatelor, dar si istoricul realizarii testului obiectivele asumate in faza de stabilirea a planului general, modul in care au fost repartizate sarcinile, cu scopul de a furniza in cadrul manualului testului toate informatiile necesare care sa sustina validitatea instrumentului si a interpretarii.

II. Adaptarea multiculturala a testelor psihologice

Datorita intensificarii schimburilor culturale intre tarile comunitatii europene, occidentale, lumii contemporane, circulatia testelor atat psihologice cat si educationale, s-a intensificat considerabil. Ratiunea acestei extinderi multiculturale a utilizatii testelor, o constituie pe de o parte nevoia unei tari de a imprumuta astfel de instrumente si de a se

10

Bazele Constructiei Testelor Psihologice apropia astfel de nivelul unor tari cu traditie in domeniu, pe de alta parte nevoia si interesul pe care comunitatea stiintifica de pretudindeni il manifesta in raport cu comparatiile multiculturale. Studiul diferentelor multiculturale are rolul atat de a surprinde specificul anumitor culturi, dar si de a facilita o mai buna comunicare intre culturi. Exemplu: cea de-a III-a Conferinta Internationala de Matematica a stabilit elaborarea unor teste de stiinta si de matematica la nivelul a 45 de tari si a peste 35 de limbi nationale. Multa vreme adaptarea testelor psihologice a fost confundata cu traducerea acestora. Adaptarea unui test psihologic include toate activitatile incepand cu decizia daca un test ar putea masura acelasi construct intr-o limba si cultura diferita, la selectarea traducatorilor, la decizia privind realizarea unor pregatiri prin care testul se doreste sa fie utilizat intr-o a 2-a limba. Dimpotriva, traducerea este doar unul din pasii procesului de adaptare. Chiar si in cazul cand vorbim doar de traducere este mai potrivit termenul de adaptare intrucat traducerea nu se face mecanic, ci presupune identificarea de concepte de cuvinte care din punct de vedere cultural, psihologic si lingvistic sunt echivalente in a doua limba si cultura. Prin urmare, o traducere literara a unui test, atunci cand aceasta este o etapa in cadrul procesului mai amplu de adaptare, merge dincolo de simpla traducere literara. Aceasta idee este intarita de faptul ca utilizarea unor constructe neechivalente reprezinta o sursa de eroare in cercetarile crosculturale efectuate cu teste incorect sau insuficient adaptate. Exemplu: constructul calitatea vietii. Intr-o tara constructul ar putea include posesia unor bunuri materiale (masini, case etc.), in timp ce intr-o alta cultura, acest construct ar putea include putin mai mult decat necesarul de hrana pentru supravietuire si asistenta medicala. Cel care adapteaza un test trebuie sa-si puna problema daca un anumit construct poate fi sensibil in compara doua culturi diferite. Are constructul masurat un alt inteles in alta cultura?. Pentru aceasta au fost propuse mai multe abordari: Hamleton: prin intervievarea sau observarea oamenilor din cele doua culturi sau intrebandu-i pe altii (experti) despre cele doua culturi. O astfel de abordare este subiectiva si de aceea este nevoie de utilizarea unor multiple surse de dovezi ale conceptului ce urmeaza a fi masurat. Un bun exemplu privind implicatiile unui test ineficient de bine adaptat la noua cultura in comparatie cu cultura de provenienta, il constituie o cercetare intreprinsa de Richard Wolf (1990) pe studenti americani si pe studenti nevorbitori de limba engleza. Studentii americani au fost solicitati sa identifice similaritatea sau nesimilaritatea unor termeni- sanguinic/pesimist. La studentii vorbitori de limba engleza performanta a fost de 54%. La studentii nevorbitori de limba engleza performanta a fost de 98%. S-a constatat ca tara nevorbitoare de limba engleza nu avea in uz cuvantul sanguin, el fiind interpretat cu optimist. Acesta din urma, fiind interpretat mai usor, subliniaza pericolul in a trage concluzii in lipsa unei evidente puternice ca procesul de adaptare a testului respectiv a avut ca rezultat 2 teste echivalente. Datorita importantei problematicii realizarii unor teste intru totul paralele, teoria si metodologia adaptarii intr-o alta cultura a testelor psihologice, a cunoscut o crestere a complexitatii considerabile in ultimele doua decenii. 11

Bazele Constructiei Testelor Psihologice Un rol important in partea teoretica metodologica a adaptarii testelor o ocupa discutarea erorilor care pot sa apara in procesul de adaptare. 1. Diferentele culturale si de limbaj care pot afecta scorurile la teste a. Echivalenta constructelor - Se refera la maniera in care constructul masurat este corect operationalizat in fiecare limba sau cultura. Ex: calitatea vietii (vezi mai sus) b. Administrarea testului - Comunicarea dintre examinator si persoana examinata poate naste serioase amenintari la adresa validitatii. Cele mai multe probleme apar atunci cand instructiunile care preced testul nu sunt clar communicate. O cale de a elimina aceste probleme este de a ne asigura ca instructiunile la un test sunt clare si suficient de explicative. O problema importanta o constituie examinatorul insusi. Astfel: - sa fie recrutat din comunitatile tinta; -sa fie familiarizat cu cultura limba si dialectul; -sa aiba experienta si aptitudini adecvate; -sa fie constient de importanta intocmai a tuturor procedurilor prevazute in manual; -sa se asigure un training adecvat personalului. c. Formatul testului - Se refera la diferentele interculturale privitoare la formatul itemilor. Exemplu: In SUA itemii cu alegere multipla au fost foarte extensiv utilizati. In alte culturi, mai ales cele de limba engleza, nu se poate presupune ca exista o familiaritate similara privitoare la itemii cu alegeri multiple. Aici s-a pus accent pe intrebarile cu raspuns scurt si de tip eseu. Elevii si studentii din afara culturilor de acest tip sunt dezavantajati, in comparatie cu cei din SUA. Solutia ar fi un format al itemilor familiar celor doua culturi. d. Viteza de lucru la test - Se presupune ca examinatorii vor lucra mai repede la testele cu timp impus decat la cele cu timp liber. Este posibil ca in anumite culturi sa nu existe o suficienta experienta a populatiei pentru testele cu timp impus. Intr-un studiu (1990) pe populatia olandeza si pe populatia de culoare, s-a constatat ca testele cu timp impus inregistrau scoruri deformate. Pe de alta parte este un fapt comun ca in testele de aptitudini intalnim itemi rezolvati corect mai degraba la final decat la inceput. Asta se datoreaza faptului ca unele persoane au performante mai scazute la citit si din aceasta cauza fie raman in urma celorlalti, fie nu le finalizeaza. Cea mai buna solutie este de a minimiza importanta vitezei de rezolvare a testului, acolo unde viteza nu este o parte relevanta a constructului care este masurat. Exemplu: in problemele de rationament analtic, viteza nu este o parte integranta. Aici nu exista alta cale decat a explicita persoanelor testate ca trebuie sa lucreze foarte repede. e. Probleme tehnice de design si de metoda - Exista 5 factori tehnici care pot influenta validitatea testelor adaptate pentru alta limba sau cultura: 1) testul insusi; 2) translatorul (selectia si antrenamentul acestuia); 3) procesul de traducere;

12

Bazele Constructiei Testelor Psihologice 4) designurile pentru adaptarea testelor; 5) modalitatea de colectare si de analiza a datelor pentru a stabili echivalenta formei adaptate cu forma initiala. 1)= anumite aspecte pot fi dificil de tradus, dar pot fi luate in considerare prin formularea unor specificatii la nivelul instructajului sau chiar in redactarea itemilor. Exemplu: intrebarile referitoare la bani ar trebui eliminate intrucat acestia difera de la tara la tara si sunt greu de facut echivalente; hocheiul pe ghiata pentru tarile calde; folosirea unor timpi ai verbelor fara echivalenta in cealalta limba; scalele inventarelor de personaliate- trebuie alese situatii care vor fi adaptate usor (behavior poate sa nu aibe nici un inteles in alta limba). 2)= procesul de traducere este o functie a calitatii traducatorului si a costului pe care acesta il ridica. Este recomandata utilizarea mai multor traducatori pentru ca unul singur aduce o anumita perspectiva pentru anumite expresii. Traducatorii ar trebui sa urmeze un training in domeniul construirii testelor pentru a fi familiarizati cu principiile de baza ale constructiei testelor. 3)= probleme de traducere intervin mai ales atunci cand testul urmeaza sa fie tradus intrun dialect. Chiar si cand este vorba de 2 tari diferite ar trebui sa se tina seama de frecventa cuvintelor in lima. 4)= sunt utilizate 2 designuri mai frecvente: traducerea si retroversiunea termenilor. In cadrul designului un singur translator sau un grup de translatori adapteaza testul de la limba sursa la limba tinta. Apoi echivalenta celor doua versiuni este judecata de un alt grup de traducatori. Reviziile pot fi facute pentru a corecta problemele identificate uneori, un pas final il constituie ca o alta persoana care nu este translator sa citeasca versiunea adaptata a testului pentru a se face eventualele corecturi. Cel mai mare dezavantaj al acestui design este ca aprecierile sunt facute cu echivalenta versiunii sursa si a celei tinta. Validitatea judecatii poate fi marita utilizand un grup mai mic de persoane examinate care vor furniza interpretarile lor. Designul retroversiei este cel mai cunoscut design de evaluare. In cadrul acestuia unul sau mai multi traducatori adapteaza un test din limba sursa in limba tinta. Alt traducator va retraduce noua versiune din limba tinta in limba sursa. Atunci originalul si ultima versiune vor fi comparate si judecate. In masura in care cele 2 versiuni sunt similare in limba sursa se obtine o echivalenta intre acestea. 5)= sunt utilizate 3 modalitati: a) aceeasi subiecti primesc ambele versiuni (originala si adaptata) cu conditia sa fie subiecti bilinguali. Avantajul este acela ca diferenta pe care ar putea sa o introduca ca pe o variabila straina utilizarea unor grupuri diferite este eliminata. b) Varianta originala sau varianta sursa este administrata unor subiecti din cultura sursa. Lor li se administreaza intr-o a 2-a etapa versiunea retro. Prezinta avantaj faptul ca atat varianta originala cat si varianta tinta, fiind administrate unor subiecti ai culturii de origine, permite studiul diferentelor intre cele doua variante din perspectiva versiunii originale. c) Subiectilor din cultura de origine li se administreaza versiunea tinta, iar unor subiecti din cultura tinta li se administreaza versiunea adaptata. Dificultatea consta in a face echivalente cele doua grupuri. 13

Bazele Constructiei Testelor Psihologice f. factori care afecteaza interpretarea rezultatelor - Interpretarea rezultatelor studiilor interculturale poate fi afectata de: - curricula; - politicile educationale; - standardele de sanatate si de viata; - valorile culturale ale celor 2 culturi, populatii. Exemplu: similaritatea curriculei. In masura in care exista diferente in curricule, performantele intre diferite culturi pot fi eronate daca nu se tine cont de aceste diferente. Westburi (1992) observa ca, la studiul international pe domeniul matematicii, rezultatele elevilor americani sunt mai slabe la fiecare clasa, la fiecare aspect al matematicii cuprins la test, comparativ cu rezultatele elevilor japonezi la aceleasi teste. Acest lucru s-a datorat diferentelor curriculare intre tari. Acolo unde nu existau diferente curriculare, rezultatele erau asemanatoare. Motivatia studentilor/elevilor afecteaza si ea performanta rezultatelor. Astfel pot fi multi studenti de culoare din Africa de Sud care au ca scop atingerea minimului de scor pentru promovare. 2. Indrumari practice pentru adaptarea testelor Urmatoarele indrumari au fost propuse de un comitet international si sunt citate de Hamleton in opera citata in 1996. 1. Indrumari privind contextul adaptarii testelor la o cultura si limba diferite: a) efectele diferentelor culturale care nu au o importanta covarsitoare pentru scopurile principale ale adaptarii. Ar trebui totusi sa fie minimizate intr-o cat mai mare masura. Ratiunea acestei recomandari rezida in faptul ca exista multi factori care afecteaza comparatiile crosculturale, ei trebuind sa fie luati in considerare ori de cate ori doua grupuri cu background lingvistic si cultural diferit sunt comparate. Caz special: dezvoltarea sau adaptarea unui test sau interpretarea scorurilor; b) gradul de suprapunere a constructului masurat de test , masurat in cele doua populatii (sursa si tinta) ar trebui sa fie evaluat. Ratiune: diferentele dintre culturi si limbi diferite depind nu doar de traditii, norme, valori ci si de conceptii diferite despre lume. 2. Indrumari privitoare la dezvoltarea si adaptarea testelor. Editorii, ca si constructorii de teste, ar trebui sa se asigure daca procesul de adaptare tine cont de diferentele culturale si lingvistice luate in considerare. Ei ar trebui sa furnizeze dovezi ca limba utilizata in instructiunile, scorarea si itemii testului sunt potrivite pentru toate populatiile culturale si lingvistice pentru care testul este proiectat.Ei ar trebui sa dovedeasca faptul ca alegerea tehnicilor de testare, a formatului itemilor si a altor proceduri sunt cat de cat familiare celor doua populatii implicate in procesul de constructie si adaptare. Privitor la administarea testelor psihologice, exista recomandarea ca toate aspectele care tin de mediu si care influenteaza administrarea unui test sa fie uniformizate in ambele populatii (sursa si tinta). Privitor la interpretarea scorurilor ar trebui efectuata o documentare privitoare la

14

Bazele Constructiei Testelor Psihologice schimbarile care pot sa apara impreuna cu dovada care sa sustina echivalenta versiunii adaptate. In vederea atingerii obiectivului ca in procesul de adaptare diferentele culturale si lingvistice au fost luate in considerare de regula, trebuie urmate etapele: a) asigurarea ca traducatorii au experienta si calificarea necesara; b) cunoasterea de catre traducatori a problemelor de baza ale adaptarii testelor pentru ca altfel, subtilitatile si nuantele adaptarii testelor nu ar putea fi reflectate in procesele de traducere. Un proiect de adaptare a unui test este mai bine realizat de catre o echipa de specialisti decat de unul singur. Un posibil design: utilizarea echipei de traducatori lucrand individual sau in grupuri mici, apoi compararea traducerilor iar diferentele rezolvate in sensul unei singure traduceri. Editorii si constructorii testelor ar trebui sa dovedeasca atat din punct de vedere lingvistic cat si psihologic ca procesul de adaptare a condus la versiuni echivalente ale testelor. Dezvoltatorii si editorii testelor ar trebui sa se asigure ca designul de colectare a datelor permite utilizarea unor tehnici statistice adecvate care sa asigure echivalenta versiunilor testului. Ei trebuie sa furnizeze informatii in manualul testului privitoare la validitatea versiunii adaptate si dovezi statistice cu privire la echivalenta itemilor. 3. Probleme de natura conceptuala si metodologica in adaptarea testelor psihologice Problema fundamentala o constituie asigurarea simultana a unei echivalente lingvistice cat si a unei psihologii a itemilor. Din punct de vedere lingvistic, o versiune echivalenta a testului sursa ar trebui sa reprezinte o traducere mot-a-mot a itemilor testului sursa pentru ca numai astfel conceptul masurat de test e conservat si in limba tinta. Totusi, o astfel de traducere poate sa nu asigure echivalenta psihologica. Aceasta echivalenta este la fel de necesara. Astfel, nu pot fi realizate instrumente inalt calitative in limita tinta. Una dintre problemele pe care le genereaza necesitatea unei echivalente simultane este aceea privitoare la BIAS si echivalenta. Termenii de BIAS si echivalenta au semnificatii diferite. BIAS este des asociat cu prezenta unor factori nedoriti. O masura poate fi considerata a fi afectata (BIASED) daca scorurile la test in versiunile din cele doua limbi sunt in mod diferit afectate de o sursa de variatie nedorita. Un exemplu il constituie traducerea din limba engleza a itemului de cunostinte generale unde este mai probabil sa traiasca puiul cu pielita la degete?. Traducand in suedeza pasare cu picioare inonatoare genereaza un indice mai puternic privitor la solutia corecta comparativ cu limba engleza. Un alt exemplu: sondajul european privitor la valori unde scorul spaniol la un item ce masoara loialitatea are in spaniola o conotatie usor diferita (credincios sexual). Echivalenta este asociata cu aspecte ale masuratorii implicate in comparatii etnice. Si aceasta are consecinte contaminative. Un item sau un instrument care este BIASED va genera scorul neechivalent si ca atare scorurile nu vor putea fi comparabile. Cu toate acestea

15

Bazele Constructiei Testelor Psihologice partinirea nu este o proprietate intrinseca a unui instrument intr-un anumit scop si cu un anumit scop. Exista 3 tipuri de BIAS (contaminare). Desi pot rezulta dintr-o varietate de surse, exista 3 BIAS-uri principale ce trebuie luate in considerare: 1) BIAS-ul de construct (deformarea de construct); 2) BIAS-ul de metode (deformarea metodei); 3) BIAS-ul de item/deformari ale itemilor (Van der Visner) 1)= se refera la diferentele care privesc un anumit construct la nivelul unor grupuri culturale diferite. De exemplu: elementele constitutive ale unui construct (comportamente, atitudini, norme) nu pot fi identice in grupuri culturale diferite. Exemplu: Inteligenta. Cele mai multe teste de inteligenta au o definitie implicita a acesteia ca fiind o gandire si o capacitate de a gandi si relationa logic (Raven). Sau Weschler in scalele sale de inteligenta: cunoasterea dobandita de un individ si memoria. Aceste diferente sunt cel mai adesea constatate cand indivizii sunt pusi sa descrie caracteristicile unei persoane inteligente. Exemplu: studiile efectuate in alte culturi decat cele vestice au raportat faptul ca conceptiile despre inteligenta sunt mult mai largi si includ in alte culturi si aspecte sociale. (mamele din Kenya: un copil inteligent este acela care isi cunoaste locul in familie, care cunoaste comportamentele asteptate din partea lui si maniera de a se adresa altor oameni; Zambia: o persoana inteligenta merge dincolo domeniul scolar cu care inteligenta e asociata in cultura occidentala). Se pune problema esantionarii corecte a universului sensurilor pe care le implica un concept, care este operationalizat intr-un instrument. TRIANDIS, 1978 a pretins ca masuratorile efectuate in psihologie sufera de o reprezentare slaba a constructelor operationalizate. Datorita unei operationalizari restrictive a constructului masurat de test, in compararea a doua grupuri culturale intre care exista o mare distanta pot sa apara serioase alterari. 2)= se refera atat la instrumentul de masurare, cat si la administrarea acestuia. a) Privitor la instrument este vorba de acele proprietati ale acestuia care nu au fost studiate indeajuns dar care pot induce diferente in scorurile la test. Exemplu: gradul de familiarizare al subiectului cu stimulii si raspunsurile (formatul raspunsului). Serpel, 1979 a studiat atitudinile perceptive ale copiilor, figurile utilizate, metoda creionhartie, plastelina, prezenta mainilor si modelarea cu ajutorul unor fire de metal (foarte populara in Zambia). Copiii din Anglia i-au depasit pe cei din Zambia la probele creionhartie, iar cei din Zambia i-au depasit pe cei din Anglia la proba de modelare cu fire de metal. Aceasta inseamna ca familiarizarea cu un anumit tip de raspuns constituie o deformare a scorurilor la test. Triandis, 1989 a gasit diferentele intre europeni, americani si hispanici privitoare la utilizarea scalelor de evaluare cu 5 trepte si cea cu 10 trepte. Exemplu: hispanicii tindeau sa utilizeze extremele la scalele cu 5 trepte, mai frecvent decat euro-americanii. Nu se intampla la fel in scalele cu 10 trepte. b) a 2-a categorie de BIAS de metoda se refera la administrarea testelor, mai exact la instructajul sau probleme de comunicare intre examinator si persoana testata. Acest lucru se

16

Bazele Constructiei Testelor Psihologice intampla cand se utilizeaza alta limba decat cea materna. Lipsa cunostintelor despre cultura persoanelor testate duce la violarea instructajelor testelor. Este deja cunoscut in psihologie influenta deosebita pe care o are asupra intervievatului caracteristicile intervievatorului: varsta, genul, etnia. Trebuie concluzionat ca deformarile care tin de instrumente pot avea un efect larg asupra scorurilor la teste. De asemenea, deformarile in educatie sau care tin de o expunere anterioara la acel test pot afecta scorul la anumiti itemi cu continut legat de scoala. 3)= se refera la amenintarile validitatii care afecteaza anumiti itemi in timp ce deformarile constructorului si metodei afecteaza caracteristicile mai generale ale instrumentului. Afectarea itemilor a fost comentata pentru prima data in 1968 de Cleary si Hilton, apoi a fost inlocuita cu termenul functionare diferentiala a itemilor. Traducerea defectuoasa si conotatiile diferite acordate unor cuvinte: Exemplu: agresivitatea explicata prin cearta, determinare si pregatire pentru conflict. In dictionarul britanic agresivitatea reprezinta actul de a ataca fara provocare, de a incepe o cearta. In principiu, asa cum arata Holland si colaboratorii un item este considerat a fi deformat daca are acelasi scor la general, la test are acelasi scor asteptat la un item anume. Pentru analiza surselor de deformare a itemilor se divizeaza cele 2 esantioane din cele 2 culturi intr-un numar de grupuri constituite pe nivele de scoruri. Exemplu: in primul grup american introducem subiecti cu scorul egal cu unitatea. In mod similar, in grupul olandez introducem persoanele cu scorul egal cu 1. Apoi urmatoarele grupuri cuprind scorurile egale cu 2. Astfel putem compara scorurile esantionului american cu cel olandez cu acelasi nivel de scor si nu comparam scorurile medii. De exemplu, itemul despre presedintele american va fi deformat daca subiectii americani si olandezi cu acelsi scor la test nu vor avea acelasi scor mediu la acel item. Mellenbergh, in 1982 a propus distinctia intre deformarea uniforma si neuniforma. Un item este uniform deformat daca diferentele sunt mai mari sau mai mici, constante la toate nivelele de performanta. Deformari ale esantionului/incompatibilitatea esantioanelor implicate in procesul de adaptare al testului la o alta cultura este vorba de inegalitatile privitoare la reprezentativitatea esantionului pentru culturile din care ele sunt extrase. Exemplu: profesorii care isi fac studiile pe studenti (nu oricine poate intra la Harward)

4. Probleme de natura etica in adaptarea Testelor Psihologice 1) Autorii de teste pot dezvolta un test care ulterior va fi adaptat cu autorizarea lor. Adaptarea poate fi realizata fie cu fie fara implicarea lor cu asistenta specializata; 2) Companiile care publica si distribuie testele care ulterior vor fi adaptate numai cu autorizarea lor, pot fi implicate sau nu in adaptarea la o alta cultura a testului respectiv;

17

Bazele Constructiei Testelor Psihologice 3) Autorii unui test pot sau nu sa fie implicati in publicarea unei versiuni ulterioare a unui test. Exemplu: editiile ulterioare ale WISC au 26 de adaptari oficiale dar este utilizat in 34 de tari ceea ce conduce la idea existentei unor versiuni neautorizate; 4) In dezvoltarea testelor psihologice sunt antrenati profesionisti cu experienta care apoi dezvolta asfel de teste in alte limbi si culturi. Exemplu: staff-ul Microsoft produce peste 45 de teste anual in 16 limbi pentru utilizarea in peste 75 de tari; 5) O componenta importanta a sistemului de adaptare a testului la alta cultura o constituie formatorii de specialisti in domeniul testelor; 6) In acelasi sistem trebuie implicate alte grupuri cum sunt cele ale consumatorilor de teste psihologice. Persoanele si organizatiile ce consuma informatiile provenite din aplicarea testelor in vederea luarii deciziilor. Reglementarile si standardele etice se refera in general la urmatoarele probleme: Standarde tehnice: au rolul de a promova bunele practici pentru adaptarea testelor si determinarea echivalentei scorurilor la acestea; Deprinderile si aptitudinile profesionale: categoria de standarde ce ia in dezbatere calitatea persoanelor care utilizeaza teste adaptate; Standarde morale: nevoia de a actiona intr-o maniera etica si profesionista din partea celor care utilizeaza testele, responsabilitatea, asigurarea materialelor necesare utilizarii testelor, confidentialitatea rezultatelor. O serie de principii etice generale privesc urmatoarele domenii: 1) beneficiul si avantajul persoanelor testate; 2) fidelitate si responsabilitate; 3) integritate, justitie si respect pentru demnitatea oamenilor; 5. Metode statistice folosite pentru identificarea greselilor in procesul de adaptare a Testelor 1) Tehnici statistice pentru evaluarea echivalentei constructelor cercetarile crosculturale pentru a evalua echivalenta constructelor operationalizate in instrumente pot utiliza statistici inainte si dupa testarea esantioanelor. a) Evaluarea echivalentei constructelor inainte de test este vorba de efectuarea acestei analize in absenta datelor rezultate din testare. Acest lucru este posibil prin colectarea de date despre aceasta echivalenta de construct de la experti care reprezinta diverse culturi si limbi (ex: engleza si romana). Triandis, 1985 = mici esantioane de evaluatori au evaluat similaritatea intelesului unor perechi de itemi utilizati intr-o anumita evaluare. Autorii au utilizat scale multi-dimensionale pentru a desprinde caracteristicile pe care expertii le-au utilizat in a evalua similaritatea. Daca aceste caracteristici sunt prezente la toti evaluatorii, obtinem o dovada preliminara a echivalentei constructelor. Daca experti apartinand unor culturi diferite utilizeaza caracteristici diferite, atunci se poate folosi informatia pentru a modifica una sau ambele versiuni ale evaluarii.

18

Bazele Constructiei Testelor Psihologice b) Evaluarea echivalentei dupa efectuarea testarii in acest caz exista cel putin 4 abordari: Analiza factoriala exploratorie; Analiza factoriala confirmatoare; Scalarea multidimensionala; Comparatii in retele normologice. Analiza factoriala exploratorie este cea mai frecvent utilizata metoda statistica pentru a evalua daca un construct este intalnit in aceeasi forma si cu aceeasi frecventa in culturi diferite. Metoda consta in efectuarea analizei factoriale a scorurilor la itemi sau la test separate pentru fiecare scop. Apoi se inspecteaza vizual cele 2 matrici care contin incarcarile factorilor. Desi aceasta abordare este intuitiva, prin intermediul urmatoarelor reguli de decizie se poate aprecia daca cele 2 structuri sunt echivalente. Analiza factoriala confirmatorie este avansata cu titlul de ipoteza o anumita structura apriorica examinarii datelor. Structura presupusa este inglobata intr-un model matematic, o ecuatie si este constransa sa fie aceeasi in cele 2 grupuri. Cu alte cuvinte, echivalarea constructului este confirmata daca incarcarea factoriala este aceeasi in ambele grupuri. Scalarea multidimensionala la fel ca analiza factoriala exploratorie, scalarea multidimensionala nu necesita o structura factoriala specifica aprioric. Totusi, asemenea analizei factoriale confirmate, datele obtinute din cele 2 esantioane pot fi analizate simultan. Se utilizeaza un model matematic de analiza. Se urmareste identificarea unei structuri comune in cele doua grupuri. Ulterior, se urmareste modificarea structurii comune astfel incat aceasta sa se muleze pe datele fiecarui grup. Scalarea mutidimensionala furnizeaza mijloacele pentru a descoperi dimensiunea care se afla la baza raspunsurilor subiectilor si pentru a evalua daca aceasta este aceeasi in cele 2 grupuri (sursa si tinta). Compararea unor retele normologice - metodele trecute in revista anterior permit sa se verifice daca acelasi construct psihologic este masurat in cele 2 colectii de rezultate la test, respectiv daca poate fi identificata aceeasi structura a datelor (incarcarea factorilor) in cele 2 versiuni ale instrumentelor. Totusi, similaritatea structurii nu implica in mod necesar echivalenta constructului. Echivalenta structurala este necesara, dar nu suficienta. De aceea multi cercetatori au sugerat sa se mearga dincolo de aceasta si au propus necesitatea unei abordari mai globale care implica investigarea relatiilor intre scorurile la test pe de o parte si anumite variabile banuite a fi legate la constructul masurat. Cronbach si Mill (1955) au introdus termenul de retea normologica pentru a sublinia faptul ca un test nu poate fi validat folosind un singur criteriu. Privitor la evaluarea crosculturala, interrelatiile existente intre scorurile la test si alte variabile ar trebui sa fie aceleasi in ambele culturi si in ambele variante. Compararea retelelor normologice in diferite versiuni ale testului reprezinta o evaluare riguroasa a echivalentei constructului. Pentru a realiza acest lucru este necesar sa se identifice variantele externe care influenteaza masuratorile.

19

Bazele Constructiei Testelor Psihologice 6. Strategii statistice pentru a evalua deformarile metodei Wiswer si Tanter afirma ca exista 3 tipuri de deformari ale metodei: 1) Deformarea esantionului- se refera la diferenta dintre grupurile literare si cele lingvistice; 2) Deformarea instrumentului deformarea intr-o masurare comparativ intre cele 2 grupuri (familiarizarea cu formatul testului); 3) Deformarea administrarii testului- se refera la problemele de administrare (procedurile de standardizare a administrarii). Exemplu: administrarea gresita intr-un grup datorita instructiunii incorect traduse sau intelese. Analiza deformarii esantionului se realizeaza in scopul de a controla o serie de variabile perturbatoare care pot oferi explicatii alternative, altele decat cele avansate in ipoteza cercetarii, anume ca diferenta intre grupuri, intr-adevar se datoreaza nivelului diferit al capacitatii sau caracterizarii masurate. In acest scop se utilizeaza urmatoarele metode: a) analiza de varianta; b) utilizarea unor designuri sau blocuri randomizate; c) analiza de regresie; d) corelatia partiala;. Evaluarea deformarilor instrumentului si administarea acestuia apeleaza la 3 strategii statistice: 1) masurarea acelorasi trasaturi in toate grupurile implicate in cercetare . Daca diferentele existente intre grupuri nu sunt constante de-a lungul variabilelor testului, se poate incrimina existenta unei deformari; 2) utilizarea unor informatii colaterale in vederea evaluarii deformarii instrumentului sau a evaluarii. Analiza unei variabile aflate in legatura cu constructul operationalizat in test. Daca diferentele observate in grupurile implicate sunt inconsistente, neconcordanta cu diferentele observate la scorurile la test conduce la deformarea instrumentului sau a administrarii. 7. Tehnici statistice pentru evaluarea deformarii itemilor Stepen Sireci face distinctia intre impactul itemului si functia diferentiala a itemului (DIF). Impactul itemului conduce la o diferenta semnificativa intre grupurile implicate in cercetare privitoare la un item. Exemplu: un grup are o proportie mai mare de examinati care a raspuns corect la un grup decat celalat grup, asfel ca impactul itemilor poate fi apreciat datorita diferentelor existente sau sa se datoreze deformarilor suferite de acel item. Analiza DIF incearca sa precizeze daca impactul itemului de datoreaza diferentierii de performanta intre cele 2 grupuri sau se datoreaza deformarilor itemilor. Pentru aceasta analiza, examinatorii sunt egalizati pe baza capacitatii, aptitudinii masurate de test. Subiectii

20

Bazele Constructiei Testelor Psihologice apartinand acestor 2 grupuri diferite, egale din punct de vedere al performantei, ar trebui sa raspunda in mod similar. In caz contrar, itemul functioneaza diferit in cele 2 grupuri. Analiza impactului itemului si DIF sunt elemente de natura statistica. Analiza deformarii itemului este un demers calitativ. Un item este deformat la nivelul unui grup daca subiectii din acel grup obtin rezultate mai slabe decat grupul similar. De asemenea, ratiunea acestei performante mai slabe tine de constructul operationalizat in instrumentul de masurare. Pentru a afirma ca exista o deformare a itemului ar trebui identificata o caracteristica a acestuia care este prezenta intr-un grup si nu este prezenta in celalalt. Exemplu: un concept familiar pentru un singur grup. Statisticile utilizate utilizate in deformarea itemilor cauta sa identifice itemii care functioneaza diferit in grupurile considerate grupuri care trebuie egalizate din punct de vedere al capacitatii caracteristicii masurate. Odata ce itemii deformati au fost identificati, ei sunt supusi unor analize calitative in scopul explicarii diferentei constatate. Atunci cand explicatiile acestei diferente par sa nu aduca argumente ca itemii intr-adevar masoara caracteristica operationalizata, itemii sunt catalogati ca fiind deformati. 8. Metodele utilizate in analiza functionarii diferentiate a itemilor: 1) metoda delta plot (tabelul D); 2) metoda randomizarii; 3) metoda regresiei; 4) metoda Hi patrat (Lord); 5) teoria raspusurilor la itemi (TRI) 1)= se aplica pentru itemii cu raspuns dihotomic. In studiu sunt implicate 2 grupuri: unul provenind din cultura tinta, altul provenind din cultura sursa. La nivelul ambelor se calculeaza valoarea P (proportia subiectilor care au raspuns corect la item sau afirmativ daca este un test de capacitate). Se creeaza un tabel cu dubla intare, unde pe ordonata se trec valorile lui P pentru un grup cultural, iar pe abscisa valorile lui P pentru celalat grup cultural. Utilizand aceste 2 axe, fiecare item va fi reprezentat ca un punct de intersectie a 2 valori (P dintr-o cultura si P din alta cultura). Daca dificultatile itemilor sunt identice in cele 2 grupuri, atunci itemii, respectiv punctele care ii reprezinta, se vor dispune pe o linie care este inclinata la 45 grade de linia orizontala. Chiar in cazul cand itemii prezinta aceeasi dificultate, o anumita abatere de la linia dreapta este de asteptat datorita unor erori de esantionare. Daca un item este mult mai dificil sau daca anumite persoane sunt de acord cu propozitia respectiva, intr-un grup acel item se va situa mai departe de linia dreapta. El va fi considerat ca avand un potential de deformare. Daca linia nu trece prin sistemul de origine al celor 2 axe, aceasta reflecta diferentele fata de medie. Itemii care au fost identificati ca avand o functionare diferentiata, au fost reprezentati cu puncte negre si se situeaza in afara liniilor drepte. Ei urmeaza sa faca obiectul unor analize pentru a fi modificati sau indepartati.

21

Bazele Constructiei Testelor Psihologice 2)= Indexul de standardizare a fost propus in 1986 de Dorans si Kulik. El se bazeaza pe o valoare P conditionata. Aceasta valoare implica calcularea valorii P pentru fiecare item, valoare care este pusa in relatie cu scorul total la test. Exemplu: persoanele examinate prin versiuni lingvistice diferite ale aceluiasi item ar putea fi egalizate din punct de vedere al scorului total la test. Apoi pentru subiectii cu acelasi scor la test este calculata si comparata proportia de examinati care au raspuns corect. Daca itemul nu are probleme ar trebui ca cele 2 grupuri sa performeze asemanator. Acest proces este repetat pentru toate scorurile generale obtinute. 5)= Si aceasta metoda se aplica in special itemilor cu raspuns dihotomic. Esentialul ei este de a evalua daca poate fi utilizat un set comun de parametri ai itemului pentru a descrie daca acel item functioneaza asemanator in grupurile culturale luate in considerare. Utilizarea TRI pentru studiul comparabilitatii si echivalentei itemilor pentru aptitudine scolara si a adapatarii sale pentru populatia spaniola. In primul desen se observa ca in cele 2 grupuri itemul respectiv functioneaza diferit. Paradoxal, performantele grupului latin sunt mai mari decat in grupul american ca urmare a analizei itemilor. Curbele pentru cele 2 grupuri in al 2lea desen sunt identice. Aceasta arata ca indivizii de la toate nivelele trasaturii latente din ambele grupuri, au aceeasi probabilitate de a da un raspuns corect la item. Ca atare el este comun celor 2 variante ale testului. 9. Utilizarea subiectilor bilingvi in evaluarea versiunilor culturale diferite ale unui test O alta metoda de evaluare a echivalentei a 2 versiuni diferite ale unui test, o constituie administrarea versiunilor unui grup de subiecti care au competente egal dovedite in ambele limbi. Ratiunea acestei metode este aceea ca utilizand un singur grup de subiecti sunt eliminate efectele datorate diferentelor intre grupuri. Pe de alta parte se dobandeste o echivalenta inalta a celor 2 masuratori. Exista asfel mult mai multe sanse ca diferentele de performanta intre cele 2 grupuri sa se datoreze mai degraba testului insusi si nu diverselor surse de deformare. De obicei subiectii bilingvi sunt selectionati cu ajutorul unor teste speciale care evalueaza competenta intr-o limba sau alta. Dincolo de avantajele reale ale acestei metode, exista si o serie de inconveniente. Unul dintre dezavantaje este acela ca subiectii bilingvi vor performa mai bine in limba materna decat in cealalta limba chiar daca cele 2 versiuni ale itemului sunt echivalente. Un al 2-lea dezavantaj il constituie faptul ca persoanele bilingve nu sunt totusi identice din punct de vedere al atitudinilor lingvistice, al eficacitatii si al background-ului. In general, subiectii bilingvi sunt utilizati pentru a identifica itemii ancora. Ei sunt implicati intr-un design de cercetare menit sa evalueze diferentele de limbaj. Se utilizeaza un set de itemi care sunt considerati echivalenti in cele 2 limbi (itemii ancora). In cazul acestor itemi, diferentele de performanta intre 2 grupuri pot fi utilizate in vederea ajustarii scorurilor la una din cele 2

22

Bazele Constructiei Testelor Psihologice forme paralele ale testului. De asemenea, ei mai pot fi utilizati in vederea realizarii unei scale comune celor 2 versiuni. Exemplu: WAIS contra EIWA (testul WAIS adaptat pentru populatia hispanica in SUA). Imediat de la aplicarea lui, psihologii au observat diferente notabile intre WAIS ai EIWA. La EIWA se obtineau scoruri mai mari la anumite subteste. Dupa 20 de ani au fost publicate diferentele inregistrate. Diferenta de scoruri a implicat si implica diverse opinii privind sursa lor. Probabil aceste diferente ar putea reflecta senzitivitatea culturala a hispanicilor, adica ar fi vorba de estimari mult mai valide a inteligentei decat altele facute cu WAIS. Ar putea fi credibila pentru ca WAIS aplicat in alta limba ar putea inregistra tot felul de deformari ceea ce ar determina ca EIWA sa fie credibil. Pe de alta parte poate fi valabila si alternativa a IQ-urilor estimate. Se datoreaza faptului ca sunt masurate caracteristici psihologice diferite intr-o anumita masura decat in WAIS. O a 3-a opinie contesta pretentiile de validitate ale lui EIWA. Este posibil ca EIWA sa fi fost de la inceput supralicitata datorita faptului ca provenea dintr-o baterie cu o licitatie deosebita ca WAIS. 10. Analiza modului de realizare a esantionului Autorii suspicioneaza faptul ca ar putea exista probleme legate de standardizarea esantionului, anume ca el a fost realizat in concordanta cu rezultatul recensamantului din 1960, spre deosebire de structura actuala a populatiei americane. In 1966-1967 esantionul normativ a fost realizat prin stratificare, adica s-a introdus in mod proportional urmatoarele criterii ale subiectilor hispanici: varsta, sex, regiune geografica, ocupatie, educatie, rezidenta urbano-rurala. Analiza gradului de suprapunere intre datele de recensamant (1960) si structura esantionului (HI patrat) arata ca factorul sex a fost in mod adecvat respectat. Totusi, o lucrare de disertatie (1969) a investigat relatia intre scorurile la EIWA si zona de rezidenta in PuertoRico. S-a descoperit ca barbatii performau mai bine decat femeile, subiectii din zona rurala performau mai bine decat cei din zona urbana. Cu cat nivelul de educatie era mai mare, cu atat rezultatele erau mai bune (performanta la test ridicata). Toate acestea arata ca pot fi incriminate anumite surse de BAES la nivelul de construct. Un alt studiu arata ca, in ciuda diferentelor de continut intre EIWA si WAIS, exista o inalta concordanta din punct de vedere psihometric. Dimensiunea intelectuala de baza din WAIS este si in structura EIWA. Alte studii au fost realizate pe persoane cu diverse afectiuni cum sunt starile anxioase. Doi cercetatori, Martinez si Spilberger au administrat aceluiasi esantion de subiecti (40 de pacienti psihiatrici) testul STAI. A fost confirmata predictia ca persoanele cu nivel ridicat de anxietate vor performa mai slab la EIWA. Cercetatorii Hambleton si Merenda au luat in considerare in analiza echivalentei celor 2 baterii de teste de inteligenta, teme privitoare la echivalenta traducerii si adaptarii instrumentului precum si studierea validitatii concurente realizand o metaanaliza a celor 2

23

Bazele Constructiei Testelor Psihologice studii intreprinse in aceasta directie. Lopez si Romero (1988) au realizat una dintre cele mai serioase examinari a structurii EIWA. Obiectivul a fost acela de a identifica diferentele specifice intre EIWA si WAIS privitoare la administrare, continut si scorare si la caracteristicile standardizate ale esantionului. Cei doi autori au constatat ca exista doar 5 subteste in EIWA care au proceduri de administrare identice ca si WAIS, restul difera (de exemplu nr de itemi de la care se incepe proba sau numarul de esecuri de la care proba inceteaza sa fie administrata). Doar doua subteste sunt complet identice (DIGIT SPAN si subtestul de asamblare de obiecte). Au fost gasite diferente majore cu privire la modalitatea de scorare. Plecand de la aceste rezultate prezentate de diversi autori, a fost realizat un studiu privitor la gradul de echivalenta intre cele 2 variante ale testului in ceea ce priveste metodologia si procedurile utilizate de autori. Exemplu: Un grup de subiecti cu varste intre 17 59 ani. Acestia erau persoane normale, fara simptome psihiatrice. Principalul criteriu de selectie a fost cel referitor la competente lingvistice. Ei au inclus in studiu persoane care aveau acelasi nivel de competenta in limba engleza si limba spaniola. Administrarea testului - Subiectii au fost examinati atat cu EIWA cat si cu WAIS R. designul experimental a fost unul cu masuratori repetate. Pentru a contracara efectul de procentare s-a procedat astfel: din lotul de subiecti a primit pentru testare EIWA, iar cealalta jumatate a primit WAIS. Administarea s-a facut la un interval de 1-2 saptamani. Rezultatele testarii - Rezultatele au fost supuse analizei factoriale prin metoda Hotelling. S-au constatat diferente semnificative. Concluziile testarii - Se repeta ideea ca scorurile mai mari la EIWA sunt datorate nivelului de motivare mai mare la populatia hispanica. Diferentele apar datorita faptului ca cele 2 teste masoara trasaturi psihologice diferite, concluzionand faptul ca exista probleme cu EIWA. Standardizarea esantionului a prezentat diferente la nivelul regiunii, al educatiei si la cel cultural. Au fost constatate probleme legate de standardizare si fidelizare.

24