CONSTRUIREA TESTULUI

Dr. Mihaela Minulescu

Stadii ale construciei testului

Conceptualizare Construcia Experimentarea Analiza de item Revizia testului

conceptualizare

Obiectivul testului: ce va msura? La ce nevoi reale rspunde testul: ce avantaje se obin din utilizarea lui? Populaia int a testului: pentru cine este construit? Coninutul testului: ce anume aspect psihologic va acoperi testul? Stilul de administrare: cum va fi aministrat? Fomatul itemilor: alegere forat? alegere multipl? Construirea unor forme alternative: sunt necesare astfel de forme alternative? Cerine de formare: ce tip de profesioniti pot lucra cu testul?

scalarea

Scalarea semnific procesul de atribuire de numere n msurare Thurstone a fost primul care a subliniat problema; scalele ar trebui dezvoltate n funcie de performana la test a mai multor subieci ; scalarea permite s afirmi c o persoan prezint n mai mare sau mai mic msur caracteristica msurat. Scale sumative: cnd scorurile la itemi sunt totalizate (de ex, un chestionar compus pe baza scalelor Likert) Scale comparative: subiectul trebuie s aleag unul sa altul dintre rspunsuri, deit comparaie pe perechi Scale categoriale: plasarea itemilor n diferite categrii care sunt ulterior scorate diferit Scale Guttman: itemii sunt rangai secvenial de la o slab, la o puternic exprimare a atitudinii sau trsturii respective.

scrierea itemilor

Format dihotomic: pentru fiecare item se ofer 2 rspunsuri posibile (de ex., Adevrat vs. Fals) Format politomic: mai mult dect o singur alegere pentru fiecare item, punctajul find desemnat numai pentru un anume rspuns Ceilali itemi sunt distractori (de ex., n alegerile multiple)

experimentare
Testul pilot este dat spre rezolvare unui numr mic de subieci cu scopul de a determina: populaia corect, numrul itemilor calitatea itemilor

analiza itemilor
Se realizeaz n dou modaliti: Radul de dificultate: la fiecare dintre itemi se calculeaz proporia de subieci care au reuit Discrimnarea itemilor: msoar modul cum coreleaz itemii individuali cu ntregul test, n cadrul unei populaii definite

Analiza gradului de dificultate i a capacitii de discriminare a itemului

Analiza de itemi are ca obiectiv de baz descifrarea mecanismelor cognitive aplicate de subieci pentru formularea rspunsurilor la itemi i verificarea calitilor itemilor ca instrumente de msur sau de predicie. Pe baza analizei de itemi se obin informaiile care permit selectarea itemilor care intr n componena testului. Itemii pot fi analizai dintr-o dubl perspectiv cantitativ i calitativ. Analiza cantitativ se refer la proprietile statistice ale itemilor i este focalizat n principal pe clarificarea problemelor privind dificultatea i capacitatea de discriminare a itemilor. Analiza calitativ se refer n principal la aspecte de coninut i de form incluznd problema evalurii eficienei procedurilor de redactare i a validrii de coninut.

Analiza itemilor poate fi rezumat prin urmtorul algoritm: calculul indicelui de dificultate pentru toi itemi i eliminarea celor care sunt rezolvai de toi subiecii i celor nerezolvai de nici un subiect; depistarea cauzelor pentru care unii indici de dificultate sunt foarte mari sau foarte mici i eliminarea itemilor cu greeli; n situaia itemilor cu rspunsuri la alegere, se analizeaz rspunsurile incorecte i se elimin aceia n care unele rspunsuri greite au fost alese de foarte muli sau foarte puini subieci;

aplicarea uneia dintre procedurile analizei de itemi n funcie de condiiile pe care trebuie s le ndeplineasc testul ce se construiete, respectiv: dac testul trebuie s discrimineze ntre dou grupe contrastante, respectiv s permit scoruri care difer mult de la o grup la opusul ei, se va calcula pentru fiecare item indicele de discriminare, eliminndu-se itemii necorespunztori dac testul trebuie s se comporte ntr-o manier prestabilit fa de un anume criteriu, se vor elimina itemii necorespunztori;

se vor elimina itemii cu indicele de dificultate necorespunztor scopului pe care urmeaz s-l ndeplineasc testul. n principiu se vor elimina cei foarte uori i foarte dificili. Dac cerina este ca testul s identifice pe cei care prezint nivele foarte sczute i foarte ridicate pentru o anume trstur sau facultate, se vor reine doar aceste tipuri de itemi; se va calcula coeficientul de corelaie ntre scorurile testului i scorurile itemului i se vor elimina itemii care prezint corelaii nesemnificative sau negative.

n continuarea construirii testului pe baza itemilor astfel selectai se procedeaz la studierea caracteristicilor psihometrice (fidelitate, validitate, dificultate, putere de discriminare), aspectele legate de lungimea testului, tipuri de itemi din care este compus, timpul de rezolvare a testului (inclusiv variante privind standardizarea timpului), costurile administrrii testului.

dificultatea itemului

dificultatea itemului e definit n funcie de procentul de persoane care rspunde corect la el. n procesul de construire a unui test, motivul principal al analizei dificultii este de a alege itemi care au un procent de dificultate adecvat, n aa fel nct testul s nu constituie nici o dificultate de netrecut pentru majoritatea subiecilor, nici s nu fie rezolvabil de marea lor majoritate. a. Pentru diferite loturi de subieci, cu caracteristici diferite privind de exemplu vrsta, nivelul de pregtire academic, tipul de pregtire, mediul de provenien etc., aceeai itemi pot conduce la diferite procente sau ponderi de subieci care rspund corect.

b. Majoritatea testelor sunt construite cu itemi avnd grade de dificultate diferite astfel se pune problema asigurrii unui nivel de dificultate optim i a posibilitii de a compensa inter-itemi gradul de dificultate. c. Nivelul de dificultate recomandabil este .50 (50% reuit). Cu ct un item se apropie de 0% sau de 100% , cu att este ineficient n diferenierea subiecilor. Itemul trebuie s fie capabil s diferenieze ntre toi cei care l reuesc i cei care nu l reuesc pentru a avea valoare de informaie diferenial.

De exemplu, pentru gradul de dificultate de 0.5 (50%):

S presupunem c din 100 de persoane, 50 reuesc i 50 nu reuesc s rezolve itemul. Deci itemul ne va da posibilitatea s difereniem ntre fiecare dintre cei care lau reuit i fiecare dintre cei care au euat. Deci avem astfel 50 x 50 = 2.500 perechi de comparaie, sau bii de informaie diferenial. Un item reuit de .70 (70%) va favoriza 70 x 30 = 2.100 bii informaionali. Unul reuit de .9 (90%) furnizeaz deci 90 x 10 = 900, iar cel reuit de 100%, 100 x 0 = 0. Acelai lucru este valabil i pentru itemi mai dificili, pe care i reuesc sub 50% dintre subieci.

d. Itemii din cadrul unui test tind s intercoreleze. Cu ct este mai omogen testul, cu att gradul de intercorelare este mai mare. n situaia extrem n care toi itemii ar fi perfect intercorelai i toi ar avea gradul de dificultate .50, aceleai 50 de persoane din 100 vor rezolva fiecare dintre itemi. Deci jumtate dintre subieci vor avea scoruri perfecte, iar cealalt jumtate, vor avea un rezultat nul. Deci, datorit intercorelrii dintre itemii testului cel mai bine este s fie selectai itemi cu nivele de dificultate diferite a cror medie a dificultii s fie .50. Cu ct e mai mare nivelul de intercorelare dintre itemi, cu att mai larg trebuie s fie gama de grade de dificultate a itemilor selectai.

n cazul scalelor de interval, procentul de persoane care reuete un item exprim dificultatea itemilor la nivelul scalei ordinale., ceea ce nseamn c indic corect rangul i dificultatea relativ a itemilor. De exemplu, dac avem 3 itemi care sunt rezolvai respectiv de 30%, 20% i 10% dintre subiecii lotului, putem conchide c primul item este cel mai uor, iar itemul al treilea cel mai dificil, gradul de dificultate crescnd de la primul la al treilea. Dar, pentru diferene de procentaje egale, nu putem aprecia dac exist i diferene egale n gradul de dificultate ntre cei trei itemi. Acest lucru ar fi posibil doar n cazul unei distribuii rectangulare, unde cazurile ar fi uniform distribuite pe tot irul. Scorurile de tip percentil nu reprezint uniti egale, ele difer n mrime de la centru la extremele distribuiei.

Dac avem o distribuie normal a rezultatelor pentru trstura respectiv, nivelul de dificultate al itemului poate fi exprimat n termenii unei scale uniti de interval egale comparativ cu tabelul de frecvene al curbei normale. n acest caz avem informaia c 34% din populaie intr n zona cuprins ntre medie i sau + 1 sigma. Astfel c un item care are nivelul de dificultate .84 (rezolvat de 80% dintre subieci), va include jumtatea superioar (50%) plus 30% din cazuri din jumtatea inferioar (50 +30 = 80). Deci itemul cade 1 sigma sub medie. Un item reuit de 16% dintre subieci, va cdea la o sigma peste medie (peste acest punct se afl 16% dintre cazuri, respectiv 50 34 (o sigma) =16. Un item reuit de exact 50% dintre subieci, cade pe medie i va avea valoarea 0 pe aceast scal.

n practic, datorit faptului c dificultile itemilor exprimate n termenii distanelor pentru o curb normal include valori pozitive i negative, Serviciul american de testare educaional a propus urmtoare ecuaie de convertire: D (delta) = 13 + 4z Constantele 13 i 4 au fost alese arbitrar pentru a permite o scal care s elimine valorile negative. Z indic numrul de deviaii standard de la medie (sigme).

De exemplu,

un item reuit de aproximativ 100% subieci, va cdea la o distan de 3 sigme de medie, deci va avea D =13 + 4x (-3) = 1. La cealalt extrem, un item cu un procent de reuit sub 1, va cdea la + 3 sigme i va avea D = 13 + 4x (3) = 25. Un item care cade pe medie, are D = 13 + 4x (0) = 13. Deci toi itemii vor cdea la scale D ntre 1 i 25, iar dificultatea medie va fi redat prin nivelul 13.

Analiza capacitii de discriminare a itemilor

Discriminarea itemilor se refer la gradul n care un item difereniaz corect ntre subieci n ceea ce privete comportamentul destinat s-l msoare. n literatura de specialitate apar peste 50 de indicatori de discriminare care pot fi utilizai n construirea diferitelor tipuri de teste, indicatori care, de regul ofer rezultate relativ asemntoare.

O metod util pentru grupe n general mici cuprinde urmtoarea procedur. Sunt pretestai subiecii unui lot restrns (ex. 60 de persoane) n funcie de rezultate, subiecii sunt grupai n trei clase. 20 cu scorurile cele mai nalte (clasa de sus, U de la upper), 20 cu scorurile cele mai sczute (clasa de jos, L, de la lower), i 20 cu scoruri intermediare (clasa medie, M, de la middle).

Pe cele 3 clase se vor verifica itemii testului astfel:

Item
1 2 3 4 5 6 7 Etc

U
15 20 19 10 11 16 5

9 7 20 16 18 9 11 16 13 11 14 9 0 0

Dificultatea Discriminarea U+M+L U-L 31 8 56* 4 46 10 37 -6* 35 0* 39 7 5* 5

Dificultatea itemului reprezint suma de reuite la cele trei clase de subieci iar discriminarea este dat de diferena dintre grupele extreme. n aceste condiii putem vedea c exist 4 itemi care prezint probleme (*) fie din perspectiva dificultii, itemii 2 i 7, fie a discriminrii, itemii 4 i 5. Dac itemul 2 are o dificultate prea mic, 7 este prea dificil, deci trebuiesc exclui. Itemii 4 i 5 au dificultate fie negativ, fie nul, deci vor fi exclui. De regul, n situaia claselor de subieci care au aceeai dimensiune, itemii cu valoare de discriminare sczut sunt cei de la 3 puncte n jos.

Indexul de discriminare

Cnd exprimm n procente numrul de subieci care reuesc la itemii cuprini ntr-un nou test, o diferen de 2% reprezint indexul de discriminare, indiferent de dimensiunea grupelor. Acest index de discriminare este denumit "Upper-lower discrimination", prescurtat ca U-L, ULI, sau ULD sau pur si simplu D.

De exemplu, calcului D pornind de la datele anterioare se prezint astfel:

Item Procentaj de reuit Index de discriminare Clasa U Clasa L (diferena) 1 75 35 40 2 100 80 20 3 95 45 50 4 50 80 -30 5 55 55 0 6 80 45 35 7 25 0 25 etc.

D poate avea o valoare cuprins ntre +100 i 100. Dac toi subiecii clasei U reuesc la item i nici unul dintre subiecii clasei L nu reuete, D = 100. Dac nici un subiect din U nu reuete i toi cei din L reuesc, avem valoarea lui D = 0.

Relaia dificultate / discriminare

Dac fie 100% - fie 0% din lot reuesc la un item, nu apare nici o diferen ntre clasele de subieci, deci D este 0.
Dac 50% reuesc un item, este posibil ca toi cei din clasa U s-l treac, i nimeni din clasa l, iar D va fi 100 0 = 100. Dac 70% reuesc, maximul valorii pe care o poate lua D va fi 60 pentru c U 50/50= 100% i L 20/50 = 40%. D va fi 100 40 = 60. Pentru majoritatea scopurilor de testare, sunt preferabili itemii cu dificultatea 50%. Indicii de discriminare care favorizeaz acest nivel de dificultate vor fi adecvai pentru selecie.

Relaia dintre valoarea maxim a lui D i dificultatea itemilor:

Procentul de reuit la item Valoarea maxim a lui D 100 o 90 20 70 60 50 100 30 60 10 20 0 0

Teoria rspunsului la item T.R.I.

Teoria rspunsului la item a fost denumit i teoria trsturii latente i teoria curbei caracteristice (TCC). Aspectul fundamental al acestei abordri este faptul c performana la item este legat de cantitatea estimat de trstur latent a celui care rspunde, reprezentat prin T (theta). Denumirea de trstur latent se refer la un construct statistic (ceea ce nu implic automat c ar exista o entitate psihologic sau fiziologic corespunztoare, cu o existen independent). De exemplu, n testele cognitive, trstura latent este reprezentat de obicei de abilitatea msurat de test iar scorul total la test este considerat adesea ca reprezentnd o estimare iniial a acestei abiliti.

Scopul teoriei rspunsului la item este de a elabora metode de estimare a valorii variabilei latente la subiecii testai i metode de estimare a caracteristicilor itemilor testului, pe baza rspunsurilor date de subieci la itemi

T.R.I. are la baz urmtoarele trei postulate:

comportamentul unui subiect la un item al unui test poate fi prezis cu ajutorul unui set de factori, denumii trsturi latente (orice construct inobservabil, presupus continuu, despre care o teorie psihologic afirm c deosebete personale ntre ele poate fi privit ca factor, iar fiecrui factor i se asociaz o variabil cu valori numerice ntre infinit i + infinit, denumit variabil latent); putem afirma existena unui factor doar dup ce se observ c rspunsurile la itemii prin care se dorete msurarea constructului, covariaz; relaia dintre performana la item a subiecilor i fiecare dintre trsturile care au legtur cu performana poate fi descris prin cte o funcie cresctoare denumit funcie caracteristic a itemului sau curb caracteristic a itemului. Funcia indic cum depinde probabilitatea de a rspunde corect la item de nivelul trsturii

O trstur nu poate fi nici observat, nici msurat direct. Evaluarea ei cantitativ este indirect, prin intermediul unor variabile observabile (de ex., rspunsul la itemi unui test) despre care se presupune c reprezint adecvat variabila latent.

analiza factorial

Dac se utilizeaz mai multe instrumente de msur (variabile observate) pentru investigarea aceleiai variabile latente, se presupune c n spatele covariaiilor existente ntre variabilele observate stau relaiile dintre ele i variabila latent pe care o msoar. Acest fapt st la baza utilizri analizei factoriale ca metod care permite determinarea valorilor unuia sau mai multor factori (variabile latente) pornind de la mai multe variabile observate (teste).

De exemplu, n situaia itemilor dihotomici

presupunnd de ex. c toi itemii testului msoar aceeai variabil latent unidimensional. T.R.I. impune n aceast situaie ipoteza unidimensionalitii spaiului variabilelor latente, respectiv faptul c nu exist o alt variabil latent, pe lng cea specificat, care s influeneze scorurile itemilor. Aceast ipotez asigur ndeplinirea condiiei de independen local a itemilor, care cere ca modul n care o persoan rspunde la un item s nu fie influenat de felul cum a rspuns la ceilali itemi. Conform T.R.I., se va construi, pentru fiecare item a testului, funcia caracteristic a itemului care leag valorile variabilei latente msurate de item cu scorurile obinute la test, respectiv P(y): R > [0,1]. Probabilitatea ca o persoan avnd nivelul variabilei latente msurate de item egal cu y s rspund corect la item, pentru orice valoare a lui y aparinnd realului.

Cu ajutorul acestei funcii se pot aprecia calitile itemului, respectiv dificultatea i puterea de discriminare iar graficul acestei funcii vizualizeaz comportarea itemului ca instrument de msur. T.R.I. introduce ipoteza c funcia P este cresctoare. Dac itemul este un instrument bun de msur, un subiect care are un nivel mai nalt al variabilei latente va avea anse mai mari de a rezolva corect itemul dect cel care are un nivel mai sczut.

revizia testului
Implic inter-validarea, respectiv: administrarea testului unui alt grup de subieci pentru a vedea dac rezultatele sunt similare cu grupul iniial Validraea testului reluat dup un anume interval de timp, aprox. 10 ani, timp n care se presupune c s-a schi,bat ceva din modul cum funcioneaz trstura respectiv n populaia general.

Modul de prezentare a unui test

Prezentarea unui test cuprinde: titlul / denumirea, populaia int, dreptul de copiere, autorul, editura, existena sau nu a unui manual al testului; de asemenea, sunt prezente toate datele tehnici privind experimentarea (analize de item, fideliti, procesul de validare i tipuri de validri de criteriu, etaloane pe diferite populaii etc.) Anuarul BUROS Mental Measurement Yearbook, cuprinde prezenarea fiecrui test, aspecte privind fidelitatea i validitatea De asemenea, descrieri de teste n Tets: A Comprehensive Reference for Assessment in Psycology, Education and Business