Referat

la Teoria si metodologia evaluarii

Tema :
Calitatea itemilor. Indicele de
dificultate i indicele de
discriminare
A efectuat: Vsochii Cristina
A controlat: Gona Victoria
 Calitatea itemilor.
Indicele de dificultate i
indicele de discriminare
analiza itemilor
Se realizeaz n dou modaliti:
Radul de dificultate: la fiecare dintre itemi se
calculeaz proporia de subieci care au reuit
Discrimnarea itemilor: msoar modul cum
coreleaz itemii individuali cu ntregul test, n
cadrul unei populaii definite
Analiza gradului de dificultate i a
capacitii de discriminare a itemului

Analiza de itemi are ca obiectiv de baz descifrarea mecanismelor

cognitive aplicate de subieci pentru formularea rspunsurilor la
itemi i verificarea calitilor itemilor ca instrumente de msur sau
de predicie. Pe baza analizei de itemi se obin informaiile care
permit selectarea itemilor care intr n componena testului.
Itemii pot fi analizai dintr-o dubl perspectiv cantitativ i
calitativ.
Analiza cantitativ se refer la proprietile statistice ale itemilor i
este focalizat n principal pe clarificarea problemelor privind
dificultatea i capacitatea de discriminare a itemilor.
Analiza calitativ se refer n principal la aspecte de coninut i de
form incluznd problema evalurii eficienei procedurilor de
redactare i a validrii de coninut.
 Analiza itemilor poate fi rezumat prin urmtorul
algoritm:
calculul indicelui de dificultate pentru toi itemi i
eliminarea celor care sunt rezolvai de toi subiecii i
celor nerezolvai de nici un subiect;
depistarea cauzelor pentru care unii indici de dificultate
sunt foarte mari sau foarte mici i eliminarea itemilor cu
greeli;
n situaia itemilor cu rspunsuri la alegere, se
analizeaz rspunsurile incorecte i se elimin aceia n
care unele rspunsuri greite au fost alese de foarte
muli sau foarte puini subieci;
 aplicarea uneia dintre procedurile analizei de itemi n
funcie de condiiile pe care trebuie s le ndeplineasc
testul ce se construiete, respectiv:
dac testul trebuie s discrimineze ntre dou grupe
contrastante, respectiv s permit scoruri care difer
mult de la o grup la opusul ei, se va calcula pentru
fiecare item indicele de discriminare, eliminndu-se
itemii necorespunztori
dac testul trebuie s se comporte ntr-o manier
prestabilit fa de un anume criteriu, se vor elimina
itemii necorespunztori;
 se vor elimina itemii cu indicele de dificultate
necorespunztor scopului pe care urmeaz s-l
ndeplineasc testul. n principiu se vor elimina cei
foarte uori i foarte dificili. Dac cerina este ca testul s
identifice pe cei care prezint nivele foarte sczute i
foarte ridicate pentru o anume trstur sau facultate, se
vor reine doar aceste tipuri de itemi;
se va calcula coeficientul de corelaie ntre scorurile
testului i scorurile itemului i se vor elimina itemii care
prezint corelaii nesemnificative sau negative.
 n continuarea construirii testului pe baza
itemilor astfel selectai se procedeaz la
studierea caracteristicilor psihometrice
(fidelitate, validitate, dificultate, putere de
discriminare), aspectele legate de lungimea
testului, tipuri de itemi din care este compus,
timpul de rezolvare a testului (inclusiv variante
privind standardizarea timpului), costurile
administrrii testului.
dificultatea itemului
dificultatea itemului e definit n funcie de procentul de persoane
care rspunde corect la el. n procesul de construire a unui test,
motivul principal al analizei dificultii este de a alege itemi care au
un procent de dificultate adecvat, n aa fel nct testul s nu
constituie nici o dificultate de netrecut pentru majoritatea subiecilor,
nici s nu fie rezolvabil de marea lor majoritate.
a. Pentru diferite loturi de subieci, cu caracteristici diferite privind
de exemplu vrsta, nivelul de pregtire academic, tipul de
pregtire, mediul de provenien etc., aceeai itemi pot conduce la
diferite procente sau ponderi de subieci care rspund corect.
 b. Majoritatea testelor sunt construite cu itemi avnd
grade de dificultate diferite astfel se pune problema
asigurrii unui nivel de dificultate optim i a posibilitii
de a compensa inter-itemi gradul de dificultate.
c. Nivelul de dificultate recomandabil este .50 (50%
reuit). Cu ct un item se apropie de 0% sau de 100%
, cu att este ineficient n diferenierea subiecilor. Itemul
trebuie s fie capabil s diferenieze ntre toi cei care l
reuesc i cei care nu l reuesc pentru a avea valoare
de informaie diferenial.
De exemplu, pentru gradul de dificultate de
0.5 (50%):

S presupunem c din 100 de persoane, 50 reuesc i

50 nu reuesc s rezolve itemul. Deci itemul ne va da
posibilitatea s difereniem ntre fiecare dintre cei care l-
au reuit i fiecare dintre cei care au euat. Deci avem
astfel 50 x 50 = 2.500 perechi de comparaie, sau bii de
informaie diferenial. Un item reuit de .70 (70%) va
favoriza 70 x 30 = 2.100 bii informaionali. Unul reuit
de .9 (90%) furnizeaz deci 90 x 10 = 900, iar cel
reuit de 100%, 100 x 0 = 0. Acelai lucru este valabil i
pentru itemi mai dificili, pe care i reuesc sub 50% dintre
subieci.
d. Itemii din cadrul unui test tind s intercoreleze. Cu ct
este mai omogen testul, cu att gradul de intercorelare
este mai mare. n situaia extrem n care toi itemii ar fi
perfect intercorelai i toi ar avea gradul de dificultate
.50, aceleai 50 de persoane din 100 vor rezolva fiecare
dintre itemi. Deci jumtate dintre subieci vor avea
scoruri perfecte, iar cealalt jumtate, vor avea un
rezultat nul. Deci, datorit intercorelrii dintre itemii
testului cel mai bine este s fie selectai itemi cu nivele
de dificultate diferite a cror medie a dificultii s fie .50.
Cu ct e mai mare nivelul de intercorelare dintre itemi,
cu att mai larg trebuie s fie gama de grade de
dificultate a itemilor selectai.
 n cazul scalelor de interval, procentul de persoane care reuete un
item exprim dificultatea itemilor la nivelul scalei ordinale., ceea ce
nseamn c indic corect rangul i dificultatea relativ a itemilor.
De exemplu, dac avem 3 itemi care sunt rezolvai respectiv de
30%, 20% i 10% dintre subiecii lotului, putem conchide c primul
item este cel mai uor, iar itemul al treilea cel mai dificil, gradul de
dificultate crescnd de la primul la al treilea. Dar, pentru diferene de
procentaje egale, nu putem aprecia dac exist i diferene egale n
gradul de dificultate ntre cei trei itemi. Acest lucru ar fi posibil doar
n cazul unei distribuii rectangulare, unde cazurile ar fi uniform
distribuite pe tot irul. Scorurile de tip percentil nu reprezint uniti
egale, ele difer n mrime de la centru la extremele distribuiei.
 Dac avem o distribuie normal a rezultatelor pentru trstura
respectiv, nivelul de dificultate al itemului poate fi exprimat n
termenii unei scale uniti de interval egale comparativ cu tabelul de
frecvene al curbei normale. n acest caz avem informaia c 34%
din populaie intr n zona cuprins ntre medie i sau + 1 sigma.
Astfel c un item care are nivelul de dificultate .84 (rezolvat de 80%
dintre subieci), va include jumtatea superioar (50%) plus 30% din
cazuri din jumtatea inferioar (50 +30 = 80). Deci itemul cade 1
sigma sub medie. Un item reuit de 16% dintre subieci, va cdea la
o sigma peste medie (peste acest punct se afl 16% dintre cazuri,
respectiv 50 34 (o sigma) =16. Un item reuit de exact 50% dintre
subieci, cade pe medie i va avea valoarea 0 pe aceast scal.
 n practic, datorit faptului c dificultile itemilor
exprimate n termenii distanelor pentru o curb normal
include valori pozitive i negative, Serviciul american de
testare educaional a propus urmtoare ecuaie de
convertire:
D (delta) = 13 + 4z
Constantele 13 i 4 au fost alese arbitrar pentru a
permite o scal care s elimine valorile negative. Z
indic numrul de deviaii standard de la medie (sigme).
De exemplu,
un item reuit de aproximativ 100% subieci, va
cdea la o distan de 3 sigme de medie, deci
va avea D =13 + 4x (-3) = 1.
La cealalt extrem, un item cu un procent de
reuit sub 1, va cdea la + 3 sigme i va avea
D = 13 + 4x (3) = 25. Un item care cade pe
medie, are D = 13 + 4x (0) = 13. Deci toi itemii
vor cdea la scale D ntre 1 i 25, iar dificultatea
medie va fi redat prin nivelul 13.
Analiza capacitii de discriminare a
itemilor

Discriminarea itemilor se refer la gradul n care

un item difereniaz corect ntre subieci
n ceea ce privete comportamentul destinat s-l
msoare. n literatura de specialitate apar peste
50 de indicatori de discriminare care pot fi
utilizai n construirea diferitelor tipuri de teste,
indicatori care, de regul ofer rezultate relativ
asemntoare.
 O metod util pentru grupe n general mici
cuprinde urmtoarea procedur.
Sunt pretestai subiecii unui lot restrns (ex. 60
de persoane)
n funcie de rezultate, subiecii sunt grupai n
trei clase. 20 cu scorurile cele mai nalte (clasa
de sus, U de la upper), 20 cu scorurile cele mai
sczute (clasa de jos, L, de la lower), i 20 cu
scoruri intermediare (clasa medie, M, de la
middle).
Pe cele 3 clase se vor verifica itemii testului
astfel:
Item U M L Dificultatea Discriminarea
U+M+L U-L
1 15 9 7 31 8
2 20 20 16 56* 4
3 19 18 9 46 10
4 10 11 16 37 -6*
5 11 13 11 35 0*
6 16 14 9 39 7
7 5 0 0 5* 5
Etc
 Dificultatea itemului reprezint suma de reuite la
cele trei clase de subieci iar discriminarea este dat
de diferena dintre grupele extreme.
n aceste condiii putem vedea c exist 4 itemi care
prezint probleme (*) fie din perspectiva dificultii, itemii
2 i 7, fie a discriminrii, itemii 4 i 5. Dac itemul 2 are o
dificultate prea mic, 7 este prea dificil, deci trebuiesc
exclui. Itemii 4 i 5 au dificultate fie negativ, fie nul,
deci vor fi exclui. De regul, n situaia claselor de
subieci care au aceeai dimensiune, itemii cu valoare
de discriminare sczut sunt cei de la 3 puncte n jos.
Indexul de discriminare

Cnd exprimm n procente numrul de subieci

care reuesc la itemii cuprini ntr-un nou test, o
diferen de 2% reprezint indexul de
discriminare, indiferent de dimensiunea
grupelor. Acest index de discriminare este
denumit "Upper-lower discrimination", prescurtat
ca U-L, ULI, sau ULD sau pur si simplu D.
De exemplu, calcului D pornind de la datele
anterioare se prezint astfel:

Item Procentaj de reuit Index de discriminare

Clasa U Clasa L (diferena)
1 75 35 40
2 100 80 20
3 95 45 50
4 50 80 -30
5 55 55 0
6 80 45 35
7 25 0 25
etc.
 D poate avea o valoare cuprins ntre
+100 i 100.
Dac toi subiecii clasei U reuesc la
item i nici unul dintre subiecii clasei L
nu reuete, D = 100.
Dac nici un subiect din U nu reuete i
toi cei din L reuesc, avem valoarea lui
D = 0.
Relaia dificultate / discriminare
Dac fie 100% - fie 0% din lot reuesc la un item, nu apare nici o
diferen ntre clasele de subieci, deci D este 0.

Dac 50% reuesc un item, este posibil ca toi cei din clasa U s-l
treac, i nimeni din clasa l, iar D va fi 100 0 = 100.

Dac 70% reuesc, maximul valorii pe care o poate lua D va fi 60

pentru c U 50/50= 100% i L 20/50 = 40%. D va fi 100 40 =
60.

Pentru majoritatea scopurilor de testare, sunt preferabili itemii cu

dificultatea 50%. Indicii de discriminare care favorizeaz acest nivel
de dificultate vor fi adecvai pentru selecie.
Relaia dintre valoarea maxim a lui D i
dificultatea itemilor:

Procentul de reuit la item Valoarea maxim a lui D

100 o
90 20
70 60
50 100
30 60
10 20
0 0
Teoria rspunsului la item T.R.I.

Teoria rspunsului la item a fost denumit i teoria

trsturii latente i teoria curbei caracteristice (TCC).
Aspectul fundamental al acestei abordri este faptul c
performana la item este legat de cantitatea estimat de
trstur latent a celui care rspunde, reprezentat
prin T (theta).
Denumirea de trstur latent se refer la un construct
statistic (ceea ce nu implic automat c ar exista o
entitate psihologic sau fiziologic corespunztoare, cu
o existen independent).
De exemplu, n testele cognitive, trstura latent este
reprezentat de obicei de abilitatea msurat de test iar
scorul total la test este considerat adesea ca
reprezentnd o estimare iniial a acestei abiliti.
 Scopul teoriei rspunsului la item este
de a elabora metode de estimare a valorii
variabilei latente la subiecii testai i
metode de estimare a caracteristicilor
itemilor testului, pe baza rspunsurilor
date de subieci la itemi
T.R.I. are la baz urmtoarele trei
postulate:
comportamentul unui subiect la un item al unui test poate fi prezis cu
ajutorul unui set de factori, denumii trsturi latente (orice
construct inobservabil, presupus continuu, despre care o teorie
psihologic afirm c deosebete personale ntre ele poate fi
privit ca factor, iar fiecrui factor i se asociaz o variabil cu valori
numerice ntre infinit i + infinit, denumit variabil latent);

putem afirma existena unui factor doar dup ce se observ c

rspunsurile la itemii prin care se dorete msurarea
constructului, covariaz;
relaia dintre performana la item a subiecilor i fiecare dintre trsturile
care au legtur cu performana poate fi descris prin cte o
funcie cresctoare denumit funcie caracteristic a itemului sau
curb caracteristic a itemului. Funcia indic cum depinde
probabilitatea de a rspunde corect la item de nivelul trsturii
 O trstur nu poate fi nici observat, nici
msurat direct. Evaluarea ei cantitativ
este indirect, prin intermediul unor
variabile observabile (de ex., rspunsul la
itemi unui test) despre care se presupune
c reprezint adecvat variabila latent.
analiza factorial
Dac se utilizeaz mai multe instrumente de msur
(variabile observate) pentru investigarea aceleiai
variabile latente,
se presupune c n spatele covariaiilor existente ntre
variabilele observate stau relaiile dintre ele i variabila
latent pe care o msoar.
Acest fapt st la baza utilizri analizei factoriale ca
metod care permite determinarea valorilor unuia sau
mai multor factori (variabile latente) pornind de la mai
multe variabile observate (teste).
De exemplu, n situaia itemilor
dihotomici
presupunnd de ex. c toi itemii testului msoar aceeai variabil
latent unidimensional. T.R.I. impune n aceast situaie ipoteza
unidimensionalitii spaiului variabilelor latente, respectiv faptul c
nu exist o alt variabil latent, pe lng cea specificat, care s
influeneze scorurile itemilor.
Aceast ipotez asigur ndeplinirea condiiei de independen
local a itemilor, care cere ca modul n care o persoan rspunde la
un item s nu fie influenat de felul cum a rspuns la ceilali itemi.
Conform T.R.I., se va construi, pentru fiecare item a testului, funcia
caracteristic a itemului care leag valorile variabilei latente
msurate de item cu scorurile obinute la test, respectiv P(y): R >
[0,1]. Probabilitatea ca o persoan avnd nivelul variabilei latente
msurate de item egal cu y s rspund corect la item, pentru
orice valoare a lui y aparinnd realului.
 Cu ajutorul acestei funcii se pot aprecia calitile
itemului, respectiv dificultatea i puterea de discriminare
iar graficul acestei funcii vizualizeaz comportarea
itemului ca instrument de msur.
T.R.I. introduce ipoteza c funcia P este cresctoare.
Dac itemul este un instrument bun de msur, un
subiect care are un nivel mai nalt al variabilei latente va
avea anse mai mari de a rezolva corect itemul dect cel
care are un nivel mai sczut.
revizia testului
Implic inter-validarea, respectiv: administrarea
testului unui alt grup de subieci pentru a vedea
dac rezultatele sunt similare cu grupul iniial
Validraea testului reluat dup un anume interval
de timp, aprox. 10 ani, timp n care se
presupune c s-a schi,bat ceva din modul cum
funcioneaz trstura respectiv n populaia
general.
Modul de prezentare a unui test
Prezentarea unui test cuprinde: titlul / denumirea,
populaia int, dreptul de copiere, autorul, editura,
existena sau nu a unui manual al testului; de asemenea,
sunt prezente toate datele tehnici privind experimentarea
(analize de item, fideliti, procesul de validare i tipuri
de validri de criteriu, etaloane pe diferite populaii etc.)
Anuarul BUROS Mental Measurement Yearbook,
cuprinde prezenarea fiecrui test, aspecte privind
fidelitatea i validitatea
De asemenea, descrieri de teste n Tets: A
Comprehensive Reference for Assessment in Psycology,
Education and Business