S6.

Exercitii Dificultatea si discriminabilitatea itemilor

Obiective:
- sa calculeze indicele de dificultate pentru itemi dihotomici si politohomici
- sa estimeze probabilitatea alegerii răspunsului bun prin şansă sau hazard
- sa explice relatia dintre dificultatea si discriminabilitatea itemului
- sa analizeze rolul itemilor dificili si al itemilor usori in cadrul unui test
- sa analizeze capacitatea de discriminare a itemilor pe baza metodei lui Findley
- sa identifice itemii care discrimineaza bine/slab, itemii dificili/usori folosind curba caracteristica a
itemului.

Mijloace:
- http://www.csun.edu/~ata20315/psy427/ accesat la 19 noiembrie
- Urbina, S. (2004). Essential of psychological testing. New Jersey: John Willey and Sons Inc.
- Kaplan, R.M., Caccuzzo, D. (2005). Psychological testing. Principles, applications and issues. Canada:
Thomson Learning Academic Resource Center
- Clinciu, A.I. (2009). Baze teoretice ale psihodiagnosticului (curs).

1. Deschideti baza de date analiza de itemi.sav. Analizati datele si decideti pe ce tip de scala sunt masurati
itemii.

2. Calculati dificultatea itemilor si decideti care sunt 3 cei mai dificil si care este cei mai usori itemi:
Analyze -> Descriptive Statistics -> Descriptives
Calculati Means pentru toate variabilele
Calculato scorul total. Denumiti variabila nou creata total.
Completati indicatorii dificultatii, completand liniile 2 (Media (Σx/n )si 3 (Dificultatea p) in tabelul
urmator:

subiecti It It It It It It It It It1 It1 It1 It1 It1 It1

It1 Total
N= 2 3 4 5 6 7 8 9 0 1 2 3 4 5
Media 0.8 .4 .1 .8 .5 .2 .7 .5 .3 .80 .61 .44 .95 .49 .04 X = 7.94
(Σx/n) 3 8 7 0 3 4 1 4 1
Dificultatea 0.8 .4 .1 .8 .5 .2 .7 .5 .3 .80 .61 .44 .95 .49 .04 σ= 3.37
p 3 8 7 0 3 4 1 4 1
Complemen .17 .5 .8 .2 .4 .7 .2 .4 .6 .20 .29 .56 .05 .51 .96 Σx=
t q (1-p) 2 3 0 7 6 9 6 9
Corecţie p' .66 .0 .6 .6 .0 .5 .4 .0 .3 .60 .32 .12 .90 .02 .92 Σx2=
4 6 0 6 2 2 8 8
Varianta s2 .14 .2 .1 .1 .2 .1 .2 .2 .2 .16 .17 .24 .04 .24 .03 s2=129.04
pq 4 4 6 4 8 0 4 1

3. Calculati compelmentul indicatorilor dificultatii si completati linia (Complement q) din tabelul de

mai sus.

4. Calculati dificultatea itemilor dupa ce ati aplicat formula de corectie si completati valorile in
tabelul de mai sus, pe linia Corecţie p'.

1
 5. Identificati subiectii din grupurile extreme (scor ridicat si scor slab) si grupul mediu, impartind
subiectii din 3 grupuri cu numar egal de subiecti (delimitati cele 3 grupuri calculand P33 si P66).
Denumiti variabila obtinuta grup_discriminare si etichetati valorile pentru cele 3 grupuri astfel:
0 = respondenti slabi
1 = respondenti medii
2 = respondenti buni.

6. Splitati esantionul dupa varabila nou creata (grup_discriminare) si calculati mediile pentru fiecare
item pentru fiecare dintre cele 3 grupuri (Split file -> Organize Output by Groups -> Groups Based
On: grup_discriminare” ).

7. Completati tabelul urmator, pentru a calcula discriminabilitatea itemilor:

Subiecti
It It It It It It It It It1 It1 It1 It1 It1 It1
Ns= 43 It1
2 3 4 5 6 7 8 9 0 1 2 3 4 5
Ni=68
Varianta s2 .14 .2 .1 .1 .2 .1 .2 .2 .2 .16 .17 .24 .04 .24 .03
pq 4 4 6 4 8 0 4 1
p 0.8 .4 .1 .8 .5 .2 .7 .5 .3 .80 .61 .44 .95 .49 .04
3 8 7 0 3 4 1 4 1
ps 1 1 .5 1 .9 .6 .9 .8 .6 .98 .98 .72 1 1 .14
8 3 0 1 6 0
pi .53 .0 .0 .4 .1 .0 .4 .3 .1 .54 .26 .26 .87 .03 .00
3 0 9 6 0 9 1 2
Δ=(ps- pi) .47 .9 .5 .5 .7 .6 .4 .5 .4 .44 .72 .46 .13 .97 .14
7 8 1 7 0 2 5 8

8. Decideti care itemi pot fi acceptati, care itemi trebuie revizuiti si care itemi trebuie respinsi,
completand schema lui Ebel.

p=dificultatea itemilor
Grup puternic Grup slab Decizia
1,0
Δ = capacitatea discriminativă a itemilor

0,9 2-
14
0,8 Acceptarea
0,7 5- itemilor
11
0,6 6
0,5 4-3 8
0,4 9- 1
12-
7
0,3
0,2 Revizia
0,1 13 15 itemilor
0 0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 1,00
-0,1
-0,2
2
 -0,3
-0,4 Respingerea
-0,5 itemilor
-0,6
-0,7
-0,8
-0,9
-1,0

9. Pentru 3 dintre cei mai slabi discriminativi itemi explicati ce relatie exista intre dificultatea si
discriminabilitatea itemilor.
13,15,7 sunt cei mai slabi discriminativi itemi.Relatiile identificate sunt de discriminabilitate mica si
dificultate mare.

10. Creati curba caracteristica a itemului pentru fiecare item si decideti

- ce itemi discrimineaza bine si ce itemi discrimineaza slab,
- care item este cel mai dificil.

Instructiuni SPSS pentru punctul 10:

I. Crearea grupurilor:
1. Transform → Visual Binning
2. Mutati variabila Total la Variables to bin: → click continue
3. Scrieti ICC_grup la Binned Variable:
4. Click la Make Cutpoint → Equal Percentiles Based on Scanned Cases si tastati 5 la Number of
Cutpoins → Apply
5. Etichetati fiecare valoare corespunzator (“0-4”, “5-6”, “7-8”, “9-10”, “11”, “11+”) → Ok

II. Crearea graficului:

1. Graphs → Legacy Dialogues → alegeti bars-“Simple” and “Summaries of Groups of Cases” si
click la Define.
2. Mutati variabila ICC_grup la Category Axis.

3. La “Line Represents”, click “Other Statistic” → mutati itemul 1 la “Variable” → siclick

“Change Statistic”. → Click on “Percentage Above” puneti “0” la “Value” Click Continue.
4. FOARTE IMPORTANT : Click “Paste” (nu OK). Copy and paste the syntax 14 times for a total
of 15. Besides the first time, change “item1” to “item2”, “item3”, etc. through “item15”. In the
syntax window go to “Run” and select “All”.

3
ANEXE (Formule si exemple)

1. Dificultatea itemilor

 În cazul itemilor dihotomici – adică scoraţi cu 0 şi 1 –

dificultatea unui item este dată de proporţia celor care au reuşit rezolvarea sa.
Indicele de dificultate poate lua valori cuprinse între 0 şi 1, în prima situaţie itemul fiind foarte greu
(majoritatea, sau chiar toţi subiecţii nu l-au putut rezolva), în a doua situaţie el fiind foarte uşor
(majoritatea sau aproape toţi subiecţii l-au rezolvat).

 Dacă itemul a fost cotat pe o scală de mai multe puncte (polihotomică),

indicele de dificultate se află după formula:

p=

în care Σx este suma scorurilor obţinute fiecare subiect iar n este scorul maxim.
Pentru a avea o imagine mai clară asupra dificultăţii itemului, prin comparaţie cu un alt indicator care este
media itemului, dăm tabelul de mai jos, în care sunt calculate mediile şi dificultăţile a 3 itemi scoraţi pe o
scală de 5, 3 şi 1 punct.

Subiect Itemi
Item 1 Item 2 Item 3 Item total
1 4 3 1 8
2 5 2 0 7
3 1 0 0 1
4 3 1 1 5
5 4 2 1 7
6 2 1 1 4
7 2 3 0 5
8 0 3 1 4
9 5 2 1 8
10 1 1 1 3

4
 11 3 1 0 4
12 3 2 1 6
Media (Σx/n) 33/12 = 2,75 21/12 = 1,75 8/12 = 0,67 62/12 = 5,17
Dificultatea p 2,75/5 = 0,55 1,75/3 = 0,58 0,67/1 = 0,67 5,17/9 = 0,57
Complement q (1-p) 1-0,55 = 0,45 1-0,58 = 0,42 1-0,67 = 0,33 1-0,65 = 0,43
Corecţie p' 0,44 0,37 0,34 -
Mediile şi indicii de dificultate pentru 3 itemi scoraţi pe o scală de 5, 3 şi 1 punct.

Laveault şi Grégoire propun următoarea formulă de corecţie:

în care p este indicele de dificultate iniţial,

p' este cel corijat, iar
M este numărul variantelor de răspuns pentru itemul în cauză.

2. Varianţa itemului - informează în legătură cu gradul de împrăştiere al performanţei la acel item în

jurul unei medii, fiind în acelaşi timp şi un indicator mai grosier al puterii de discriminare a itemului.
Pentru itemii cu mai multe valori de răspuns (polihotomici), varianţa se determină prin metoda clasică, dar
pentru o scală dihotomică există o formulă mult mai simplă pentru a o determina:

s2 = pq
în care s este varianţa itemului,
2

p este indicele de dificultate iar q complementul său (1 - p).

I T E M I
Subiecţi 1 2 3 4 5 6 7 8 9 10 11 Total
1 1 1 1 1 1 1 1 1 1 1 0 10
2 1 1 1 1 1 1 1 1 1 0 0 9
3 1 1 1 1 1 1 1 1 0 0 0 8
4 1 1 1 1 1 1 1 0 0 0 0 7
5 1 1 1 1 1 1 0 0 0 0 0 6
6 1 1 1 1 1 0 0 0 0 0 0 5
7 1 1 1 1 0 0 0 0 0 0 0 4
8 1 1 1 0 0 0 0 0 0 0 0 3
9 1 1 0 0 0 0 0 0 0 0 0 2
10 1 0 0 0 0 0 0 0 0 0 0 1
p 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0 x=5,50
q 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 σ=2,87
pq 0,00 0,09 0,18 0,21 0,24 0,25 0,24 0,21 0,16 0,09 0,00 Σx=55
Σpq 0,00 + 0,09 + 0,16 + 0,24 + 0,25 + 0,24 + 0,21 + 0,16 + 0,09 + 0,00 = 1,65 Σx2=385
Evoluţia varianţei itemilor în funcţie de indicele de dificultate p.

Varianţa totală a testului (2,872 = 8,25) nu este egală cu suma varianţelor fiecărui item în parte (Σpq =
1,65)!!!

3. Dificultatea optima a itemului:

5
 11. Se calculează jumătatea diferenţei dintre 100% succes şi şansa de performanţă. Pentru un test cu 4
posibilităţi de răspuns, probabilitatea unui răspuns corect prin şansă (întâmplare) este de 25%,
deci:

12. Se adaugă la valoarea găsită probabilitatea răspunsului prin şansă:

0,375 + 0,25 = 0,625 (dificultatea optimă).

 Test cu două variante de răspuns: ps = 0,50 + (1 - 0,50)/2 = 0,750

 Test cu patru variante de răspuns: ps = 0,25 + (1 - 0,25)/2 = 0,625
 Test cu şase variante de răspuna: ps = 0,167 + (1- 0,167)/2 = 0,584
 Test cu opt variante de răspuns: ps = 0,125 + (1 – 0,125)/2 = 0,563
 Test cu zece variante de răspuns: ps = 0,10 + (1 -0,10)/2 = 0,550.

4. Discriminabilitatea itemului
- un item este discriminativ atunci când există un bun paralelism între scorurile la test în ansamblul său şi
scorul la itemul în cauză

Indicele de discriminare (metoda grupurilor de contrast sau a grupurilor extreme)

Metoda propune pentru comparaţia itemilor unui test două grupuri aflate la extremele seriei de
variaţie a scorurilor, 27% din cei care au dat răspunsurile cele mai bune la test fiind comparaţi cu ceilalţi
27% care au dat cele mai slabe răspunsuri, pentru a determina pentru fiecare item în parte dacă reuşita se
asociază cu apartenenţa la grupul superior. Dacă vom nota cu p s indicele de dificultate pentru grupul
superior şi cu pi pe cel pentru grupul inferior, formula indicelui de discriminare va fi:
D = ps - pi
Concret, indicele de discriminare se calculează astfel:
1. după scorurile la test se determină grupul superior, grupul inferior şi cel neutru;
2. se caută proporţia în care subiecţii din grupul superior şi din cel inferior au răspuns corect la fiecare
item;
3. pentru fiecare item se scade proporţia răspunsurilor corecte ale grupului slab din proporţia răspunsurilor
corecte ale grupului bun, ceea ce dă indicele de discriminabilitate, a cărui valoare poate varia între -1 şi
+1.
Valoarea 0 semnifică egalitatea rezolvării de către cele două grupuri şi deci absenţa discriminării;
valorile pozitive indică preponderenţa rezolvării itemului de către grupul superior, iar cele negative de
către grupul inferior şi de aceea el trebuie eliminat fără discuţie, căci în acest caz destinul itemului nu este
solidar cu al testului din care el face parte. Se apreciază că valorile lui D între:
0,00 - 0,10 indică absenţa discriminării;
0,11 - 0,19 valoare de limită a discriminării;
0,20 - 0,29 valoare scăzută a discriminării;
0,30 - 0,39 valoare bună a discriminării;
0,40 item cu o foarte bună putere discriminativă.

6
Metoda presupune cel puţin 30 de subiecţi în grup, pentru a nu avea mai puţin de 8 subiecţi în grupurile de
contrast.

Item 1 2 3 4 5 6 7 8 9 10
1 1 1 1 0 1 0 1 0 1 0
2 1 1 1 1 0 0 1 1 0 0
3 1 0 1 1 1 0 1 0 1 1
4 0 0 0 0 1 0 1 0 1 1
5 1 1 1 0 1 0 1 0 1 1
6 1 1 1 1 1 1 1 1 0 1
7 1 1 1 0 1 0 1 0 1 1
8 1 1 1 0 1 0 0 0 1 0
9 1 0 0 1 1 0 1 0 1 1
10 1 0 1 1 1 0 1 1 1 0
11 0 0 1 1 1 0 1 0 1 0
...
29 1 1 1 1 0 1 0 0 0 0
30 0 0 0 1 1 1 1 1 1 1
31 0 0 0 0 0 1 1 1 0 0
32 1 0 1 1 0 1 1 0 0 1
33 0 1 0 1 1 1 0 1 0 0
34 1 1 0 1 0 1 1 0 0 1
35 0 1 1 0 0 1 1 1 0 0
36 0 0 0 0 0 1 1 1 1 0
37 1 0 1 1 0 1 1 1 0 1
38 1 0 0 0 0 1 1 0 0 0
39 1 1 1 1 1 1 1 1 0 0
Σ 15 11 14 12 12 12 19 10 11 10
p 0,8 0,1 0,2 0,4 0,5 0,5 0,9 0,3 0,4 0,6
ps 0,8 0,5 0,8 0,5 0,9 0,1 0,9 0,3 0,8 0,5
pi 0,5 0,5 0,5 0,6 0,3 1,0 0,8 0,6 0,1 0,4
Δ=(ps- pi) 0,3 0 0,3 0,1 0,6 -0,9 0,1 -0,3 0,7 0,1

p=dificultatea itemilor
Grup puternic Grup slab Decizia
1,0
0,9
Δ = capacitatea discriminativă a itemilor

0,8
0,7 9 Acceptarea
0,6 5 itemilor
0,5
0,4
0,3 3 1
0,2 Revizia
0,1 4 10 7 itemilor
0 2 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 1,00
-0,1
-0,2
-0,3 8
-0,4 Respingerea
-0,5 itemilor
-0,6
7
 -0,7
-0,8
-0,9 6
-1,0
Interpretarea capacităţii de discriminare pentru cei 10 itemi anteriori după schema lui Ebel.

5. Curba caracterstica a itemului

8
9