Sunteți pe pagina 1din 12

Suport Seminar 5 – Analiza de itemi

Lect. univ. dr. Adrian Gorbănescu

5.1 Introducere

Domeniul central în psihologie îl reprezintă evaluarea psihologică. Aceasta este un proces


ce își propune să extragă concluzii cu privire la o serie de aspecte psihologice prin colectarea și
analiza datelor (Urbina, 2009). De multe ori, evaluarea psihologică este confundată cu acțiunea
de testare, cei doi termeni fiind considerați sinonimi. Evaluarea psihologică este un proces
complex, care solicită parcurgerea mai multor etape, una dintre acestea fiind aplicarea testelor.
Urbina (2009) precizează trei contexte în care testele pot fi aplicate: luarea deciziilor, cercetarea
științifică și înțelegerea și dezvoltarea personală.
Cele mai importante caracteristici ale testelor sunt fidelitatea și validitatea. Fidelitatea
unui test ne indică în ce măsură rezultatele obținute sunt consistente, stabile în timp și lipsite de
erori. Cu alte cuvinte, fidelitatea ne indică măsura în care un test oferă rezultate asemănătoare
dacă este administrat de mai multe ori. Una din cele mai utilizate proceduri de măsurare a
fidelității este coeficientul Cronbach Alpha. Validitatea este caracteristica psihometrică care ne
arată în ce măsură un test măsoară constructul pe care pretinde că îl măsoară și cât de bine face
acest lucru (Anastasi & Urbina, 1997).
Analiza de itemi reprezintă o serie de proceduri statistice care au ca obiectiv evaluarea
testelor pornind de la calitatea individuală a itemilor, a unor seturi de itemi (scale) și a tuturor
itemilor testului luați ca un tot unitar (B. Thompson & Levitov, 1985). Informațiile obținute în
urma acestei analize sunt importante pentru a îmbunătăți calitatea testului. În construcția unui
test, analiza de itemi are un rol major deoarece ne oferă o imagine asupra rezultatelor care vor
fi obținute în urma aplicării lui.
Ori de câte ori măsurăm un construct, un atribut psihologic, scorul observat X este
compus din scorul real T și o cantitate de eroare E. Scorul real este unul teoretic, fiind dependent
de măsura în care persoana testată manifestă constructul măsurat și de condițiile în care se
desfășoară testarea. În cazul în care testăm un individ de mai multe ori, scorul real este dat de
media scorurilor obținute. Scorul observat (scorul brut) este numărul de puncte pe care persoana
evaluată îl obține la test și reprezintă cea mai bună estimare a scorului real. Condițiile de testare
sau motivația participantului pot avea o influență pozitivă sau negativă asupra scorului real (R.
L. Thorndike, 1982).
Un test măsoară un anumit construct (IQ, performanță, personalitate) care nu poate fi
observat direct, ci prin intermediul unor întrebări, afirmații (itemi), care se referă la constructul
respectiv. În concluzie, itemii sunt unitățile unui test prin care se strâng informații despre
comportamentul persoanei evaluate. Se presupune că există o relație liniară între răspunsurile
la itemi și scorul global obținut pe baza lor.
Atunci când facem analiza de itemi desfășurăm următoarele proceduri:
• Evaluarea indicelui de dificultate al itemului.
• Evaluarea capacității de discriminare a itemului.
• Evaluarea consistenței interne a instrumentului.

5.2 Indicele de dificultate

Indicele de dificultate reprezintă procentul de răspunsuri „corecte” oferite la un anumit


item de către un eșantion de participanți. El este indicat de frecvența procentuală cu care
eșantionul cercetat a ales răspunsul corect. Indicele de dificultate poate lua valori de la 0 la +1.
Cu cât valoarea indicelui de dificultate este mai mare, cu atât itemul este mai ușor. Pentru
chestionarele de personalitate, nu există conceptul de „corect” sau „greșit”. Din acest motiv,
indicele de dificultate este dat de orientarea răspunsului spre semnificația scalei (prezența vs.
absența trăsăturii măsurate). De exemplu, într-un chestionar de evaluare a conștiinciozității
putem întâlni itemul „Sunt atent la detalii”. Într-un chestionar care folosește o scorare lickert,
unde 1 înseamnă dezacord total, iar 5 presupune acordul total, răspunsurile corecte vor fi
reprezentate de scorurile 4 și 5. Prin aceste răspunsuri înțelegem că subiecții sunt atenți la
detalii, aceasta fiind una din trăsăturile conștiinciozității. Într-un chestionar ce își propune să
măsoare conștiinciozitatea poate avea și itemul „Las dezordine în camera mea”. Dacă o
persoană răspunde cu 4 sau 5 la acest item înseamnă că este dezordonată și îi lipsește
conștiinciozitatea. Pentru acest item, răspunsurile 1 și 2 sunt în dezacord cu dezordinea, iar
acest fapt indică conștiinciozitate. Un astfel de item are scorare inversă. Mai jos este explicat
în detaliu procedura de scorare inversă a itemilor.
Indicele de dificultate are un efect puternic atât asupra variabilității scorurilor obținute la
test, cât și asupra preciziei cu care testul discriminează între grupurile de respondenți (R. M.
Thorndike, Cunningham, Thorndike, & Hagen, 1991).
Formula de calcul pentru indicele de dificultate este:

𝑛𝑢𝑚ă𝑟𝑢𝑙 𝑑𝑒 𝑟ă𝑠𝑝𝑢𝑛𝑠𝑢𝑟𝑖 𝑐𝑜𝑟𝑒𝑐𝑡𝑒 𝑙𝑎 𝑖𝑡𝑒𝑚


𝑑=
𝑁
(formula 13.1)

De exemplu, să presupunem că testăm un eșantion de 40 de persoane și 28 dintre ele


răspund corect la item. Atunci, indicele de dificultate este egal cu 0,70 sau 70%.
𝑛𝑢𝑚ă𝑟𝑢𝑙 𝑑𝑒 𝑟ă𝑠𝑝𝑢𝑛𝑠𝑢𝑟𝑖 𝑐𝑜𝑟𝑒𝑐𝑡𝑒 𝑙𝑎 𝑖𝑡𝑒𝑚 28
𝑑= →𝑑= → 𝑑 = 0,70
𝑁 40
Thompson și Levitov (1985) sugerează că indicele de dificultate optim pentru itemii cu
patru variante de răspuns este 0,62, iar pentru cei cu cinci variante de răspuns este 0,60. De
asemenea, un item este bun dacă indicele de dificultate este cuprins între 0,30 și 0,80.

Pentru a calcula indicele de dificultate în SPSS se utilizează procedura Frequencies din


meniul Analyze → Descriptive Statistics. Indicele de dificultate se citește din coloana Percent,
iar atunci când avem variabile lipsă indicele de dificultate se citește pe coloana Valid Percent.
Pentru itemul 1, indicele de dificultate este de 42% sau, exprimat ca probabilitate, 0,42.

Pentru itemul analizat, răspunsul corect este reprezentat de variantele de răspuns 4 și 5.


După cum putem observa, cu 4 au răspuns 32,1% din subiecți, iar cu 5 au răspuns 9,9%. Dacă
cumulăm cele două procente obținem procentul răspunsurilor corecte, 42%.

Pentru item-ul 2 observăm faptul că 26% dintre subiecți au răspuns cu varianta 4, iar 2,3%
au oferit răspunsul 5. Prin urmare procentul răspunsurilor corecte este 28,3%. Astfel, vom
concluziona că acest item are un indice de dificultate de 28,3% sau 0,28.
Trebuie să ținem cont de faptul că într-un chestionar nu toți itemii măsoară constructul
vizat în mod direct. Mai sus am dat exemplul unui item care măsura conștiinciozitatea. Acela a
fost un exemplu de item care măsura constructul în mod direct. Unii item pot fi formulați în
direcția opusă a constructului măsurat. Astfel, dacă avem itemul „Îmi las lucrurile împăștiate”,
putem observa faptul că formularea directă îmi măsoară un construct opus conștiinciozității.
Prin urmare, eu voi face o scorare inversă pentru acest item, unde dezacord total (1) devine
acord total în raport cu conștiinciozitatea (5), dezacord (2) devine acord (4) s.a.m.d.
În cazul în care atunci când am creat baza de date am uitat să fac scorarea inversă pentru
un item, în SPSS putem face apel la procedura Recode into Same Variable din meniul
Transform. Se va deschide o casetă de dialog, iar itemul pe care dorim să îl transformăm va fi
mutat în caseta Numeric Variables cu ajutorul săgeții de transfer.

Se va acționa butonul Old and New Values și se va deschide caseta de dialog de mai jos.
În câmpul Old Value vom trece valoarea pe care dorim să o transformăm (în cazul nostru 1),
iar în câmpul New Value vom scrie valoarea pe care dorim să o obținem (în cazul nostru 5).
Apoi se acționează butonul Add. În continuare 2 se transformă în 4, 5 se transformă în 1 și 4 se
transformă în 2.
Operația se va repeta pentru toate valorile pe care dorim să le transformăm. La finalizarea
introducerii valorilor pe care dorim să le transformăm acționăm butoanele Continue și OK

5.3 Indicele de discriminare

Indicele de dificultate nu este suficient pentru a putea judeca calitatea unui item. Este
foarte important ca numărul răspunsurilor la un item să fie în relație cu scorul total al
constructului pe care îl măsurăm. Acest aspect este evaluat cu ajutorul indicelui de discriminare.
Dacă la un item respondenții care au scoruri ridicate ale constructului măsurat răspund în
sens invers scalei, iar cei care au scoruri mici oferă răspunsuri în sensul scalei, atunci itemul
respectiv fie este formulat greșit, fie măsoară altceva. Indicele de discriminare ne arată în ce
măsură itemul are capacitatea de a diferenția între cei care au răspunsuri corect la item din
grupul cu scoruri mari și respondenții care au răspuns corect din grupul cu scoruri mici. În
concluzie, participanții cu scoruri mari trebuie să prezinte o probabilitate mai mare de a
răspunde corect la item comparativ cu cei care nu au performat la test. Indicele de dificultate
variază între -1 și +1, acesta din urmă fiind scorul ideal. Un indice pozitiv indică faptul că
respondenții cu scoruri mari au răspuns corect în mai mare măsură, iar indicii pozitivi arătă că
răspunsurile corecte au fost date mai mult de cei cu scoruri mici la test.
Un item care posedă o capacitate de discriminare importantă are un procent mai mare de
răspunsuri corecte pentru subiecții care au scoruri ridicate și un procent mai mic de răspunsuri
corecte pentru cei care dețin un scor global mic. Ebel și Firisbie (1986) propun următoarea
clasificare a itemilor în funcție de indicele de discriminare:
• Mai mare sau egal cu 0,40 – itemul este bun.
• Între 0,30 și 0,39 – acceptabil.
• Între 0,20 și 0,29 – slab.
• Sub 0,20 – foarte slab.

Pentru calculul indicelui de discriminare parcurgem următoarele etape:


1. Se calculează scorul total.
2. Se formează grupuri distincte de participanți pe baza scorului total. Se recomandă
selectarea de grupuri ce cuprind 25% din participanți (Nunnally, 1972) sau grupuri
formate din 33% din respondenți (SPSS., 1999). O altă recomandare este aceea de a
forma trei grupuri, iar în cel cu scoruri superioare și cel cu scoruri mici să includem câte
27% din participanți, restul de 46% fiind alocați grupului cu scoruri medii (T. I. Kelley,
1939).
3. Se calculează indicele de discriminare utilizând formula
𝑈 𝐿
𝐷= −
𝑛𝑈 𝑛𝐿
(formula 13.2)
unde:
• U – numărul de participanți din grupul superior care au răspuns corect la item.
• nU – numărul respondenților din grupul superior.
• L - numărul de participanți din grupul inferior care au răspuns corect la item.
• NL – numărul participanților din grupul inferior.

Să presupunem că am construit un chestionar prin intermediul căruia dorim să măsurăm


conștiinciozitatea. Scala este compusă din 20 de itemi. Aceștia sunt codați const1, const2,
const3 etc.
Din definiție înțelegem că itemul are un nivel ridicat de discriminare dacă reușește să îi
distingă pe subiecții conștiincioși de cei mai puțin conștiincioși. Prin urmare, pe baza scorurilor
la test, va trebui să stabilim care sunt participanții cu scoruri mari și cei cu scoruri mici. Scorul
la scala de conștiinciozitate îl vom obține prin adunarea punctajului la fiecare item. Acest scor
îl calculăm doar după ce ne asigurăm că am inversat scorurile la itemii care măsoară indirect
constructul vizat.

Pentru început, se calculează scorul global al scalei, utilizând procedura Transform →


Compute. Vom crea o variabilă conștiinciozitate care va însuma toți itemii chestionarului.

În acest moment dispunem de scorurile participanților la scala de conștiinciozitate. În


această etapă trebuie să împărțim participanții în grupuri. Se recomandă obținerea a trei grupuri:
scoruri mari, scoruri medii și scoruri mici pentru constructul măsurat. În cazul nostru, deoarece
studiem o scală care măsoară o trăsătură de personalitate, vom împărți participanții în trei
grupuri aproximativ egale (33% din participanți în fiecare grup). Variabila conștiinciozitate
este analizată cu ajutorul procedurii Analyze → Descriptive Statistics → Frequencies.
Coaloana Cumulative Percent ne indică rangul percentil, ce procent din participanți se
plasează până la un anumit scor. Prin urmare, în grupul scorurilor mici vom include participanții
care se plasează până la rangul percentil 33,3. Cel mai apropiat rang percentil de pragul amintit
este 34,4, iar valoarea corespunzătoare acestui rang este 65. Astfel, în grupul scorurilor mici
vor intra cei cu scoruri în intervalul 40 – 65. Mai departe vom selecta participanții care vor face
parte din grupul cu scoruri medii. Aceștia vor fi participanții ce ajung la rangul percentil 66,6.
Cel mai apropiat rang percentil de acest prag este 67,2, iar valoarea corespunzătoare este 77.
Participanții cu scoruri medii la conștiinciozitate sunt cei cuprinși în intervalul 66 – 77. Ceilalți
respondenți, cu scoruri de la 78 la 98, vor face parte din grupul scorurilor mari.

Tabel 5.1 – Scorurile pentru conștiinciozitate și frecvențele acestora


Valid Cumulative

Scor Frequency Percent Percent Percent

40 5 3,8 3,8 3,8


50 2 1,5 1,5 5,3
51 2 1,5 1,5 6,9
52 3 2,3 2,3 9,2
53 3 2,3 2,3 11,5

55 2 1,5 1,5 13,0


56 2 1,5 1,5 14,5
57 5 3,8 3,8 18,3
58 3 2,3 2,3 20,6
59 2 1,5 1,5 22,1
60 3 2,3 2,3 24,4
61 3 2,3 2,3 26,7
62 2 1,5 1,5 28,2
63 2 1,5 1,5 29,8
64 3 2,3 2,3 32,1
65 3 2,3 2,3 34,4
66 5 3,8 3,8 38,2
67 5 3,8 3,8 42,0

68 5 3,8 3,8 45,8


69 1 ,8 ,8 46,6
70 1 ,8 ,8 47,3

71 5 3,8 3,8 51,1


72 2 1,5 1,5 52,7
73 4 3,1 3,1 55,7
74 6 4,6 4,6 60,3
75 2 1,5 1,5 61,8
76 2 1,5 1,5 63,4
77 5 3,8 3,8 67,2
78 6 4,6 4,6 71,8
79 1 ,8 ,8 72,5
80 4 3,1 3,1 75,6
81 2 1,5 1,5 77,1
82 4 3,1 3,1 80,2

83 6 4,6 4,6 84,7


84 1 ,8 ,8 85,5
85 1 ,8 ,8 86,3

86 2 1,5 1,5 87,8


87 4 3,1 3,1 90,8
88 1 ,8 ,8 91,6

89 1 ,8 ,8 92,4
90 2 1,5 1,5 93,9
91 1 ,8 ,8 94,7

92 1 ,8 ,8 95,4
93 3 2,3 2,3 97,7
95 1 ,8 ,8 98,5

98 2 1,5 1,5 100,0


Total 131 100,0 100,0

În următoarea etapă se creează o nouă variabilă prin care definim apartenența


participanților la grupurile amintite anterior (1 = grupul inferior; 2 = grupul mediu; 3 = grupul
superior). Folosim procedura Transform → Recode into Different Variables. În zona Output
Variable vom scrie numele variabilei care va cuprinde plasarea participanților în cele trei
grupuri. O vom numi sugestiv grup. Se acţionează butonul Old and New Values şi declarăm
valorile precum în figura de mai jos :

După ce se apasă Continue, se revine la caseta anterioară unde se apasă Change și


OK.

Se declară împărțirea fișierului cu date în trei categorii de participanți, folosind procedura


Data → Split File precum în figura de mai jos:

Orice prelucrare vom demara, prin intermediul acestei proceduri, aceasta va fi efectuată
separat pentru fiecare grup în parte.

Pentru a calcula indicele de discriminare, folosim procedura Frequencies din meniul


Analyze. Datorită efectului de împărțire a bazei de date prin procedura Split File, rezultatul va
fi prezentat pentru fiecare subgrup în parte precum în imaginea de mai jos. Reamintim faptul
că participanții din grupul superior sunt codați cu 3, iar cei din grupul inferior sunt codați cu 1.
Răspunsurile corecte sunt 4 și 5.
Când analizăm primul item, putem observa că în grupul superior au răspuns corect 65,1%
dintre participanți (53,5% au răspuns cu 4 și 11,6% au răspuns cu 5). În grupul inferior au
răspuns corect 24,4% dintre participanți (24,4% au răspuns cu 4, iar cu 5 nu a răspuns nici un
subiect). Pentru a calcula valoarea indicelui de discriminare vom face diferența 65,1% - 24,4%
= 40,7%. Transformat în probabilitate, indicele de discriminare devine 0,407.
Aplicând formula mai sus amintită D = 28/43 – 11/45 = 0,407. Diferențele existente între
rezultatul obținut ca urmare a aplicării formulei și cele obținute ca urmare a scăderii procentelor
pot fi cauzate de aproximările utilizate.

5.4 Analiza de consistență internă – indicele Cronbach alfa

Atunci când avem un instrument format din itemi diferiți, problema fundamentală este
aceea de a observa dacă acești itemi măsoară aceeași realitate psihologică. Dacă această condiție
este îndeplinită, atunci itemii ar trebuie să aibă o corelație pozitivă unii cu alții, pe de o parte,
dar și o corelație pozitivă cu scala, pe de altă parte. Această calitate a unui instrument se numește
consistență internă.
Indicele Cronbach alfa tinde să fie mai mare:
• Cu cât numărul itemilor este mai mare. Cu toate acestea, tentația de a avea un număr
mare de itemi trebuie controlată, deoarece chiar dacă sunt itemi care au o corelație
pozitivă cu scala, ei pot genera o reducere a indicelui Crobach alfa sau pot avea o
contribuție minoră la consistența generală a scalei.
• Cu cât itemii dau corelații mai mari cu alți itemi (de 0,40 sau mai mari).
• Cu cât volumul eșantionului este mai mare.
• Numărul variantelor de răspuns este mai mare. Atunci când participanții ai de ales între
mai multe variante de răspuns, indicele Cronbach alfa tinde să fie mai mare. Sunt
preferabile scalele cu 5 sau 7 trepte. Cel mai scăzut nivel de consistență internă se obține
la scalele cu trei variante de răspuns.

Plaja teoretică normală de variație a indicelui Cronbach alfa este între 0 și 1. O valoare
negativă a indicelui apare numai în contextul unei configurații viciate a datelor. Pentru ca o
scală să fie considerată consistentă, trebuie să atingă o valoare a indicelui Cronbach cât mai
aproape de 1. Nivelul de 0,70 este general acceptat, prin convenție, ca prag minim.
Procedura se lansează din meniul Analyze → Scale → Reliability Analysis, care
deschide următoarea casetă. Variabilele care conțin valorile itemilor de analizat vor fi trecute
în lista Items (în cazul nostru const1, const2, const3 etc).

În lista Model se alege opțiunea Alpha. În meniul Statistics se vor bifa următoarele
opțiuni:
• În zona Descriptives se vor bifa:
1. Item (analiza fiecărui item separat)
2. Scale if item deleted (analiza indicelui alfa fără contribuția unui anumit item).
• În zona Inter-item se vor bifa Corelations pentru a obține matricea de corelație dintre
itemii analizați.
• Opțiunea Intraclass correlation coefficient va afișa intervalul de încredere pentru
indicele de consistență internă observat.

Corelațiile itemilor oferă o imagine a gradului de asociere dintre aceștia. Valorile sunt
utile, pe de o parte, pentru a sesiza itemii care tind să aibă relații negative cu ceilalți, fiind un
semn al unei posibile probleme de construire a respectivilor itemi.
Din tabelul alăturat putem observa că itemul 4 tinde să se asocieze negativ cu mai mulți
itemi. În plus, corelațiile itemului 4 cu ceilalți itemi sunt slabe, singura corelație mai bună fiind
cea cu itemul 16 (0,408). Pe de altă parte, valori ridicate ale unor corelații, aproape de 1, ar
putea sugera că itemii respectivi prezintă un grad de similitudine, care nu justifică utilizarea lor
în aceeași scală.
Cea mai importantă dintre categoriile de informații se regăsește în tabelul Item – Total
Statistics. Acesta prezintă relațiile dintre item și scorul global. Două dintre coloane au o
importanță majoră: Corected Item – Total Correlation (indică corelația dintre item și scorul
global construit fără participarea itemului respectiv) și Alpha if Item Deleted (indică valoarea
lui Cronbach Alfa dacă respectivul item ar fi eliminat).
Dacă privim coloana Corected Item – Total Correlation observăm că toți itemii corelează
pozitiv cu scala, iar majoritatea itemilor au corelații cu scala mai mari de 0,30. Singurul item
care nu corelează puternic cu scala este itemul 4 (0,22). Acest indice de corelație nu este unul
acceptabil și putem elimina acest item din chestionar. Dacă vom lua această decizie, citind
coloana Cronbach’s Alpha if Item Deleted, putem observa că indicele de consistență internă
vă ajunge la 0,89. Coeficienții de corelație sunt afișați fără nivelul de semnificație, luându-se în
considerare doar mărimea lor. În general, se consideră că o corelație minimă pentru un item
acceptabil ar trebui să fie 0.20, dar valorile recomandabile sunt cele mai mari de 0.30.
Indicele de consistență internă Cronbach Alpha se citește din tabelul Reliability
Statistics, unde putem observa că indicele de consistență internă calculat este 0,88.

Atunci când calculăm intervalul de încredere al indicelui alfa, un instrument este


consistent și poate fi utilizat în condiții de cercetare atunci când limita inferioară este mai mare
sau egală cu 0,70. Intervalul de încredere va fi citit din tabelul Intraclass Correlation
Coefficient de pe linia Average Measures. Pentru indicele de consistență internă 0,88 avem
CI95%: 0,86 – 0,90. Acest interval de încredere este foarte restrâns și indică faptul că indicele
de consistență internă este unul precis.

Prin eliminarea itemilor 4 și 11 din analiză indicele de consistență internă devine 0,893,
având CI95%: 0,87 – 0,91. Pot exista situații în care, deși valoarea Cronbach alfa este una
acceptabilă (0,78), limita inferioară a intervalului de încredere este 0,61. Acest rezultat se
traduce prin faptul că testul analizat nu ar putea fi utilizat nici măcar în situații de cercetare,
deoarece limita inferioară nu depășește pragul acceptat de 0,70.

Exerciții

1. Pe baza imaginii de mai jos calculați:


a. Indicele de dificultate pentru itemii: S5_PH1, S5_PH7, S5_PH9 și S5_PH14.
b. Indicele de discriminare pentru itemii: S5_PH2, S5_PH9, S5_PH 11 și S5_PH15.
c. Calculați indicele de fidelitate Cronbach Alpha pentru cei 15 de itemi și specificați
intervalul de încredere.
d. Calculați indicele de fidelitate Cronbach Alpha și specificați intervalul de încredere
după eliminarea itemilor S5_PH7, S5_PH10 și S5_PH13.

S-ar putea să vă placă și