Sunteți pe pagina 1din 319

ELEMENTE DE PSIHOMETRIE

Prof. univ. dr. Anca Dobrean


Departamentul de Psihologie Clinca si Psihoterapie
ancadobrean@psychology.ro
2

Tematica
Conceptele de măsurare, evaluare in psihologie.
Istoric al evaluării psihologice. Definiţii ale testului psihologic.
Tipuri de teste psihologice. Scopuri ale evaluării psihologice.
Evaluarea psihologică: indici statistici de măsurare/evaluare.
Scale de măsură. Standardizarea.
Etalonarea testelor. Tipuri de norme utilizate in evaluarea psihologica si
semnificaţia acestora.
Fidelitatea testului psihologic. Definiţia fidelităţii. Tipuri de fidelitate.
Validitatea testului psihologic. Definiţia validităţii. Tipuri de validitate: de
conţinut (analiza de itemi - analiza diferiţilor indici), de criteriu, de
construct. Modalităţi de influenţare a validităţii unui test.
Utilitatea diagnostică a unui test psihologic. Sensibilitatatea unui test
psihologic. Specificitatea unui test psihologic. Puterea de predicţie a unui
test psihologic.
Adaptarea testelor psihologice
EVALUARE VS. TESTARE
PSIHOLOGICA
TESTUL PSIHOLOGIC
4

Evaluare vs. testare


psihologica
• Evaluarea psihologica - un proces de
rezolvare de probleme care vizează
descoperirea manifestărilor realitatii.
• un scop bine precizat

• o serie de instrumente de evaluare


• o serie de variabile specifice situatiei.
5

Testarea psihologica
• Testarea psihologica - procesul de administrare,
cotare si interpretarea a rezultatelor unui
instrument (de obicei test) psihologic.
• Testul psihologic ca instrument de evaluare.
• Predictiile pe care le facem pe baza unui test
iau in considerare doar o singura sursa si
anume testul respectiv.
• Predictiile pe care le facem pe baza unei
evaluări psihologice ţin seama de o multitudine
de surse de informaţie (incluzând bineinteles si
testarea psihologica)
6

Diagnostic
• Diagnostic – „termenul
medical pentru clasificare”
(Guze, 1978)
• Ex. categoriile nosologice
clinice
7

Diagnostic - exemplu
8

Scurt istoric al testarii psihologice


2200 IC - Chinezii încorporau militarii pe baza unor evaluări prealabile
1879 - Wilhem Wundt - primul laborator de testare psihologică la Leipzig,
Germania
1884 - Francis Galton realizează prima baterie de teste
1890 James McKeen Cattell utilizează pentru prima dată termenul de
"mental test", evaluând aptitudinile intelectuale pe baza unor probe ce
vizau timpul de reacţie şi capacitatea de discriminare senzorială
1901 - Clark Wissler susţine că indicii obţinuţi de Cattell nu corelează cu
notele şolare
1905 - Scala Metrica a Inteligentei - primul test de inteligenţă elaborat de
Binet-Simon
1914 Stern introduce termenul de coeficient de inteligenţă
(IQ) = vârsta mintală/vârsta cronologică
1916 Lewis Terman reia scalele Binet-Simon, publicând Scalele Stanford-
Binet. Acestea vor fi revizuite treptat în anii 1937, 1960, 1986
1917 Robert Yerkes realizează testele pentru încorporarea în armata
americană în timpul Primului Război Mondial: Army Alpha şi Army Beta
9

Scurt istoric al testarii psihologice


1920-1940 Dezvoltarea majoră a testelor de personalitate
1921- Hermann Rorschach in 1921
10

Scurt istoric al testarii psihologice


1921 - Este fondat Psychological Corporation (Cattell,
Thorndike, Woodworth)
1927 - Este elaborat primul chestionar ce viza orientarea
profesională
1939 Wechsler Bellevue Intelligence Scale elaboarată de
David Wechsler. Va fi revăzută ulterior şi îmbunătăţită în
anii 1955 (WAIS) şi 1981 (WAIS-R)
1942 Minesota Multiphasic Personality Inventory (MMPI)
1949- Weschler Intelligence Scale for Children (WISC). Va
fi revăzut şi îmbunătăţit în anii 1974 (WISC-R) şi 1990
(WISC-III)
1967 Wechsler Primary and Prescholl Intelligence Scale
(WPPSI)
11

Instrumente de evaluare/diagnostic

• Metode multiple
• Psihometrice vs. nepsihometrice

• Instrumente de evaluare?
12

Instrumente de evaluare
• Testul psihologic
• Scale, inventare
• Interviul
• Observatia
• Portofoliul
• Teste situationale
• Case study
13

Testul psihologic

• Prima definitie a testului psihologic


• MENTAL TESTS AND
MEASUREMENTS
by Prof. James McKeen Cattell (1890)
• Publicat in Mind, 15, 373-381.
14

James McKeen Cattell (1890)

• Psychology cannot attain the certainty and exactness of the physical


sciences, unless it rests on a foundation of experiment and
measurement. A step in this direction could be made by
applying a series of mental tests and measurements to a large
number of individuals. The results would be of considerable
scientific value in discovering the constancy of mental processes,
their interdependence, and their variation under different
circumstances. Individuals, besides, would find their tests
interesting, and, perhaps, useful in regard to training, mode of life or
indication of disease. The scientific and practical value of such tests
would be much increased should a uniform system be adopted, so
that determinations made at different times and places could be
compared and combined. With a view to obtaining agreement
among those interested, I venture to suggest the following series of
tests and measurements, together with methods of making them.[1]
15

Testul psihologic
• Testul reprezintă o măsură obiectivă şi
standardizată a unui eşantion de comportament
(A. Anastasi, 1976).
• instrument de evaluare;
• vizează un eşantion de comportament;
• implică o procedură standard privind
administrarea, cotarea şi interpretarea
rezultatelor
16

Sumarizare
• Testare psihologica
• Evaluare psihologica
• Diagnostic – tulburari mentale

• Instrumente de evaluare vs. instrumente de testare


• (Assessment vs. testing )
17

Asumptii care stau la baza evaluarii


psihologice
18

Evaluarea psihologica
• Ce este
• Scop si intrebare de referinta
• Metode/tehnici

• Evaluare vs. testare psihologica


19

Asumptia 1
Trasaturile psihologice exista

• Constructe: trasaturi, abilitati, aptitudini, interese


• Stabile vs. Stari
20

1.1 Psihologia diferentiala


• Similitudini si diferente intre indivizi

Diferente culturale
Diferente biologice
Sisteme de clasificare Diferente psihologice
……
21

1.2. Psihologia diferentiala


• Psihologia diferenţială propune şi dezvoltă teorii
care permit constatarea şi înţelegerea diferenţelor
psihologice între persoane sau grupuri.

Metoda
Teorii ale inteligenţei,
testelor
personalităţii, psihopatologiei
etc..

• Psihologia diferenţială caută să explice factorii


care stau la baza diferenţelor.
22

Asumptia 2

Trasaturile psihologice pot fi cuantificate si


masurate
• Ce este masurarea
• A măsura înseamnă a atribui numere obiectelor sau
fenomenelor potrivit unor reguli determinate (Stevens,
1951). Aceste reguli stabilesc o corepondenţă între
proprietăţile numerelor şi proprietăţile
obiectelor/fenomenelor
23

2.1 Scale de masura


• scale nominale
• scale ordinale
• scale de interval
• scale de raport/proporţii
24

Asumptia 3
Pe baza rezultatelor la test se fac inferenţe despre
comportamentele „non-test”.
comportamente prezente
comportamente viitoare
Generalizarea
Validitatea
25

Asumptia 4
Instrumentele de evaluare psihologica au calitati si limite
• Cunoasterea acestora
• Utilitatea diferitelor metode de evaluare ale unui construct
26

Asumptia 4
Utilitatea diferitelor metode de evaluare ale unui construct
1. Au la baza teorii psihologice diferite
2. Pot sa vizeze dimensiuni diferite ale constructului
3. Pot sa fie destinate a fi aplicate in medii diferite/populatii
diferite
4. Pot sa aiba scopuri diferite
27

Asumptia 4.1 - exemplu


• Personalitatea – modele teoretice
• Modelul psihanalitic
• Teoria trasaturilor
• Abordarea socio-cognitiva
• Modelul umanist
• Modelul evolutionist
Asumptia 4.1 - exemplu

Rorschach’s “Ink
blot test”
Asumptia 4.1 - exemplu
Asumptia 4.1 - exemplu
• Critici ale testelor proiective:
• Consistenta interna scazuta, fidelitate test-retest mica

• Lipsa dovezilor privind validitatea clinica

• Rezultatele la testul Rorschach nu coreleaza cu

diagnosticul

• Lipsa predictiei legate de validitatea predictiva privind

tratamentul sau comportamentul viitor

• Nu exista nicio corelatie intre scorurile la Rorschach si

inteligenta sau creativitate


Asumptia 4.1 - exemplu
Exemple nevalidate de interpretare:

• Marimea desenului (mic- insecuritate)


• Pozitie (Sus optimism, dreapta
optimism)
• Conflicte (Linii subtiri, umbre,
transparenta)
• Ochii (mici – incercarea de a evada de
realitate)
• Bratele (socialibitate)
TAT – Thematic apperception test
(Murray, 1943)

30 de imagini descriind variate situatii si


unul alb

Cerinta: sa generezi o poveste pornind de


la fiecare imagine (aprox. 5 min); ce se
intampla, ganduri si sentimente, ce se
intampla dupa, cumse termina.

Nevoi, dorinte, conflicte ale persoanei


examinate

Util cand se doreste identificarea


conflictelor parinte-copil
33

Children apperception test


Rozenzweig’s Picture-frustration

Desene cu situatii frustrante

Analiza raspunsurilor verbale pe care


persoanele le dau in aceste situatii

Raspunsurile sunt scorate analizand directia


agresivitatii (spre exterior, sine, evitare sau
nonexprimare) si tipul agresiviatii, etc.
35

Asumptia 4.2 - dimensiuni


Pot sa vizeze dimensiuni/niveluri de analiza diferite ale constructului
• Exemplu – prezentati niveluri diferite diferite de
analiza ale anxietatii sociale
1. Cognitiv
2. Comportamental
3. Fiziologic
4. Subiectiv
36

Asumptia 4.3 - surse


• Evaluarea psihologica comprehensiva se bazeaza pe
surse multiple de date
• Ofera date din perspective multiple
• Identifica consistentele si diferentele dintre perspective
• Identifica “outlierii”
• Ofera suport pentru interventie specifica
37

Asumptia 4.3 - surse


38

Asumptia 4.4 – scopuri diferite


• Abordarea continua vs. dihotomica a constructelor
39

Asumptia 5
Orice instrument de evaluare isi asuma o anumita eroare
• Fidelitatea testelor poate oferi informatii despre erorile asociate
unei masuratori
• Care sunt implicatiile erorilor ?
40

Asumptia 6
Testarea/evaluarea pot fi realizate intr-o maniera corecta
(fair/unbiased)
• Studiile de validitate
41

Asumptia 7
Testarea si evaluarea pot sa ofere informatii utile
pentru societate

Raspunsuri la o serie de intrebari punctuale din viata


cotidiana
• Persoana examinata are consimtamant?
• Cine sa fie angajat/promovat/concediat?

• Atentie: decizia nu se ia exclusiv pe baza evaluarii


psihologice
Testul psihologic
Clasificari, scopuri, utilizare
43

Testul psihologic
• Testul reprezintă o măsură obiectivă şi standardizată a
unui eşantion de comportament (A. Anastasi, 1976).
• instrument de evaluare;
• implică o procedură standard privind administrarea, cotarea şi
interpretarea rezultatelor
• eşantion de posibile manifestări sau expresii ale constructului latent
44

Testul psihologic
The Job Satisfaction Survey (Spector, 1998):
• Consider că sunt plătit(ă) corect pentru munca pe
care o fac. (itemul 1)
• Superiorul meu este competent în munca pe care
o depune. (itemul 3)
• Îmi plac oamenii cu care lucrez. (itemul 7)
• Sunt mândru de munca pe care o fac. (itemul 27)
Considerarea concomitentă a mai multor itemi
relevanţi pentru respectivul construct.
45

Testul psihologic
Colectie de itemi
•Item = stimul specific care determină un anumit
comportament ce poate fi cotat şi evaluat independent
46

Clasificări ale testelor psihologice


Clasificări în funcţie de conţinutul testului:
a). după modul de executare a sarcinii de către subiect
teste orale;
teste scrise;
teste cu manipulare de aparate şi piese;
teste administrate de calculator.
47

Clasificări ale testelor psihologice


Clasificări în funcţie de conţinutul testului:
după modul de executare a sarcinii de către subiect
teste scrise;
48

Clasificări ale testelor psihologice

b). după utilizarea limbajului în rezolvarea sarcinii


teste verbale;
teste nonverbale.
49
50

Clasificări ale testelor psihologice


Clasificări în funcţie de modul de administrare a testului:
a). după numărul persoanelor care pot fi
examinate simultan:
• teste individuale;
• teste de grup.

b). după timpul de execuţie


• teste de viteză;
• teste de randament
51

Clasificări ale testelor psihologice


Clasificări în funcţie de modul de administrare a testului:
a). după numărul persoanelor care pot fi
examinate simultan:
• teste individuale;
• teste de grup.
b). după timpul de execuţie
• teste de viteză;
• teste de randament
52

Clasificări ale testelor psihologice


Clasificări în funcţie de modul de cotare a testului
şi de interpretare a scorului:
a). după modul de stabilire a cotei la test:
• teste obiective;
• teste subiective.
b). după modul în care se interpretează scorurile
testelor
• teste normative;
• teste centrate pe criteriu;
• teste ipsative.
53

Clasificări ale testelor psihologice

Modul de procesare implicat:


Teste de eficienţă
• teste de aptitudini;
• teste de dezvoltare;
• teste de cunoştinţe;
• probe de lucru;
• teste situaţionale
Nonintelective – personalitate, interese, motivaţie
54

Scopuri ale evaluarii psihologice


• Clasificare (dimensional sau categorial)
• Screening
• Diagnostic
• Tratament – evaluarea efectelor intervenției
• Autocunoastere
• Cercetare
• Atentie la studiile de validare pentru scopuri diferite
55

Scopuri ale evaluarii psihologice


Screening Diagnostic
• Scop: sa detectezi • Scop: sa stabilesti prezenta
potentiale probleme unei tulburari
• Populatie: generala, cu • Populatie: simptomatica sau
risc la cei cu scrrening poz.
• Test: simplu, rapid, cost • Test:complex, cost ridicat,
mic • Cut-off: mai ridicat pentru a
• Cut-off: jos, pentru a maximiza specificitatea,
maximiza sensibilitatea precizia
• Rezultat pozitiv: • Rezultat pozitiv: prezenta
suspiciune privind diagnosticului
prezenta tulburarii
56

Domenii de utilizare a testelor


Clinic
Muncii/organizaţii
Şcolar/ educaţional
Neuropsihologia (adesea subcomponenta a domeniului clinic)
Judiciar
Sportiv
57

Parti ale procesului de evaluare


Utilizatorii de instrumente de evaluare
Persoanele evaluate
Instrumentele de evaluare
58

Utilizatorii instrumentelor de evaluare


• Calificarea utilizatorilor, competente in functie de
clasificarea testelor
• Clasa A - de orice persoană indiferent de calificarea ei profesională. Nu
cer o anumită formare profesională, sunt destinate uzului în business sau
în zona educațională.
• Clasa B - absolvirea unui curs de psihometrie la nivel de Master, precum
și training specializat sub supervizarea unui psiholog calificat. In Romania-
studii universitare cu profil psihologic ori asimilate acestora
• Clasa C - doctor în psihologie sau educație, membri ai unor organizații
profesionale care îi califică pentru utilizarea testului, ori care lucrează sub
supervizarea directă a unui psiholog calificat pentru uzul testului.

• Codul de etica APA in utilizarea testelor


• Competenta, integritate, responsabilitate, respect
59

Persoanele evaluate
• Drepturi ale persoanei evaluate
• Dreptul de a alege testarea ca procedura de evaluare
• Dreptul de a cunoaste rezultatele
• Respectarea intimitatii
• Dreptul de a nu fi stigmatizat
• Dreptul la confidentialitate
Incotro?
• Proliferarea de noi teste
• Standarde mai înalte
• Tehnologie îmbunătățită
• Testare computerizată
• Testare pe internet
• Utilizarea realității virtuale
61

Informatii despre teste


• Mental Measurements Yearbook
• http://buros.org/mental-measurements-yearbook
• http://www.scalesandmeasures.net/
• Editori
• Studii
ETALONAREA/NORMAREA
TESTELOR
Introducere
• Rezultatul obtinut la un instrument de evaluare
psihologica (test, chestionar, scala, etc..)
• Scor sau cota bruta (engl. Raw score)
• Scorare sau cotare
Introducere
Cum interpretăm rezultatul obtinut de un
subiect la un test?
Să presupunem că la un test de cunostinte de matematică alcătuit din
100 de itemi un subiect rezolvă corect 30 de itemi.

Reprezintă o performanţă slabă, medie sau bună la test?


Introducere
• Scorurile obţinute in cadrul evaluării psihologice nu sunt
interpretate niciodată în mod absolut, ci exclusiv
comparativ.
• Comparaţia se face cu un grup de referinţă, care poate fi
o populaţie (de ex., toţi românii de vârstă adultă) sau un
grup mai restrâns şi clar definit dintr-o populaţie mai largă
(de ex., copii cu probleme cognitive).
Etalonarea / normarea
• Etalonul (norma sau standardele)
• Cadrul de referinţă al unui subiect cu populaţia. Un scor
brut obţinut la un test nu are nici o valoare deoarece pe
baza lui nu putem şti unde se situează performanţa unui
subiect
• Etalonarea/normarea
• Stabilirea unui cadru de referinţă, a unei scări care să
permită determinarea locului ocupat de rezultatele unui
subiect faţă de rezultatele unei populaţii de referinţă,
suficient de numeroasă, formată din persoane
comparabile cu cea examinată.
Procedura de etalonare/normare
1. Definirea populaţiei sau a cadrului de
referinţă pentru care se doreşte construcţia
testului;
2. Eşantionarea;
3. Administrarea testului la eşantionul ales;
4. Construcţia cotelor sau a normelor/
etaloanelor testului.
1. Definirea populaţiei

• Populatia: set complet a ceea ce


dorim sa studiem
• Esantion: subset al populatiei
• Un numar de participanti
• Cum afecteaza utilizarea esantionului (comparativ cu intraga
populatie) analiza datelor?
1. Definirea populaţiei

• Inferenta
• Esantion Populatie
• Necesitatea existentei usor esantioane
reprezentative pe baza unor variabile
relevante pentru instrument
• Cum sunt acestea stabilite?
• Caracteristicile populatiei (vezi definirea acesteia) cât
si de caracteristicile constructului măsurat de test.
• Exemple
1. Definirea populaţiei

• Variabile utilizate frecvent in esantionare


• Ceva care este masurat si poate produce cel
putin 2 valori
• Exemple:
• Varsta
• Gen
• Mediu de rezidenta
• Nivel de pregatire educationala
• Inteligenta
• Tip de personalitate
• Numar de simptome
1. Definirea populaţiei
• Definirea populaţiei
• Circumscriera caracteristicilor (variabilelor) persoanelor pentru
care este destinat testul.
• Prezentarea unor caracteristici care vor permite recunoasterea
unei persoane ca apartinând sau nu populatiei pentru care a
fost construit testul.
• a. Testul “X” evaluează functia perceptiv motrică între 5 şi 10 ani.
• b. Testul de cunostinţe matematice „Y” cuprinde toţi copiii de liceu (14-18 ani)
din judeţul Cluj.
2. Esantionarea
• Grup sau esantion de normare. Esantionarea în
psihologie se constituie mult mai greu decât în alte
domenii cum ar fi sociologia deoarece examinările sunt
costisitoare
2. Esantionarea
• Construirea esantionului (esantionarea) se poate
realiza prin mai multe proceduri.
• Cele mai des întâlnite sunt
• Aleatoare - Când poate fi considerat un esantion
aleatoriu?
• in cazul selecţiei aleatoare oricare membru al populaţiei are
sanse egale de a fi inclus în eşantion
• Stratificate - În cazul selecţiei stratificate se face întâi o
împărtire a populaţiei în clase (în functie de variabilele
relevante) si apoi pentru fiecare clasă se trece la un alt
tip de selectie (ex. selecţie aleatoare)
• Pe cote
Exemplu de esantionare

• Testul de inteligenta Matrici Raven Standard, forma


Plus.
• Mircea Comşa - MMT – Recensământ 2002
• Stratificată & randomizată
• Stratificarea s-a realizat în funcţie de ariile culturale şi
de tipul de localitate:
• 18 arii culturale (Crişana-Maramureş (MM, SM, AR, BH), Banat (TM, CS), Oltenia1
(OT, DJ, MH), Oltenia2 (GJ, VL), Muntenia1 (AG, DB, PH), Muntenia2 (BZ, BR),
Muntenia3 (GR, TR, IL, CL), Bucureşti, Dobrogea (CT, TL), Transilvania1 (AB,
HD),Transilvania2 (BV, SB), Transilvania3 (CJ, MS), Transilvania4 (CV, HG), Transilvania5
(BN, SJ), Moldova1 (BC, NT, VR, SV), Moldova2 (GL, IS), Moldova3 (BT, VS).
• 7 tipuri de localităţi
• 3 bazate pe gradul de dezvoltare (scăzut, mediu şi ridicat)
• 4 pe mărimea localităţii urbane (<30.000; 30-100.000; 100-200.000, >200.000)
• În total 126 straturi
3. Administrarea testului pe esantionul ales
• Cum trebuie sa se realizeze administrarea?
• Standard
• Aceleasi instructiuni pentru toti subiectii
• Trainingul persoanelor implicate in culegerea datelor
• Gestionarea cazurilor atipice
• Atentie la refuzurile subiectilor selectati – cum pot acestea afecta
esantionarea?
4. Construirea normelor
• Orice persoană evaluată obţine la un instrument de
evaluare un rezultat observabil
• la testele de aptitudini cognitive: răspunsuri corecte sau gresite
• la testele de personalitate: evidenţierea unei trăsături investigate
faţă de conţinutul aserţiunii unui item
• Colectie de date in urma aplicarii testelor
• Cum sunt acestea analizate?
Cum construim etaloane?
Tipuri de scoruri
• Transformările scorurilor pot fi liniare sau non-liniare.
(1) Transformările liniare implică utilizarea mediilor şi
abaterilor standard şi a scorurilor brute
(2) Transformările non-liniare sunt acelea care alterează
forma distribuţiei şi, implicit corelaţiile constructelor
măsurate cu alte dimensiuni sau criterii externe.
Cu excepţia scorurilor standardizate, toate celelalte
categorii de scoruri sunt bazate pe transformări
non-liniare (Allen & Yen, 2002).
Metode de etalonare/normare
• Analiza modului in care sunt organizate datele
• Tipul distributiei

Scor total fara timp limita


500

400

300

200

Frequency
100 Std. Dev = 10.04
Mean = 28.3
0 N = 2473.00
0.0 10.0 20.0 30.0 40.0 50.0 60.0
5.0 15.0 25.0 35.0 45.0 55.0

Scor total fara timp limita


Tipul distributiei
• Teste/chestionare care au la baza distributii normale
• Scoruri standard
• Clase normalizate
• Simplifică interpretarea scorurilor individuale la un test.
• In cazul distributiei normale media, mediana sşi modul au aceeasi
valoare
Metode de etalonare

68,26% dintre subiecti obtin scoruri între + 1 abatere standard


95,44% dintre subiecti obtin scoruri între + 2 abateri standard
Transformare in cote standard
• Transformări liniare în scoruri standard, folosind media
şi abaterea standard a distribuţiilor
• De ce?
• Cele mai frecvente cote standard
• Cotele z
• Cotele T
• Cotele IQ
Cotele/scorurile standard z
• Media 0
• Abaterea standard 1

• z=(x-media)/ab. std
• x=scorul brut la test

68,26% dintre subiecti obtin scoruri între + 1 z


95,44% dintre subiecti obtin scoruri între + 2 z
Norms and screening utility of the Dutch version of the Children's Depression Inventory in
clinical and nonclinical youths
Roelofs, Jeffrey; Braet, Caroline; Rood, Lea; Timbremont, Benedikte; van Vlierberghe, Leen; Goossens,
Lien; van Breukelen, Gerard, Psychological Assessment, Vol 22(4), Dec 2010, 866-877.
Cotele/scorurile standard T
• Media 50, Abaterea standard 10
• T=50+10*z
• Propus de McCall (1922, 1939) în cinstea profesorului sau
Thorndike (T);
• Cuprinde 5 sigma sub/peste medie;
• Avantajul la scorurile T este ca nu avem o valoare negativa;
• Exemplu - Minesota Multiphasic Personalty Inventory (MMPI).
Metode de etalonare

68,26% dintre subiecti obtin scoruri intre T= 40 si 60


95,44% dintre subiecti obtin scoruri între T= 30 si 70
Cote/scoruri standard
• Scor IQ = 100 + Z(15)
• Scor SAT = 500 + Z(100)
• Scholastic Assessment Test
• Scor ACT = 18 + Z(6)
• American College Testing
Metode de etalonare
Transformări lineare
• Toate au la baza scorul z
• T = 50+z*10 40-60
• IQ = 100+z*15 85-115
95

Tipuri de scoruri
• Transformările scorurilor pot fi liniare sau non-liniare.
(1) Transformările liniare implică utilizarea mediilor şi
abaterilor standard şi a scorurilor brute
(2) Transformările non-liniare sunt acelea care alterează
forma distribuţiei şi, implicit corelaţiile constructelor
măsurate cu alte dimensiuni sau criterii externe.
Cu excepţia scorurilor standardizate, toate celelalte
categorii de scoruri sunt bazate pe transformări
non-liniare (Allen & Yen, 2002).
96

Transformările liniare
• Au la bază distribuția normală a datelor
• Utilizează scorul z și derivatele sale
97

Transformările non-liniare
• Alterează forma distribuţiei şi, implicit corelaţiile
constructelor măsurate cu alte dimensiuni sau criterii
externe.
98

Centilele/Percentile
• Centilele sunt scoruri standardizate – adică sunt obţinute
prin raportarea la un etalon – dar nu sunt obţinute prin
transformare liniară.
• Sunt obţinute prin raportarea scorului brut la o ierarhie
ipotetică de 100 clase egale.
99

Centilele/Percentile
• Scoruri procentuale
• Rangurile percentile
• Indica procentul din populatie care se afla sub un anumit
scor
• Percentile 100 de clase egale
• Decile 10 clase egale
• Quartile 4 clase egale
100

Rangul percentil
• Ranguri sau pozitii in grupul de subiecti
• Cate persoane s-ar afla in urma unui subiect daca
acesta ar face parte dintr-un grup de 100 de subiecti
• Valori intre 1 si 99
• P95 = 95% din subiecti au scoruri mai mici decat tine
• P30 = 30%din subiecti au scoruri mai mici decat tine
101

Calcul percentile
50, 65, 70, 72, 72, 78, 80, 82, 84, 84, 85, 86, 88, 88, 90, 94,
96, 98, 98, 99.
Gasiti percentilul pentru scorul 84 din test.
• Ordonare; localizare valoare 84.
• Formula: (n+0.5*e)/N*100
(8+0.5*2)/20*100=9/20=45%
Scorului 84 ii corespunde percentilul 45
45% dintre subiecti au avut scoruri mai mici decat 84
102
103

Scorurile procentuale
• Rangurile percentile
• Indica procentul din populatie care se afla sub un anumit
scor
• Percentile 100 de clase egale - Cate persoane s-ar afla in urma
unui subiect daca acesta ar face parte dintr-un grup de 100 de
subiecti
• Decile 10 clase egale
• Quartile 4 clase egale
104

Decile
• 10 clase
• Decil 1 – 1-10 %
• Decil 2 – 11-20%
• Decil 3…9
• Decil 10 – 91-100%
105

Quartile
• 4 clase
• Quartil 1 – 1-25 %
• Quartil 2 – 26-50%
• Quartil 3 – 51-75%
• Quartil 4 – 76-100%
106

Comparatii scoruri/cote standard

Rang
Scor Scor
ID Scor T Perce
brut Z
ntil
1 45 0.806 58.1 P 79
2 36 -0.645 43.5 P 26
3 38 -0.323 46.8 P 37t
4 42 0.323 53.2 P 63
5 41 0.161 51.6 P 56t
6 46 0.968 59.7 P 83
7 38 -0.323 46.8 P 37
8 25 -2.419 25.8 P1
9 49 1.452 64.5 P 93
107
108

Exemplu profil WISC IV


109

Clasele normalizate
• Modifica procentul de subiecti care intra in fiecare
clasa astfel:
• 5 clase: 7%, 24%, 38%, 24%, 7%
• 7 clase: 5, 11%, 21%, 26%, 21%, 11%, 5%,
• 9 clase (stanine):
• 4%, 7%, 12%, 17%, 20%, 17%, 12%, 7%, 4%,
110

Staninele
111

Scoruri stanine
112

Scoruri stanine
113

Calcul stanine
Pasi:
1. se ordoneaza scorurile;
2. se stabileste frecventa pentru fiecare scor;
3. se stabileste frecventa cumulata;
4. se calculează procentul fiecărei clase;
5. se face corespondenta scor + procent din distributia de
frecventă cumulată;
Exemplu – se va realiza la seminar
Să presupunem că un test a fost aplicat la 325 de subiecţi.
Scorul maxim al testului este 42 iar scorul minim este
2.
114
115

7 clase normalizate

26%
21% 21%
11%
5% 11%
5%
116

Metode de etalonare/normare
• Analiza modului in care sunt organizate datele
• Tipul distributiei

Scor total fara timp limita


500

400

300

200

Frequency
100 Std. Dev = 10.04
Mean = 28.3
0 N = 2473.00
0.0 10.0 20.0 30.0 40.0 50.0 60.0
5.0 15.0 25.0 35.0 45.0 55.0

Scor total fara timp limita


117

Tipul distributiei
• Teste/chestionare care au la baza distributii normale
• Simplifică interpretarea scorurilor individuale la un test.
• In cazul distributiei normale media, mediana sşi modul au aceeasi
valoare
Metode de etalonare/normare
• 1. Norme – interpretarea testului in raport cu
norma/grupul din care face parte subiectul.
(1) Transformările liniare implică utilizarea mediilor şi abaterilor standard şi a
scorurilor brute
(2) Transformările non-liniare sunt acelea care alterează forma distribuţiei şi,
implicit corelaţiile constructelor măsurate cu alte dimensiuni sau criterii externe.

• 2. Criteriul de performanţă (scoruri criteriale)


119

Scoruri criteriale
• Scoruri criteriale bazate pe convenţii diagnostice (analiza
itemilor critici)
• Scoruri criteriale bazate pe teorie
120

Scoruri criteriale diagnostice


• Scalale conțin criteriile din manualele de diagnostic si
scopul este identificarea absentei sau prezenței
simptomelor,
• Exemplu – ADHD
• A/patternul de neatenţie sau hiperactivitate-impulsivitate care interferează cu
funcţionarea şi dezvoltarea,
• B/prezenţa mai multor simptome înaintea vârstei de 12 ani,
• C/prezenţa mai multor simptome în două sau mai multe contexte (şcoală, familie
etc.),
• D/dovada faptului că simptomele interferează cu, sau reduc calitatea funcţionării
sociale, academice sau ocupaţionale şi
• E/excluderea altor afecţiuni ca sursă a simptomelor.
121

Scoruri criteriale bazate pe teorie


• Sunt utilizate în acele scale care măsoară
constructe discutate la nivel teoretic, dar care nu
au întrunit consensul unei comunităţi relevante
pentru a fi ridicate la rang de criteriu obiectiv
• Exemplu – tipologii de personalitate pe baza
teoriei lui Jung –
• 4 funcţii sunt bipolare: Extraversie-Introversie,
Senzorialitate-Intuiţie, Gândire-Afectivitate şi
Judicativitate-Perceptivitate, -16 tipologii
• (a) îmi place să stau acasă să citesc sau (b) îmi placesă
merg cu prietenii la o petrecere
122

Scoruri criteriale bazate pe teorie


• Exemplu de interpretare
• tipul de „Senzorialitate Introvertă” caracterizează o
persoană care îşi conştientizează profund propriile
senzaţii, atât fizice cât şi emoţionale; cu capacitatea de a
genera imagini interne, ...fără relaţionare temporală;
formele sunt percepute doar în prezent; gestionează bine
rutina ...” (Singer et al., 2010, p. 59)
• Interpretarea este aşadar ghidată de criteriu (constituit din
teoria pe care se bazează testul)
Scoruri criteriale bazate pe teorie
• Secvente comportamentale
Scoruri criteriale bazate pe teorie
Scoruri criteriale bazate pe teorie
• Scala ordinala cu baza teoretice
• Piaget
• Ordinal Scales of Psychological Development
Scoruri criteriale bazate pe teorie

Goldberg – stadiile dezvoltarii morale


127

Valorile de prag (cut-off scores)


• Puncte ale unei scale care sunt fixate pentru a
identifica dacă performanţa sau scorul obţinut la
test de un anumit individ indică faptul pentru a
considera că există o concă sunt îndeplinite
criteriile minimale diţie mentală.
• Stabilirea unor valori de prag permite inferarea
existenţei respectivei condiţii.
• Validarea scorurilor prag se face prin studii pe
populații/contexte specifice
Informatii despre etalon
Orice manual al unui test psihologic conţine normele
testului şi trebuie să includă următoarele aspecte:
• indicii demografici ai populaţiei pentru care a fost
construit testul. Cei mai frecvenţi indicatori sunt: vârsta,
sexul, mediul din care fac parte subiecţii, nivelul de
şcolarizare
• numărul persoanelor pe care a fost etalonat testul şi
modul de eşantionare ales.
• data construirii normelor. Această informaţie este utilă
deoarece ne ajută ă identificăm dacă populaţia pe care a
fost etalonat testul mai posedă caracteristicile populaţiei
din care face parte subiectul testat.
• Tipul de norme
Ce tip de etalon/norme construim?
• Referinta la grup - Norm referred
• Referinte la criteriu -
Ce tip de etalon/norme construim?
• Nu exista transformari bune sau rele
• Tipul testului –
• Distributia scorurilor
• Pentru distributiile care nu respecta curba normala se
utilizeaza scorurile percentile
FIDELITATEA

TESTELOR
PSIHOLOGICE
Măsurarea în științe
The meter (m) is the Si unit of length and is defined as the
length of the path traveled by light in vacuum during the
time interval of 1/299 792 458 of a second.
This replaces the two previous definitions of the meter: the
original adopted by CGPM in 1889 based on a platinum-
iridium prototype bar, and a definition adopted in 1960
based on a krypton-86 radiation from an electrical
discharge lamp. In each case, the change in definition
achieved not only an increase in accuracy, but also
progress toward the goal of using fundamental physical
quantities as standards, in particular, the quantum
mechanical characteristics of atomic systems.
• - Taylor,1991.
Ce este fidelitatea
• Proprietate fundamentala a scorurilor de instrumentele de
evaluare
• “Incredere”
• Lipsa erorilor
Scorul la test
• Orice scor la un test psihologic este rezultatul scorului
real şi al unei erori de măsură:
Xobservat = Xreal + e
(e = eroarea de măsură)
• Deviaţii (+/-) de la performanţa reală a subiectului
• Erori aleatoare vs. erori constante
Surse de eroare
• Reflectie:
• Care ar putea fi sursele care determina erori in rezultatul la test?
• Reamintiti-va un test pe care l-ati parcurs recent si identificati cat
din rezultat este datorat abilitatii reale si cat este datorat altor surse
Surse de eroare
• Continutul testului
• Administrarea testului (mediu, persoana examinata,
evaluator)
• Cotarea si interpretarea rezultatelor la test
Tipuri de fidelitate şi metode de calcul a
fidelităţii unui test
• Metoda consistenţei interne
• coeficientul de consistenţă internă
• Fidelitate test-retest
• coeficient de stabilitate
• Metoda formelor paralele
• coeficient de echivalenţă
• Metoda fidelităţii interevaluatori
• coeficient interevaluatori
Metoda consistenţei interne
Intrebarea la care raspunde
CAT DE OMOGEN ESTE UN INSTRUMENT?

Exemple:
Consistenta interna - omogenitate
• Item 1 – Reactualizati 2, 7, 9
• Item 2 - Reactualizati 1, 8, 2, 4
• Item 3- Reactualizati 6, 5, 9, 3, 8
• Item 4 - Reactualizati 7, 3, 6, 2, 1
• Item 5 – Vă place să realizați proiecte de grup?

Care este corelatia intre itemul 5 si ceilalti itemi/scor total?


Consistenta interna - omogenitate
Fidelitatea estimata pe baza consistentei interne

Reliability
• Metodă utilizată pentru a determina gradul în care toţi itemii
unui test măsoară aceeaşi variabilă
• Un coeficient de consistenţă ridicat exprimă faptul că toţi itemii
testului se referă la aceeaşi variabilă
• Valori intre 0 si 1
• Presupune o singură aplicare a testului
• Coeficienţii de consistenţă internă cei mai des utilizaţi:
• Alpha Cronbach (α) pentru testele cu orice tip de itemi; cel
mai des utilizat pentru evaluări obiective
• λ3 Guttman;
• ρ20 şi ρ21 Kuder Richardson (dacă itemii testului sunt
binari).
Alpha Cronbach - valoare
Valoarea minima acceptata a coeficientilor de
consistenta interna este 0.60
Alpha Cronbach scazut – de ce?
• Măsoară aspecte diferite – constructe diferite/dimensiuni
diferite ale constructului
Alpha Cronbach scazut – de ce?
• Formularea itemilor – itemii formulați neclar/general
• Exemplu
• 1. Este insuportabil să eşuez în lucruri importante şi nu suport să
nu reuşesc să le fac.
• 2. Nu pot suporta lipsa de consideraţia din partea altor persoane şi
nu pot tolera ideea că ar putea fi incorecţi.
• 3. Este de nesuportat să mă simt inconfortabil(ă), tensionat(ă) sau
nervos (nervoasă) şi nu suport să fiu aşa atunci când sunt.
• Itemi foarte grei/foarte ușori
• Ghicirea răspunsurilor
• Numărul mic de itemi
Alpha Cronbach
• Se calculeaza cu programe statistice
• Ex, SPSS
• Exemplu SPSS
Alpha Cronbach - discutii
• Teste cu mai multe subscale
• Subscala 1
• Subscala 2 …

• Coeficient mare – redundanta itemilor?


Consistenta interna prin Metoda înjumătăţirii

Split – Half method


Intrebarea la care raspunde
CAT DE OMOGENE SUNT
CELE 2 PARTI ALE UNUI
INSTRUMENT?

• Itemii testului sunt împărţi în 2 şi


se calculează corelaţia dintre
jumătăţi
• Itemi pari / impari sau prima/a
doua jumatate
• Etape:
• Împarţirea testului în jumătăţi
echivalente
• Calcularea coeficientului Pearson
pentru cele 2 jumătăţi
Metoda formelor paralele

Intrebarea la care raspunde


CAT DE ECHIVALENTE SUNT CELE 2 FORME ALE UNUI
INSTRUMENT?

• Corelaţia scorurilor obţinute din utilizarea a două forme paralele ale


testului
• Coeficientul de corelatie intre scorurile observate se numeste
coeficient de echivalenta
• Se presupune că scorul subiectului va fi la fel dacă cele 2 forme sunt
într-adevăr paralele
• Eroarea standard de măsură ar trebui să fie la fel, dacă formele sunt
paralele
• Itemii celor două teste trebuie să fie logic izomorfi, adică să aibă
acelaşi nivel de dificultate.
• Metoda este potrivita când se măsoară caracteristici generale ale
persoanelor
Metoda formelor paralele
• Avantaje:
• Nu permite memorarea răspunsurilor de la primul test
• Nu permite căutarea răspunsurilor la care nu s-a stiut răspunde
• Dezavantajele acestei metode sunt următoarele:
• necesită consum de timp prin două administrări;
• subiecţii se pot plictisi dacă testările sunt prea lungi;
• este greu de realizat fiind dificilă şi costisitoare.
Un procedeu asemănător este utilizarea formelor paralele la interval mai
mare de timp. În acest caz se obţine coeficientul de echivalenţă şi
stabilitate.
Utilizare: pentru obţinerea unei colecţii de teste paralele (ex. In psihoterapie,
la administrarea in timp sxurt a unor teste de anxietate – subiectii nu sunt
tentati sa repete răspunsurile anterioare)
Sumarizare – consistenta interna
• Consitenta
• In cadrul itemilor unui test – consistenta interna
• A două forme paralele – metoda formelor paralele
Fidelitatea - Metoda test-retest

Intrebarea la care raspunde


CAT DE STABIL IN TIMP ESTE UN INSTRUMENT?

• Corelaţia scorurilor la un test administrat în două perioade diferite de


timp
• Coeficienţii de fidelitate test-retest
• Sunt coeficienţi ai stabilităţii în timp
• Au valori mai mari decât coeficineţii obţinuţi din administrarea
formelor paralele
• Dezavantaj: solicită 2 administrări ale testului
Se utilizează în cazul testelor care măsoare constructe relativ
stabile in timp.
Timpul administrării creşte, corelaţia scade
Interval recomandat: 4-8 saptămâni.
Factori care influenţează calculul fidelităţii
test-retest (stabilităţii):

• Intervalul de timp între test şi retest


• Gradul de dificultate al itemilor
• Schimbări ale subiectului determinate de prima aplicare
Fidelitatea inter-evaluatori

Intrebarea la care raspunde


CARE ESTE CONCORDANTA INTRE MAI MULTI EVALUATORI IN
SCORAREA REZULTATELOR LA UN TEST?

• Pentru testele cu o cotare subiectivă, la care scorul este influenţat şi


de interpretarea pe care o dă persoana care face cotarea
• Are la bază calculul coeficientului de corelaţie între scorurile pe care
mai mulţi evaluatori le acordă aceluiaşi test – coeficient de fidelitate
inter-evaluatori
Sumarizare
• Omogenitate
• In cadrul itemilor unui test – consistenta interna
• A două forme paralele – metoda formelor paralele
• Timp
• Test – retest
• Evaluator
• Fidelitatea interevaluator
FIDELITATEA

INTERVALELE DE
INCREDERE
Fidelitatea
• Fidelitatea reprezintă tradiţional: “precizia, consistenţa
şi stabilitatea măsurării realizate de test".
• Repetabilitate a rezultatelor măsurării.
• “Gradul în care scorurile testului sunt consistente
sau repetabile, adică gradul în care ele nu sunt
afectate de erorile de măsură“ (Standards for
Educational and Psychological Tests, 1985)
• Scopul măsurării este de a găsi scorul real al persoanei şi
a reduce eroarea de măsurare
Scorul la test
• Orice scor la un test psihologic este rezultatul scorului
real şi al unei erori de măsură:
Xobservat = Xreal + e
(e = eroarea de măsură)
• Deviaţii (+/-) de la performanţa reală a subiectului
• Erori aleatoare vs. erori constante
Erorile aleatoare
• Random error

Acest tip de eroare nu


afecteaza media, ci doar
variabilitatea - zgomot
Erorile sistematice
• Systematic Error

Acest tip de eroare afecteaza


media
Implicatii ale fidelitatii testului
Implicatii ale fidelitatii testului
Cum pot fi reduse erorile
• Studiu pilot si discutii cu respondentii
• Care au fost variabilele care le-au influentat raspunsurile
• Trainingul examinatorilor
• Introducerea datelor
• Proceduri statistice de analiza a datelor prin care pot fi
detectate erorile
• Utilizarea unor masuratori multiple ale aceluiasi construct
(mai ales pentru erori)
Tipuri de fidelitate şi metode de calcul a
fidelităţii unui test
1. Eroare relationata cu 1. Metoda consistenţei
omogenitatea testului interne
coeficientul de consistenţă
2. Eroare relationata cu internă
timpul
2. Fidelitate test-retest
coeficient de stabilitate
3. Eroare relationata cu
continutul testului 3. Metoda formelor paralele
4. Eroare relationata cu
coeficient de echivalenţă
interpretarea/evaluarea
rezultatelor 4. Metoda fidelităţii
interevaluatori
coeficient interevaluatori
Interpretarea unui coeficient de fidelitate
Murphy & Davidshopher (1998) - repere în interpretarea coeficienţilor de fidelitate

Valori ale Tipul testului Interpretare


coeficienţil
or de
fidelitate
0.95
0.90 Testele de inteligenţă de grup Fidelitate mare
0.85 Testele de performanţă
0.80
0.75 Testele cu răspunsuri multiple Fidelitate moderată
0.70 Scalele comportamentale
0.65
0.60
Unele măsurători proiective Fidelitate scăzută
0.55
Scorul real şi eroarea au efect
0.50 egal asupra scorurilor la test
Implicatii ale fidelitatii testului
• Orice scor la un test psihologic este rezultatul scorului
real şi al unei erori de măsură:
Xobservat = Xreal + e
(e = eroarea de măsură)
• Deviaţii (+/-) de la performanţa reală a subiectului
• Erori aleatoare vs. erori constante
Interpretarea scorului in relatie cu
fidelitatea
• Problema
• Pornind de la un scor inregistrat & fidelitate cum putem estima
scorul real?
• Care este increderea in scorul observat?
Calculul intervalului de încredere (IC)

IC = Xobservat + z*SEm
Eroarea standard de masura
• Este abaterea standard a unui scor obţinut referitor la scorul real
• Ce este: abaterea standard a scorurilor obținute o persoană la
aplicări repetate ale testului, fără a memora, fără a învăța
răspunsurile
• Cu cât e mai mică eroarea standard de măsură, cu atât e mai fidel
testul
(1 − r )
SEm = SD*
• SEm= eroarea standard de măsură
• SD= abaterea standard a scorurilor la test;
• r = coeficientul de fidelitate al testului
Calculul intervalului de încredere (IC)
IC = Xobservat + z*SEm

65% din scoruri se află între +/- 1 abateri std


95 % din scoruri se află între +/- 2 abateri std
99% din scoruri se află între +/- 3 abateri std
• Alegerea scorului z care va intra în calcul se face în funcţie de precizia
cu care dorim să lucrăm:
• o probabilitate de 95% - scorul z corespunzător este de 1.96
• o probabilitate de 90% scorul z corespunzător este de 1.65
Calculul intervalului de încredere (IC)
Calculul intervalului de încredere (IC)
• Etape de calcul:
• calcularea erorii standard de masura
• alegerea scorului z cu care vrem sa lucram, in functie de precizia
dorita
• calcularea intervalului de incredere
• Intervalul de încredere depinde de:
• Coeficientul de fidelitate al testului: dacă avem un coeficienţi de
fidelitate mici, atunci intervalul se măreşte, deci eroarea este mai
mare
• Intervalele folosite (68%, 90%, 95%): interval mare, siguranţă mai
mare a intervalului în care se află scorul real
• Abaterea standard a scorurilor la test
Ex. raportare interval de încredere
Ex. raportare interval de încredere
Calculul intervalului de încredere (IC) -
exemplu
• Presupunem că la un test de inteligenţă o persoană a obţinut un scor de 115.
Coeficientul de fidelitate alpha al testului este de 0,98, iar abaterea standard a
scorurilor la test este de 15. Cum aflăm intervalul în care se găseşte scorul real al
persoanei la test?
• 1. Calculăm eroarea standard de măsură
• SEm = 2.12
• 2. Calculăm intervalul de încredere
• IC = Xobservat + z*SEm
• IC = 115 + z*2.12
• Alegerea scorului z care va intra în calcul se face în funcţie de precizia cu care dorim
să lucrăm. Dacă alegem să lucrăm cu o probabilitate de 95% scorul z corespunzător
este de 1.96 . Pentru o probabilitate de 90% scorul z corespunzător este de 1.65. În
acest exemplu să vom lucra cu o precizie de 95%, deci z=1.96. Astfel vom avea:
• IC = 115 + 1.96*2.12
• IC= 115 + 4.15
• În acest caz putem spune cu o probabilitate de 95% că scorul real al persoanei se
găseşte în intervalul 110.85 – 119.15.
Estimari ale fidelitatii unui test
• Testul se compune din itemi care ştim că măsoară aceeaşi
caracteristică = coeficient de consistenţă internă

• Testul măsoară o caracteristică durabilă, scorurile atrag concluzii


valabile pe o perioadă de timp = metoda test-retest

• Teste care nu au o cotare obiectivă = coeficient de fidelitate inter-


evaluatori

• Nu se poate asigura retestarea după un interval de timp suficient de


lung = metoda formelor paralele

• Fidelitatea unui scor si intervalul de incredere


Fidelitatea şi tipul testului
• Teste de performanţă • Test de viteză
• Teste în care fiecare subiect are • Teste în care se aşteaptă ca
timp suficient pentru completarea subiecţii să nu termine realizarea
itemilor itemilor
• Calcularea fidelităţii prin: • Calcularea fidelităţii prin:
• Metoda înjumătăţirii sau • Metoda înjumătăţirii pentru
consistenţa internă jumătăţile de test
• Stabilitatea prein metoda test- cronometrate separat
retest
Fidelitatea şi tipul testului
Itemii testului: Dinamic vs static:
• Omogeni – consistenţă internă - Test cu caracteristici dinamice –
crescută calcularea coef. de consistenţă
• Heterogeni (constructe internă (ex. Masurarea
multidimensionali) – consistenţă anxietăţii)
internă scăzută, se recomandă - Caracteristici statice – metoda
calculul coeficientului test – test-retest sau forme paralele
retest (ex. Măsurarea inteligenţei)
Fidelitatea şi tipul testului
• Testul măsoară o caracteristică durabilă, scorurile atrag concluzii
valabile pe o perioadă de timp = metoda test-retest
• Nu se poate asigura retestarea după un interval de timp suficient de
lung = metoda formelor paralele
• Testul se compune din itemi care ştim că măsoară aceeaşi
caracteristică = coeficient de consistenţă internă
• Teste care nu au o cotare obiectivă = coeficient de fidelitate inter-
evaluatori

Valoarea coef. de consistenţă internă > valoarea coef. de echivalenta >


coeficientii de stabilitate
Factori care intervin în estimarea
coeficienţilor de fidelitate
• Eşantionul ales să fie cât mai voluminos
• Eşantionul să fie reprezentativ pentru populaţia căreia îi
este destinat testul
• Măsurătorile efectuate să fie independente între ele
(testarea unui subiect să nu influenţeze testarea celorlalţi)
• Dacă se impune ca o persoană să răspundă de 2 ori la un
test, trebuie utilizate forme paralele
• Dacă se calculează un coeficient de consistenţă internă,
itemii testului să fie independenţi între ei (să nu se
condiţioneze)
• Procedura de administrare a testului şi retestului sau a
formelor paralele să fie identică şi aceeaşi cu cea din
pracitcă
Exercitiu
• Propuneti o modalitate de calcul a formelor fidelitatii
pentru urmatorul chestionar
Interpretarea coeficienţilor de fidelitate
• Când avem de ales dintr-o mulţime de teste având toate
celelalte caracteristici egale, este de preferat testul care
are cea mai mare fidelitate.
• testul cel mai fidel poate fi cel mai scump sau mai dificil de
administrat.

• Se vor cere nivele înalte de fidelitate testelor folosite


pentru a se lua decizii importante asupra persoanelor
şi celor care împart indivizii în mai multe categorii pe
baza unor diferenţe relativ mici între ei. În selecţia
profesională, de pildă, se vor folosi teste care au
coeficienţi de fidelitate mai mari decât 0.90.
Interpretarea coeficienţilor de
fidelitate
• Se vor accepta nivele mai scăzute de fidelitate atunci când testele
se utilizează pentru a lua decizii preliminare, nu finale, şi în cazul
testelor care împart persoanele într-un număr mic de categorii, pe
baza unor diferenţe individuale mari.
• Dacă un test serveşte la compararea grupelor de persoane,
coeficientul său de fidelitate poate fi mai mic, chiar cuprins între
0.6 şi 0.7. Dacă, testul se foloseşte pentru compararea
persoanelor, una cu alta, coeficientul său de fidelitate trebuie să
fie mai mare decât 0.85.
• În practică se folosesc adesea teste care sunt valide pentru populaţia
şi situaţia în care sunt administrate, dar care nu au coeficienţi de
fidelitate foarte mari (peste 0.9)
Interpretarea coeficienţilor de fidelitate
• Nu este posibil să se specifice un nivel minim care să fie impus
coeficienţilor de fidelitate ai tuturor testelor. În practica obişnuită
sunt utile următoarele recomandări:
• 1. Se vor cere nivele înalte de fidelitate testelor folosite pentru a se
lua decizii importante asupra persoanelor şi celor care împart
indivizii în mai multe categorii pe baza unor diferenţe relativ mici
între ei. În selecţia profesională, de pildă, se vor folosi teste care au
coeficienţi de fidelitate mai mari decât 0,90(J. C. Nunnally, după
Hammond, 1995).
• 2. Se vor accepta nivele scăzute de fidelitate atunci când testele se
utilizează pentru a lua decizii preliminare, nu finale, şi în cazul
testelor care împart persoanele într-un număr mic de categorii, pe
baza unor diferenţe individuale mari.
Interpretarea coeficienţilor de fidelitate
• 3. Dacă un test serveşte la compararea grupelor de persoane,
coeficientul său de fidelitate poate fi mai mic, chiar cuprins între
0.6 şi 0.7. Dacă, însă testul se foloseşte pentru compararea
persoanelor, una cu alta, coeficientul său de fidelitate trebuie să
fie mai mare decât 0.85 (Aiken, 1994).

Observaţii practice:
• Fidelitatea chestionarelor de personalitate şi a celor de interese
tinde să fie mai mică decât cea a testelor cognitive (de cunoştinţe, de
inteligenţă, de aptitudini speciale, Aiken, 1994).
• În general, se întâlnesc de obicei coeficienţi de fidelitate
cuprinşi între 0.70 şi 0.98 (Guilford, 1965).
• Testele cotate obiectiv care măsoară aptitudini cognitive pot
furniza, în loturi eterogene de persoane, coeficienţi de fidelitate mai
mari decât 0.8.
Interpretarea coeficienţilor de fidelitate
Testele cotate subiectiv care măsoară aptitudini, testele
de cunoştinţe şi cele care evaluează performanţe tipice
(de exemplu chestionare de personalitate) au, adesea,
coeficienţi de fidelitate mai mici decât 0.80 (Traub, 1994).
• Testele standardizate de cunoştinţe au, în general, o
fidelitate mare spre moderată.
• Testele cu alegere multiplă pot avea o fidelitate mai
scăzută. Coeficientul lor de fidelitate este apropiat de
0.75.
• În practică se folosesc adesea teste care sunt
valide pentru populaţia şi situaţia în care sunt
administrate, dar care nu au coeficienţi de fidelitate
foarte mari.
VALIDITATEA TESTELOR
PSIHOLOGICE
Definiţia validităţii

Măsura în care un test măsoară ceea ce îşi


propune să măsoare, respectiv cât de bine
realizează acest lucru. (Anastasi, 1976).

• trebuie atribuită întotdeauna inferenţelor făcute


pe baza performanţelor la un test
• validitatea determină relaţia dintre inferenţele
făcute pe baza performanţelor la un test şi
realitate
Validarea
• Validarea implica un proces de culegere de informatii
despre test si evaluarea lor
• Autorii testului ofera aceste informatii in manual.
• Utilizatorii pot sa realizeze studii de validare.
Validare:

• Utilizatorul realizeaza validare:

~Schimba formatul testului, instructiunile,


limbajul sau continutul testului
~Daca populatia evaluata difera de cea pe
care s-a validat testul
Cum se determina validitatea unui test?

~Relatia dintre test si alte teste sau


masuratori.
~Analizand continutul.
~Cum se structureaza itemii testului
Formele validităţii

• validitate de criteriu
• validitate de conţinut
• validitate de construct
(Anastasi, 1976; Cohen, et. all, 2000)

• validitatea de aspect = “ceea ce un test pare să măsoare, mai


degrabă decât ceea ce măsoară” (APA, 1974)
• Modul în care persoana evaluată percepe itemii testului
• Dacă persoana evaluată apreciază că testul măsoară
ceea ce îşi propune, spunem că testul are o validitate de
aspect ridicată
• Nu este un criteriu important pentru inferenţele pe baza
unui test
Validarea de criteriu

• Validarea de criteriu
• Validitate concurenta
• Validitate predictivă
• Validitate incrementala

• Studii de validare
A. Validitatea de criteriu (validitate empirică)
Indică măsura în care testul este un bun predictor pentru
un eşantion de comportamente
• Compararea scorurilor la test cu alte criterii cantitative
definite
• Testul poate sau nu să măsoare acelaşi construct
• Performanţa la un test (predictor) trebuie raportată la o
altă performanţă pe care o numim criteriu
Criteriul este definit ca standardul la care este raportată
performanţa la un test.
Un test psihologic este adecvat dacă este relaţionat cu un
criteriu şi deci poate fi considerat un bun substitut al
criteriului - testul este predictor pentru criteriul respectiv
Caracteristicile unui criteriu

• Reprezintă o măsură directă şi independentă a ceea ce testul doreşte


să prezică
• Condiţii:
• să fie relevant pentru activitatea sau caracteristica la care se
referă
• să fie fidel, adică să fie congruent cu evaluări diferite ale
performanţelor la care se referă, evaluări realizate la
momente diferite
• să fie practic
• sa fie necontaminat
• să fie exprimat în aceleaşi unităţi pentru toate persoanele
Exemple de criterii utilizate în analizarea validităţii
testelor care vizează constructe - Anastasi
• vârsta – se foloseşte ca şi criteriu în cazul
constructelor ce vizează procese care cunosc o
maturizare
• performanţele şcolare – sunt un criteriu bun pentru
testele de cunoştinţe sau pentru testele care
evaluează aptitudini şcolare
• performanţele la diverse programe de instruire
specială (muzică, sport, etc.) sunt criterii adecvate
pentru testele de aptitudini speciale
• rezultatele altor teste se utilizează adesea ca şi
criteriu în construirea de noi teste
• grupele contrastante
Tipuri de validitate de criteriu

1. Validitatea predictivă
= acurateţea cu care putem estima în ce măsură o anumită
caracteristică sau aptitudine a unei persoane se va manifesta în viitor
pe baza măsurii în care persoana posedă o serie de caracteristici sau
aptitudini curente

Predicţia este procesul de stabilire a unor expectaţii despre viitor având


la bază date / evenimente curente:
• datele actuale (testul) = „predictori”
• variabilele care descriu performanţa se numesc „criteriu”
Principii ale predicţiei

a. Abordarea pe bază de trăsături


• are la bază principiul deductiv nomologic (principiul
DN) din teoria ştiinţei (Stegmuller, 1974)
• asumpţia că există un număr de relaţii bine precizate
între trăsăturile unei persoane şi activităţile pe care
persoana le desfăşoară, relaţii exprimate în forma
legilor psihologice
Principii ale predicţiei

b. Abordarea pe baza generalizării


comportamentului
= generalizare a comportamentului observat
într-un eşantion de situaţii la un o altă situaţie
similară cu cele din eşantionul ales
• are la bază o similaritate mai mare între
predictor şi criteriu, fapt ce poate determina o
mai bună predicţie
Tipuri de validitate de criteriu

2. Validitatea concurentă
= rezultatele predictorului (testului) sunt obţinute simultan
cu rezultatele la criteriu
• Exprimă în ce măsură scorurile la test pot fi utilizate
pentru a estima performanţa actuală a unei persoane la
un anumit criteriu
Tipuri de validitate de criteriu

Validarea predictivă: Validarea concurentă:


• presupune existenţa unui
• presupune obţinerea scorurilor
interval de timp între test şi
verificarea criteriului la criteriu aproximativ în acelaşi
timp cu scorurile la test
• validarea predictivă vizează
evoluţia sa în viitor • are ca scop rezolvarea unei
probleme privind starea actuală
a subiectului
• exprimă în ce măsură scorurile
la test pot fi utilizate pentru a
estima performanţa actuală a
unei persoane la un anumit
criteriu
Tipuri de validitate de criteriu
• Daca avem mai multi predictori care este ponderea lor in
criteriu?
• Analiza validitatii incrementale
• Ce aduce in plus un predictor fata de altii in predictia criteriului?
Coeficienţii de validate

• coeficienţii de corelaţie între scorurile la predictor şi


scorurile la criteriu
• Valoarea coeficientului de validitate al testelor utilizate
pentru a face predicţii este cuprinsă între 0 şi 0,60
• La testele de personalitate coeficientul de validitate –
aprox. 0,40
Aplicații
• Exemple de studii care investigheaza validitatea de
criteriu
• Test fara validitate de criteriu:

• https://www.youtube.com/watch?v=N2J4sLntcww
Concluzii
• Ce este validitatea?
• Validarea de criteriu
• Validitate concurenta
• Validitate predictivă
• Validitate incrementala
• Studii de validare
• Concepte:
• predictor (testul pe car doresc sa il validez),
• criteriu (standardul la care raportez predictorul)
VALIDITATEA DE CRITERIU
UTILITATEA DIAGNOSTICA
Validitatea de criteriu
• Ce este?
• Validarea de criteriu
• Validitate concurenta
• Validitate predictivă
• Validitate incrementala
• Studii de validare
• Concepte:
• predictor (testul pe car doresc sa il validez),
• criteriu (standardul la care raportez predictorul)
Diagnostic
• Abordarea continua vs. categoriala a criteriului
• Exemple?
• Abordarea categoriala
• Prezent vs. absent
Validarea de criteriu pentru teste diagnostice

• In ce masura pe baza rezultatului la test putem decide


daca subiectul are un diagnostic (ex. anxietate)?
• In ce masura pe baza rezultatului la test putem decide
daca subiectul are o tulburare clinica/il putem angaja/il
putem include intr-un program ?
• Diferente fata de abordarea continua ?
Utilitatea diagnostica
• Cum se analizeaza?
• Conditii: doua instrumnete:
• Unul standard (predictorul) pe care dorim sa il validam
• Unul de raportare (criteriul)
• Algoritm de analiza
Rezultatul la un test pe care dorim sa il
validam
Pozitiv Negativ

Prezent AP FN
(da) (Adevărat pozitiv) (Fals negativ)
(Hit) a (Miss) c
Criteriu
Diagnostic
FP AN
Absent (Alarme false) (Adevărat negativ)
(nu) (False Alarm) (True Negative)
b d
Utilitatea diagnostică
CONCEPTE:
• Adevăraţi pozitivi (Hits) - AP
• Adevăraţi negativi - AN
• Falşi pozitivi (false alarm) - FP
• Falşi negativi (Miss) - FN
• Utilitatea diagnostică
Sensibilitatea
• Proportia de cazuri adevarat pozitive identificate de test
• The proportion of people who have the disorder who test
positive
• a/(a+c)
• Ce proporţie de depresivi diagnostichează instrumentul
nostru din cazurile de depresivi reale - identificate de
criteriu (DSM)?
• O sensibilitate de 0.88 sau 88% ne indică faptul în 12%
din cazuri testul nostru nu identifică depresia când ea
există – dacă luăm criteriul diagnostic DSM - Cat la suta
dintre cei depresivi sunt diagnosticaţi de testul nostru ca
având depresie?
Rezultatul la un test pe care dorim sa il
validam
Pozitiv Negativ

Prezent AP FN
(da) (Adevărat pozitiv) (Fals negativ)
(Hit) a (Miss) c
Criteriu
Diagnostic
FP AN
Absent (Alarme false) (Adevărat negativ)
(nu) (False Alarm) (True Negative)
b d
Instrument foarte sensibil
Sensibilitatea = AP/(AP+FN)= 1
Test
Da Nu
Criteriu

Da 80 0
Nu
10 20
Instrument putin sensibil
la nivelul sansei!
Sensibilitatea =AP/(AP+FN)= 0,5
Test
Da Nu
Criteriu

Da 50 50
Nu
0 0
Specificitatea
• Proportia de persoane care nu au tulburarea si au rezultat
negativ la test
• The proportion of people who do not have the disorder
who test negative
• d/(b+d)

• Dintre toate cazurile identificate de criteriu (DSM) ca


absente (a diagnosticului de depresie) cât anume
identifică şi instrumentul nostru lipsa depresiei?
• O specificitate de 0.78 sau 78% ne indică faptul în 22%
din cazuri instrumentul greşeşte în sensul că spune că
depresia există când de fapt ea nu există - raportată la
criteriu.
Rezultatul la un test pe care dorim sa il
validam
Pozitiv Negativ

Prezent AP FN
(da) (Adevărat pozitiv) (Fals negativ)
(Hit) a (Miss) c
Criteriu
Diagnostic
FP AN
Absent (Alarme false) (Adevărat negativ)
(nu) (False Alarm) (True Negative)
b d
SPECIFICITATEA
Specificitatea =AN/(AN+FP)= 1
Test
Da Nu
Criteriu

Da 20 0
Nu
0 80
Puterea de predicţie pozitivă (PPP)
• Exprimă probabilitatea unui diagnostic pe baza unui
rezultat pozitiv la un test
• O PPP de 0.64 indică faptul că testul supraestimează
cazurile de depresie reale.
Rezultatul la un test pe care dorim sa il
validam
Pozitiv Negativ

Prezent AP FN
(da) (Adevărat pozitiv) (Fals negativ)
(Hit) a (Miss) c
Criteriu
Diagnostic
FP AN
Absent (Alarme false) (Adevărat negativ)
(nu) (False Alarm) (True Negative)
b d
PUTEREA DE PREDICŢIE POZITIVĂ
PPP =AP/(AP+FP)= 1
Test
Da Nu
Criteriu

Da 80 10
Nu
0 20
Puterea de predicţie negativă (PPN)
• probabilitatea unui diagnostic pe baza unui rezultat
negativ la test
Rezultatul la un test pe care dorim sa il
validam
Pozitiv Negativ

Prezent AP FN
(da) (Adevărat pozitiv) (Fals negativ)
(Hit) a (Miss) c
Criteriu
Diagnostic
FP AN
Absent (Alarme false) (Adevărat negativ)
(nu) (False Alarm) (True Negative)
b d
PUTEREA DE PREDICŢIE NEGATIVĂ
PPN =AN/(AN+FN)= 1
Test
Da Nu
Criteriu

Da 15 0
Nu
15 10
Utilitatea diagnostica
• Proporţia celor corect clasificaţi (AP+AN) raportată la
numărul total de cazuri (AP+AN+FP+FN).
• O utilitate diagnostică de 0.81 indică faptul că în 81% din
cazuri testul face un diagnostic bun, şi greşeşte în 19%
din cazuri.
Prevalenta
• Proportia de persoane care are in mod real tulburarea
• (a+c)/(a+b+c+d)
Rezultatul la un test pe care dorim sa il
validam
Pozitiv Negativ

Prezent AP FN
(da) (Adevărat pozitiv) (Fals negativ)
(Hit) a (Miss) c
Criteriu
Diagnostic
FP AN
Absent (Alarme false) (Adevărat negativ)
(nu) (False Alarm) (True Negative)
b d
UTILITATEA TESTULUI
UTILITATEA =AP + AN/ N = 0,62
Test
Da Nu
Criteriu

Da 15 0
Nu
15 10
Prag de decizie diagnostica
• Cum se stabilieste care este scorul la care putem decide
daca subiectul are sau nu un diagnostic? (da nu)
• Care este pragul la care vom decide?
• Verificarea utilitatii pragului se face pe baza teoriei
detectarii semnalului
• Relatia dintre sensibilitate si specificitate
Analiza ROC
• ROC = Receiver Operating Characteristic
Exemplu specific

Fara Cu
tulburare tulburare

Rezultatul la test
Pragul

Numim acestia “negativi” Numim acestia “pozitivi”

Rezultatul la test
Categorii

Numim acestia “negativi” Numim acestia “pozitivi”

Adevarati
pozitivi

Rezultatul la
test
Fara diagnostic
Cu diagnostic
Numim acestia “negativi” Numim acestia “pozitivi”

Rezultatul la Falsi
test Pozitivi
Fara dg
Cu dg
Numim acestia “negativi” Numim acestia “pozitivi”

Adevarati
negativi

Rezultatul la test

Fara diagnostic
Cu diagnostic
Numim acestia “negativi” Numim acestia “pozitivi”

Falsi
negativi

Rezultatul la test

Fara diagnostic
Cu diagnostic
Mutarea pragului : dreapta

‘‘-
‘‘-’’ ‘‘+’’

Rezultatul la test

Fara diagnostic
Cu diagnostic
Mutarea pragului : stanga

‘‘-
‘‘-’’ ‘‘+’’

Rezultat la test

Fara diagnostic
Cu diagnostic
ROC curve
100%
True Positive Rate
(sensitivity)

0%
0% 100%
False Positive Rate
(1-specificity)
Comparatii curbe ROC

Un test bun: Un test slab

100% 100%
True Positive Rate

True Positive Rate


0 0
% %
0 100% 100%
0
% False Positive Rate % False Positive Rate
Extreme curbe ROC
Cel mai bun Cel mai slab
test: test
100% 100%
True Positive Rate

True Positive
Rate
0
0 %
% 0 100
0 100 False Positive %
False Positive % %
% Rate
Rate

Distributiile nu se Distributiile se suprapun


complet
suprapun
AUC – Area under the curve
• .90-1 = excellent (A)
• .80-.90 = good (B)
• .70-.80 = fair (C)
• .60-.70 = poor (D)
• .50-.60 = fail (F)
Exemplu
• Higher Cutoff Point on Dementia Screening Test
Recommended for Educated Patients CME
• News Author: Pauline Anderson
CME Author: Hien T. Nghiem, MD

• Clinicians should send older, well-educated white patients for cognitive


evaluation if they score less than 27 on the Mini-Mental State Examination
(MMSE) rather than use the traditional cutoff point of 24, results of a new
study suggest.
• The study found that raising the cutoff point to 27 increased the
sensitivity for detection of dementia to 89% (from 66% using a cutoff
value of 24), although it lowered the specificity from 99% to 91%.
Utilitatea deciziei
• base rate - % din populatie care are
o trasatura
# nr. pers. care are o trasatura = Base Rate
# nr. total de persoane

Base rate = 90%,


Noul predictor este putin probabil sa
imbunatateasca decizia
Base rate = 40%,
Noul predictor poate sa imbunatateasca
decizia
Rata de selectie

• Rata de selectie / selection ratio


• Cat de selectiv poti sa fii?
• # care tb. selectati= (cuprinsa intre 1.0 –
0.0)
# total de pers.
• Cu cat valoarea este mai mare (aproape
de 1.0) cu atat mai PUTIN selectiv poti
sa fii
Sumarizare valididatea de criteriu
• Variabile diagnostice versus continue

• Forme:
• Validitate predictiva
• Validitate concurenta
Sarcini de invatare
• Bibliografie obligatorie:
• Hajian-Tilaki, K. (2013). Receiver operating characteristic (ROC)
curve analysis for medical diagnostic test evaluation. Caspian
journal of internal medicine, 4(2), 627.
• Propuneti diferite modalitati prin care puteti evidentia
validitatea de criteriu testelor psihologice care măsoară
simptome clinice
Validitatea de construct
Validitatea de construct

• Măsura în care se poate susţine că testul măsoară o


variabilă sau o trăsătură specifică
• “Constructul” = concept (Kline, 1992),utilizat pentru a
desemna o serie de fenomene într-un cadru ştiinţific
- este desprins dintr-o teorie psihologică care
oferă cadrul menit să fundamenteze analiza
semnificaţiei psihologice a rezultatelor la test
- e necesară descrierea constructului în termeni
comportamentali concreţi
Validitatea de construct

• "the truth, the whole truth and nothing but the truth."

• "constructul, tot constructul, nimic altceva decat


constructul."
Operaţionalizarea unui construct

• Identificarea comportamentelor care au legătură


cu constructul;
• Identificarea altor constructe, pentru fiecare
decizându-se dacă au sau nu legătură cu
constructul măsurat de test;
• Alcătuirea pentru fiecare construct a unei liste de
comportamente prin care acestea se exprimă.
• Pentru fiecare comportament, pe baza relaţiilor
dintre constructe se decide dacă are sau nu
legătură cu constructul măsurat de test.
Paşi în validarea relativă la construct:

1. Descrierea amănunţită a domeniului constructului (prezentarea


deprinderilor, cunoştinţelor, atitudinilor, motivelor care au
legătură cu constructul
• Un grup de experţi apreciază dacă sunt acoperite cele mai
importante porţiuni ale constructului
2. Analiza consecvenţei răspunsurilor la itemi (timpi de răspuns
constanţi, scorurile itemilor corelează)
3. Structura scorului reflectă structura domeniului constructului
măsurat – analiza factorială – pentru constructe
multidimensionale
4. Estimarea măsurii în care concluziile pot fi generalizate (ex.
extinse la alte populaţii)
5. Relaţiile dintre scorurile testului şi alte măsurători – validare
convergentă sau discriminantă
Proceduri de estimare
• Analiza factoriala
• Metoda trasaturi multiple metode multiple
METODE
DE ANALIZĂ FACTORIALĂ
Analiza factorială Analiză factorială
exploratorie confirmatorie

Cum sunt Testarea modului


relaţionate în care un set de
variabilele, care variabile defineşte
sunt factorii care le un construct
pot explica
EFA CFA
ANALIZA FACTORIALĂ EXPLORATORIE

1. CONCEPTE ŞI DEFINIRE
2. OBIECTIVE
3. ALGORITM
AFE îşi propune studiul ordinii şi structurii unei colecţii de date
numeroase

DOMENIU POPULAŢIE
(larg sau restrâns)
- se aleg variabilele care - selecţia
trebuie măsurate = eşantionului pt. AF

ATRIBUTE DE
SUPRAFAŢĂ

Analiza factorială constă într-un set de tehnici destinate a


identifica ordinea şi structura unor date, în acelaşi timp
oferind explicaţii utile privind variaţiile /covariaţiile dintre
atributele de suprafaţă
ATRIBUTE INTERNE

Punctul central al AF în constituie asumpţia


existenţei unor atribute interne (AI)
- caracteristică neobservată a populaţiei sub care oamenii
diferă;
- nu sunt observabile în mod direct;
- efectele lor se pot înregistra prin intermediul AS;
- sunt denumite factori sau variabile latente;
- pot fi considerate constructe ipotetice care sunt folosite pt. a
înţelege şi explica o serie de fenomene observate.
Relaţia dintre atributele interne şi cele
de suprafaţă
• atributele interne influenţează sistematic atributele de
suprafaţă;
• atunci când avem o măsură a unui atribut de suprafaţă,
această măsură este, cel puţin în parte, rezultatul influenţei
atributelor interne;
• test de adunare (atribut de suprafaţă) - aptitudinea numerică (atribut
intern).
Atribute interne sau factori

Factori comuni Factori specifici


• Atribut intern care • Atribut intern care
afectează /influenţează mai afectează /influenţează
mult de o variabilă de doar o singură variabilă
suprafaţă de suprafaţă
Manipularea variabilelor de suprafaţă -
–factorul comun se poate transforma în factor specific (prin
înlăturarea de variabile) şi invers (prin adăugarea unor
variabile)

Erorile de măsură
• asociate observării AS
Atribute interne sau factori
Factor unic =
Factor specific + factor determinat de ERM

• Factorul unic se va modifica la orice modificare a


factorului specific sau a erorii de măsură.
... CONCEPTE...

• Atribute de suprafaţă
• Atribute interne sau factori
• Factor comun
• Factor specific
• Factor determinat de ERM
• Factor unic
Factori şi varianţa atributelor de suprafaţă

Varianţa observată la nivelul atributelor de suprafaţă poate


rezulta din trei surse:

• datorată influenţei factorilor comuni - varianţă comună ;


• datorată factorului specific - varianţă specifică;
• datorată erorilor de măsură – varianţa erorii de măsură;
• Varianţa specifică + varianţa erorii de măsură - varianţa unică
Factori şi co
covarianţa
varianţa atributelor de
suprafaţă
• variabilele de suprafaţă dintr-un domeniu specific tind
să coreleze într-o anumită măsură una cu cealaltă;
• această corelaţie este datorată influenţei factorilor
comuni;

• Exemplu - scorul la un test de adunare va tinde să coreleze


pozitiv cu scorul la un test de înmulţire deoarece ambele variabile
depind de acelaşi factor comun – aptitudinea numerică
Factori comuni
(atribute interne)

Atribute de suprafaţă

Factori specifici
(atribute interne)

Factori ERM
OBIECTIVELE ANALIZEI
FACTORIALE
• Identificarea factorilor adiacenţi variabilelor de
suprafaţă;

• Screeningul variabilelor;

• Sumarizarea datelor;

• Selecţia variabilelor;
Cum se realizează AFE?
1. Colecţia de date – matricea originală.
2. Matricea de corelaţie.
3. Matricea factorială.
1. Colecţia de date – matricea originală

Variabile
Observaţii
V1 V2 V3 ...... Vk
O1

O2

O3
Date observaţionale
...
On
2. Matricea de corelaţie

Variabile
Variabile
V1 V2 V3 ...... Vk
V1

V2

V3
Coeficienţi de
...
corelaţie
Vk
3. Matricea factorială

Factori
Variabile
F1 F2 ...... Fm
V1

V2

V3
Încărcare factorială
...
Vk
Matricea de intercorelaţie

Variabile
Variabile
Lovire Viteză Apucare Citire

Lovire --

Viteză .78 --

Apucare .65 .77 --

Citire .10 .04 -.03 --


Analiza factorială
F1: Aptitudinea pentru baseball
Lovire Viteză Apucare Citire Scris

Lovire --

Viteză .78 --

Apucare .65 .77 --

Citire .10 .04 -.03 --

Scris .09 .07 -.01 .86 --


Analiza factorială
F1: Aptitudinea pt. baseball
Lovire Viteză Apucare Citire Scris

Lovire --

Viteză .78 --
F2: aptitudinea
.65
Apucare .77 -- academică

Citire .10 .04 -.03 --

Scris .09 .07 -.01 .86 --


Corelaţii item-factor
F1 .04 F2
Aptitudinea pt. baseball aptitudinea academică

Lovire .92 .03

Viteză .87 .08

Apucare .86 -.04

Citire .02 .95

Scris .00 .94


AF exemplu studiu
• Lac, A., & Berger, D. E. (2013). Development and validation of the Alcohol Myopia
Scale. Psychological Assessment, 25(3), 738-747. doi:10.1037/a0032535

• Alcohol myopia theory conceptualizes the ability of alcohol to narrow attention and
how this demand on mental resources produces the impairments of self-
inflation, relief, and excess.

• http://psycnet.apa.org/fulltext/2013-15695-001.html
Proceduri de estimare

• Analiza factoriala
• Metoda trasaturi multiple metode multiple
Metoda trasaturi multiple metode
multiple
1. Validitate convergentă = evaluează aceleaşi constructe
ca şi alte teste, adică dacă între scorurile sale şi
scorurile altor teste există o relaţie funcţională

2. Validitate discriminanta = evaluează altceva decât alte


teste despre care se ştie că se referă la constructe ce
nu au legătură cu constructul măsurat de test
Trasaturi multiple-metode multiple
VALIDITATEA DE CONTINUT
Validitatea
1. Criteriu (Predictiva/Concurenta)
2. Construct
3. Continut
Validitatea de continut
• Itemii care alcătuiesc testul să fie reprezentativi pentru
ceea ce testul doreşte să măsoare.

• Testul acoperă un eşantion reprezentativ din domeniul


care se cere a fi evaluat prin test (Anastasi, 1976).
Procedura standard
• Crocker & Algina (1986)
• Definirea domeniului de interes
• Selectia unui panel de experti in domeniul de continut
• Generarea itemilor in cadrul domeniului
• Analiza, colectarea si sumarizarea datelor
Validitatea de continut
• Definirea şi descrierea domeniului de conţinut a testului.
• extrem de clară
• să includă toate faţetele domeniul care se doreşte a fi
evaluat.
• Generarea itemilor
• Nr. mai mare decat numarul final
• Analiza itemilor care sunt incluşi în test.
• Compararea structurii testului cu domeniul de conţinut. Astfel
se va analiza dacă itemii acoperă toate aspectele
domeniului, respectiv dacă ei sunt proporţionali în test cu
importanţa şi mărimea fiecărui aspect.
• Eliminaţi itemii inadecvati
• Reanalizarea itemilor ramasi
1. Construcţia de itemi
Formularea itemilor

• Definiţi clar ceea ce aveţi de măsurat, pentru a putea formula itemii


cât mai specific posibil.
• Evitaţi formularea unor itemi lungi, care ar putea fi greu înţeleşi.
• Încercaţi să formulaţi itemii într-un limbaj accesibil persoanelor
evaluate instrumentul.
• Evitaţi formularea unor itemi care surprind două aspecte sau idei,
de exemplu:
• „Îmi place să lucrez într-un mediu bine organizat, pentru că
vreau să fiu cel mai bun la locul de muncă”
• Încercaţi să formulaţi itemi pozitivi şi negativi în aceeaşi măsură,
pentru a evita biasarea care apare în cazul formulării itemilor
pozitivi. Această biasare este determinată de tendinţa persoanei
evaluate de a fi de acord cu toţi itemii testului.
1. Construcţia de itemi (cont.)
Formularea itemilor

• Evitaţi formularea unor itemi lungi, care ar putea fi greu înţeleşi.


• Încercaţi să formulaţi itemii într-un limbaj accesibil persoanelor
evaluate cu acest instrument.
• Evitaţi formularea unor itemi care surprind două aspecte sau idei,
de exemplu:
• „Îmi place să lucrez într-un mediu bine organizat, pentru că
vreau să fiu cel mai bun la locul de muncă”
• Încercaţi să formulaţi itemi pozitivi şi negativi în aceeaşi măsură,
pentru a evita biasarea care apare în cazul formulării itemilor
pozitivi. Această biasare este determinată de tendinţa persoanei
evaluate de a fi de acord cu toţi itemii testului.
• Itemi pozitivi vs.
negativi
1. Construcţia de itemi (cont.)
Formatul opţiunilor de răspuns
a.Itemii dihotomici – oferă două alternative de răspuns (da sau nu; adevărat
sau fals)
Avantajele:
• sunt uşor de cotat;
• sunt uşor de construit (în construirea unui test de evaluare a
cunoştinţelor profesorul poate utiliza fragmente din suportul de curs
pentru a formula itemii);
• completarea lor nu necesită mult timp deoarece răspunsul nu trebuie
scris;
• necesită o evaluare în termeni absoluţi (alb sau negru);
Dezavantaje :
• în cadrul testelor de cunoştinţe acest tip de itemi pot încuraja studenţii
să â memoreze materialul;
• şansa de a ghici răspunsul corect este foarte mare, de 50%.
b. Itemi cu mai multe opţiuni
(polinomici)
Au mai mult de două alternative de răspuns. Se acordă un punct numai
unei opţiuni de răspuns, iar celelalte care nu sunt corecte poartă
denumirea de distractori. Itemii construiţi în scopul evaluării performanţei
academice au de cele mai multe ori acest format.

Avantajele acestui tip de itemi sunt:


• aceşti itemii sunt uşor de cotat;
• sunt uşor de construit;
• completarea lor nu necesită mult timp deoarece răspunsul nu trebuie
scris;
• şansa de a ghici răspunsul corect este redusă;

Dezavantajul cel mai mare al acestui tip de itemi se referă la construirea


unor distractori buni, procedeu care necesită mai mult timp. În cazul
itemilor polinomici, probabilitatea de a ghici răspunsul există, deşi este
mai mică decât în cazul itemilor dihotomici (este de 25% în cazul a patru
alternative, de 33.33% în cazul a trei alternative).
Itemi cu mai multe opţiuni
Marcaţi prin încercuire litera corespunzătoare
cuvântului care are semnificaţia cea mai apropiată
de cuvântul scris cu caractere îngroşate
1. a primi

a. a dărui

b. a privi

c. a păstra

d. a încasa

e. a strivi

f. a surprinde
c. Scala Likert
• 5 sau 7 gradatii

• (dezacord total dezacord indif. acord acord total)

• Indica intensitatea acordului sau dezacordului subiectului


asupra unei afirmatii/unei caracteristici anume.
• numar de optiuni
• tendinta centrala
• dezirabilitate sociala
Exemplu
• „Îmi este frică de înălţime.”

Avem următoarele opţiuni de răspuns:


1 2 3 4 5
acord total acord nici acord nici dezacord dezacord
dezacord total
d. Itemi pe scala categoriala
d. Scala categoriala
• Este similară cu scalele Likert, dar utilizează un număr mai mare
de opţiuni de răspuns, de cele mai multe ori sunt utilizate scale cu
10 opţiuni de răspuns.
• Pentru utilizarea lor adecvată este foarte important ca punctele
extreme ale scalei să fie clar definite şi permanent reamintite
celor care realizează evaluarea.
• Una dintre principalele probleme legate de acest tip de scală este
numărul de categorii care poate fi utilizat, care poate fi de 10 şi 15
sau 66?
• depinde de scopul pe care îl avem şi de nivelul de expertiză al
evaluatorului. De exemplu dacă dorim să evaluăm performanţa unor
jucători de fotbal, o scală cu 7 nivele va fi suficientă pentru ochiul unui
nonexpert care nu sesizează aspectele de fineţe, dar nu şi în cazul
unui expert, al unui antrenor care poate sesiza mai multe diferenţe
între jucători.
e. Q sort

Q- sort – este o metodă utilizată cu precădere în evaluarea


personalităţii. Persoana evaluată va primi o listă de
adjective pe care le va sorta în funcţie de măsura în care
acestea îl caracterizează

Jack Block (1961): The Q-Sort Method in Personality


Assessment and Psychiatric Research, -
www.qmethod.org,
2. Analiza de itemi
• Analiza cantitativa de itemi
• indicele de dificultate al itemului;
• indicele de discriminare;
• Analiza calitativă de itemi
Indicele de dificultate al unui item
• Indicele de dificultate al unui item (px) se obţine
calculând proporţia subiecţilor care au răspuns corect
la item. Valoarea teoretică a indicelui de dificultate se
găseşte între 0 (dacă nici un subiect nu a rezolvat
itemul corect) şi 1 (dacă toţi subiecţii au răspuns
corect la un item).
• Cu cât indicele de dificultate al itemului este mai
mare cu atât itemul este mai uşor. Deoarece „p” se
referă la procentul celor care au rezolvat corect
itemul, putem spune că cu cât este mai mare
valoarea indicelui cu atât itemul este mai uşor.
Indicele de discriminare al unui item
• Indicele de discriminare al unui item (d) constituie o
măsură a cât de bine reuşeşte un item să separe sau
să discrimineze subiecţii care au obţinut scoruri
mari şi cei care au obţinut coruri mici la test.
• Un item este considerat discriminativ dacă subiecţii
care au obţinut o performanţă bună la test au rezolvat
corect itemul, respectiv dacă cei care au obţinut o
performanţă scăzută la test nu au rezolvat corect
itemul
• Indicele de discriminare are în vedere performanţa
eşantionului la un item ţinând cont de performanţa
scorurilor din ultima treime sau din prima treime a
distribuţiei totale a scorurilor.
Indicele de discriminare al unui item
Analiza alternativelor de răspuns
Aspecte calitative Întrebări
Specificitatea culturală Crezi că itemii testului sunt discriminativi pentru un grup anume de persoane?
De ce?
Validitatea de aspect Testul măsoară ceea ce crezi tu că măsoară? Dacă nu este aşa ce anume din
test te îndreptăţeşte să susţii acest lucru?
Examinatorul Crezi că performanţa obţinută la test a fost influenţată de comportamentul
examinatorului? Dacă da, care au fost acele comportamente care te-au
influenţat?
Mediul de testare Crezi că unele condiţii ale mediului în care ai fost testat au influenţat
performanţele la test? Dacă da, care au fost acelea?
Limbajul testului Modalitatea de prezentare a instrucţiunilor sau alte aspecte verbale ale testului
au influenţat performanţa la test?
Lungimea testului Care este opinia ta în privinţa lungimii testului – se vor discuta 2 aspecte:
timpul total şi numărul itemilor
Răspunsurile aleatoare Au fost itemi în test la care ai dat răspunsuri la întâmplare? Care este
procentajul de itemi la care ai răspuns la întâmplare? Ai folosit anumite
strategii specifice?
Corectitudinea testării Crezi că s-a putut trişa la acest test? Dacă da, care crezi că au fi sunt
modalităţile de a trişa?
Starea psihică/fizică a Cum ai descrie starea ta (psihică sau fizică) din timpul testului? Crezi ca
subiectului în timpul această stare ar putea influenţa în vre-un fel performanţa la test?
examinării
Impresia generală Care este impresia ta generală lăsată de acest test? Care sunt sugestiile pe care
le-ai face pentru îmbunătăţirea testului?
Preferinţe Ce ţi-a plăcut/displăcut la acest test? Au existat părţi ale testului pe care le-ai
resimţit ca provocându-ţi anxietate sau alte stări negative?
Pregătirea anterioară Cum te-ai pregătit pentru acest test? Dacă ar trebui să sfătuieşti pe cineva
privind modul în care ar trebui să se pregătească pentru acest test ce i-ai
sugera?
Cand este relevanta
• In cazul testelor de cunoştinţe atunci când nu exista un
criteriu extern adecvat pentru analiza validităţii de
criteriu;
• In cazul testelor utilizate la măsurarea unui atribut ce nu
poate fi exprimat printr-un construct (Murphy &
Davidshofer, 1991).
• De exemplu, se poate descrie cu uşurinţa domeniul de
conţinut al unui test construit pentru “cunoştinţe de
aritmetică la elevii clasei I”, dar este foarte dificil să
găsim comportamente prin care această caracteristică
să poată fi observată.
• În cazul testelor care evaluează performanţa în munca
în scopuri de selecţie şi clasificare a angajaţilor.
• Când testul reprezintă un eşantion de comportamente din
ceea ce reprezintă deprinderile şi cunoştinţele specifice
muncii respective.
ADAPTAREA
INSTRUMENTELOR DE
EVALUARE PSIHOLOGICĂ
Traducerea si adaptarea testelor

De ce ar trebui sa discutam despre adaptare?

Contexte?
ITC - cerinte

18 cerinte

- Preconditii (3)

- Adaptarea efectiva a testului (5)

- Confirmarea prin studii empirice a calității testului adaptat (4)

- Administrarea (2)

- Construirea normelor si interpretarea (2)

- Construirea unui suport (manual) al testului adaptat (2)


Preconditii (3)
Ce facem inainte de a incepe adaptarea

1. Obținerea acordului celui care are drepturile de proprietate


intelectuală / copyright asupra instrumentului.

2. Evaluarea suprapunerii constructelor în cele două populații

3. Minimizarea influențelor culturale și lingvistice


Adaptarea efectiva a testului (5)

1. Luarea în considerare a diferențelor lingvistice, psihologice și


culturale pe baza colaborării cu experți

2. Utilizarea unor designuri de traducere adecvate

3. Asigurarea traducerii instructiunilor

4. Asigurarea traducerii itemilor

5. Colectarea datelor pilot – analiza de itemi, fidelitate, studii pe


esantioane mici de validate.
Confirmarea prin studii empirice a
calităţii testului adaptat (4)

1. Selectarea esantioanelor relevante pentru validare

2. Realizarea de studii de echivalenta (construct, metoda, item)

3. Realizarea de norme (adaptarea lor sau construirea altora),


analiza fidelitații, validitatii

4. Analiza echivalentei celor 2 versiuni ale testului


Administrarea (2)

1. Pregatirea materialelor testului pentru administrarea


standardizata

2. Specificarea condițiilor de administrare


Construirea normelor si interpretarea
(2)

1. Interpretarea diferentelor identificate in functie de scopul


cercetarii (de obicei transculturale)

2. Compararea populatilor se va face doar dupa ce s-a stabilit


invarianta instrumentului
Construirea unui suport (manual) al
testului adaptat (2)

1. Realizarea unui manual tehnic cu informatiile legate de adptare,


modificarile aduse

2. Oferire de informatii pentru utilizatori in scopul aplicarii si


interpretarii corecte a testului
Biliografie

(2017): ITC Guidelines for Translating and Adapting Tests (Second


Edition), International Journal of Testing, DOI:
10.1080/15305058.2017.1398166

Hambleton R. K., & Zenisky A. L. (2011). Translating and adapting


tests for cross-cultural assessments. In Matsumoto D. & van de
Vijver F. J. R. (Eds.). Cross-Cultural Research Methods in
Psychology (pp. 46–74). Cambridge: Cambridge University Press

S-ar putea să vă placă și