S4.

Validitatea predictive

- să definească conceptul de validitate

- să compare fidelitatea cu validitatea testelor
- să aplice tehnicile statistice adecvate (regresia liniară simplă şi multiplă) pentru testarea
validităţii predictive
- să interpreteze coeficienţii de validitate

Mijloace:
1. Urbina, S. (2004). Essential of psychological testing. New Jersey: John Willey and Sons Inc.
2. Kaplan, R.M., Caccuzzo, D. (2005). Psychological testing. Principles, applications and issues.
Canada: Thomson Learning Academic Resource Center
3. Elliot, A.C., Woodward, W.A. (2007). Statistical analysis quick reference guidebook: With SPSS
examples. London: Sage Publications.
4. Labăr, V. (2008). SPSS pentru ştiinţele educaţiei. Iaşi: Polirom.
5. Shultz, K.S., Whitney, D.J. (2005). Measurement theory in action: case studies and exercises.
London: Sage Publications.

Validitatea predictivă
Putem folosi testele pentru a face predicţii relative la randamentul subiecţilor la un criteriu.
Putem folosi drept criteriu media şcolară sau randamentul în muncă. Criteriul este un indicele de
predicţie dat de validitatea predictivă a unui test.
Un aspect important a acestui tip de validitate este criteriul, deoarece scorul obţinut la test este
util în măsura în care poate prezice un criteriu, conţinutul fiind în acest caz un aspect secundar.

1. Precauţii legate de evaluarea coeficienţilor de validitate predictivă

 Cercetaţi schimbările apărute în sensul cauzalităţii test-criteriu: de regulă presupunem implicit că

relaţia dintre test şi criteriu este încă în funcţiune atunci când aplicăm noi testul.
 Ce însemană criteriul ales? Coeficientul de validitate contra criteriului obţinut poate să nu însemne
nimic dacă criteriul nu este el însuşi fidel şi valid. A corela un test cu un altul despre care nu ştim
prea multe lucruri sub aspectul validităţii nu ne ajută prea mult în determinarea validităţii
convergente a primului test.
 Luaţi întotdeauna în consideraţie populaţia pe care s-a obţinut o anume validitate: o validitate
ridicată pe o populaţie de albi se păstrează ea oare şi pe o populaţie de negri?
 Asiguraţi-vă că mărimea eşantionului populaţional este suficientă şi adecvată: cu cât este mai
mare grupul iniţial pe care s-a studiat validitatea, cu atât mai bună este validitatea încrucişată.
 Niciodată să nu confundaţi criteriul cu predictorul.
 Verificaţi spectrul de valabilitate atât pentru predictor, cât şi pentru criteriu: deoarece corelaţia
depinde de mărimea variabilităţii, ea este subestimată sever atunci când predictorul sau criteriul au
un spectru de variabilitate foarte îngust.
 Generalizaţi cu prudenţă o validitate găsită: cu alte cuvinte trebuie demonstrat că validitatea
descoperită într-un studiu nu este dependentă de situaţie.
 Luaţi în calcul şi validitatea diferenţială: relaţiile descoperite pentru o populaţie demografică s-ar
putea să nu fie deloc aceleaşi pentru toate subgrupurile care o compun (Clinciu, 2009).
2. Caracteristicile unei măsuri - criteriu
Măsura - criteriu are mai multe caracteristici:
 pertinenţa sa, adică validitatea sa. Ea trebuie să reflecte şi să măsoare aspectele
fundamentale ale criteriului conceptual. Evaluarea pertinenţei unei măsuri - criteriu se face
prin procedee raţionale şi calitative. Nu există un indice cantitativ eficace pentru exprimarea
gradului de pertinenţă a unei măsuri - criteriu.
 fidelitatea sau constanţa măsurărilor. O măsură criteriu trebuie să fie constantă în timp
indiferent de circumstanţe. O măsură - criteriu inconstantă nu poate fi pusă în relaţie cu alta,
iar indicele relaţiei cu predictorul nu va semnifica nimic, indiferent de gradul acestuia. De
exemplu, dacă folosim o măsură inconstantă pentru determinarea productivităţii unui
muncitor, atunci în cazul unei zile bune productivitatea va fi mare şi vom supraestima
valoarea sa, iar într-o zi proastă riscăm să subestimăm valoarea sa. Alegerea unei măsuri -
criteriu este supusă la cel puţin două constrângeri:
 factorii care induc o eroare de măsurare trebuie controlaţi pentru că ei influenţează
măsurile - criteriu în acelaşi fel ca şi predictorii;
 dacă controlul acestor factori nu ne permite să obţinem o măsură stabilă este posibil
să creştem stabilitatea alegând un număr mare de măsuri - criteriu sau alegând
eşantioane în mai multe ocazii.
 absenţa contaminării. Măsurarea criteriului se va efectua în condiţiile în care factorii non
pertinenţi nu pot influenţa scorurile. Contaminarea poate să apară uşor dacă măsura criteriu
se prezintă sub forma unor scale de evaluare care sunt vulnerabile datorită efectului de halo
sau a tendinţei de indulgenţă. Instrucţiuni foarte precise de forma unei descrieri detaliate a
caracteristicilor de evaluat permite diminuarea riscului de contaminare.

3. Exemple de măsurători CRITERIU

- măsurarea directă a producţiei sau a randamentului: volumul de vânzări, numărul de clienţi pe oră
sau pe zi, numărul de accidente pe lună sau pe an, numărul de erori pe unitate, media cumulată etc.
- randamentul la un test, cum ar fi rezultatul la un examen sau la testele administrate de serviciile de
personal din întreprinderi: scalele de evaluare fac parte din această categorie.
- măsura - criteriu aparţine unui grup. Testele de personalitate şi în particular chestionarele de
interese sunt considerate valide dacă permit o bună clasificare a indivizilor în grupuri bine precizate.
Testele de aptitudini sunt valide dacă permit să distingem indivizii care vor reuşi faţă de cei care vor
eşua într-o activitate sau într-un program de studii dat.
- măsurile - criteriu de natură statistică, cum ar fi coeficienţii de saturaţie, coeficienţii de
discriminare sau cei de consistenţă internă.
Pentru ca procesul de validare să fie valabil este necesar să recurgem la mai multe măsuri
criteriu. (Hăvârnanu, note de curs).

4. Exemplu – validitatea predictiva. S4. Validitatea predictiva

Regresia liniară simplă şi multiplă

Condiţii:
1.VD şi VI să fie variabile cantitative normal distribuite
2. Relaţia dintre VD şi VI să fie liniară (scatterplot - matrix)
3. Erorile (reziduurile) să fie normal distribuite (histogramă sau Kolmogorov-Smirnov)
4. Evitarea multicoliniarităţii (corelaţii mari 0,50 – 0,60 între oricare două VI)
5. Evitare cazurilor extreme şi a cazurilor influente (inspectarea tabelului Residuals statitics)
6.Evitarea homoscedasticităţii : reziduurile vor avea aceeaşi varianţă fiecare nivel al variabilelor
predictor (VI)

5. Aplicatii validitatea predictiva

Baza de date Aplicaţii validitatea predictiva conţine datele culese in urma aplicării unui
chestionar care măsoară strategiile de învăţare autoreglată (Chestionarul strategiilor motivaţionale de
învăţare - MSLQ). Chestionarul conţine 12 itemi măsuraţi pe o scală în 7 trepte, unde 1 înseamnă în
foarte mică măsură adevărat pentru mine şi 7 în foarte mare măsură adevărat pentru mine.
Cei 12 itemi sunt aditivi iar scorul total obţinut din însumarea itemilor este codificat
MSLQ_autoreglare_metacognitiva_total.
Chestionarul a fost readministrat aceloraşi subiecţi la o perioadă de 2 luni, obţinându-se un scor
total codificat p_ MSLQ_autoreglare_metacognitivă_total.
Variabila autoreglarea_învăţării reprezintă socrul total obţinut la o scală similară MSLQ care
măsoară strategiile de autoreglare metacognitivă a învăţării, care face parte din Inventarul strategiilor
de învăţare (ILS). ILS a fost aplicat în aceiaşi perioada cu pretestarea MSLQ.
MSLQ a fost aplicat aceloraşi subiecţi şi de către un al doilea experimentator, obţinându-se
scorul total codificat mslq_scorer2.
Variabila DS reprezintă scorurile obţinute de cei 78 de subiecţi în urma completării unei scale
care măsoară dezirabilitatea socială.
Subiecţilor le-au fost înregistrate şi numărul de credite obţinute la sfârşitul anului I de facultate,
ca măsură a succesului academic.

Cerinţe:

1. Validitatea predictivă: Estimaţi validitatea predictivă a MSLQ, folosind regresia liniară

simplă. Verificaţi condiţiile de aplicare a acestei metode statistice:
a. Variabila criteriu şi variabila predictor sunt normal distribuite? Precizati valorile
formei distribuţiei.
b. Relaţia liniară între variabila predictor şi variabila criteriu.
c. Evitarea cazurilor extreme.

2. Raportaţi rezultatele folosind tabelul următor:

Performanţe academice
PREDICTOR R Δ R2 β B SE b t p
Constanta
Autoreglarea
metacognitivă

Poate prezice eficient performanţele academice la sfârşitul anului I autoreglarea metacognitivă? Cât la
sută din variabilitatea performanţelor academice explică strategiile metacognitive?

3. Scrieţi ecuaţia de regresie pe baza căreia poate fi estimat nivelul performanţelor academice.
4. În ce măsură criteriul ales consideraţi că întruneşte condiţiile unui criteriu adecvat pentru
validarea predictivă? Propuneţi încă un criteriu care, din punctul vostru de vedere, poate fi
adecvat, argumentând alegerea.

5. Validitatea de construct: Verificaţi dacă există diferenţe de gen în ceea ce priveşte

autoreglarea metacognitivă.
6. Estimaţi validitatea convergentă a MSLQ folosind datele pe care le aveţi la îndemână şi
metoda adecvată. Interpretaţi rezultatul obţinut.
7. Estimaţi validitatea divergentă a MSLQ folosind datele pe care le aveţi la îndemână şi metoda
adecvată. Interpretaţi rezultatul obţinut.
8. Verificaţi, folosind metoda analizei factoriale, dacă cei 12 itemi pot fi grupaţi într-un singur
factor.
a. Cât la sută din varianţa totală explică un singur factor?
b. Care sunt itemii care sunt saturaţi cel mai puternic in factorul obţinut?

9. Calculaţi consistenţa internă a MSLQ prin două metode (Alfa Cronbach şi Split Half).
10. In urma calculului Alfa Cronbach identificaţi itemii problematici şi decideţi ce măsură poate fi
luată.
11. Recalculaţi Alfa Cronbach după identificarea şi tratarea itemilor problematici.
12. De câţi itemi mai este nevoie pentru a ajunge la o valoare Alfa Cronbach de .90?
13. Calculaţi fidelitatea test-retest pentru MSLQ. Interpretaţi rezultatul obţinut.
14. Calculaţi fidelitatea interscoreri pentru MSLQ. Interpretaţi rezultatul obţinut.