Validitate “2.0”.

Aplicatii mai avansate ale

conceptului

Dragos Iliescu
 Vom vorbi despre...
• ...
1. Validitatea incrementala
Conceptul de validitate
incrementala (model)

CRITERIU
PREDICTOR
(Performanta profesionala)
Conceptul de validitate
incrementala (model)

CRITERIU
PREDICTOR
(Performanta profesionala)
Conceptul de validitate
incrementala (model)

r=.80 CRITERIU
PREDICTOR
(Performanta profesionala)
Conceptul de validitate
incrementala (model)

PREDICTOR 2

r=.80 CRITERIU
PREDICTOR
(Performanta profesionala)

PREDICTOR 3
Conceptul de validitate
incrementala (model)

PREDICTOR 2 r=.60

r=.80 CRITERIU
PREDICTOR
(Performanta profesionala)

r=.40

PREDICTOR 3
 Conceptul de validitate
incrementala (model)

PREDICTOR 2 r=.60

r=.48
r=.31 r=.80 CRITERIU
PREDICTOR
(Performanta profesionala)

r=.50 r=.40

PREDICTOR 3
 Validitate vs. Validitate
incrementala: tratament statistic

r=?
VI VD

r2 = ?

VI VD
 Validitate vs. Validitate
incrementala: tratament statistic
(contd.)
R2 = ?

VI 1 r1 = ?
VI 1 VD
VI 2 r2 = ?
VD
r3 = ? VI 2
VI 3

rn = ?
...
 Validitate vs. Validitate
incrementala: tratament statistic
(contd.)
• Regresie ierarhica in pasi (blocuri)
GMA (g) = the
single best
predictor

Validitatea
incrementala
fata de g

- Hunter &
Hunter (1984);
-Schmidt &
Hunter (1998)
2. Validitatea diferentiala
 Validitatea diferentiala
• Sinonime:
– differential validity
– differential prediction
– adverse impact (in selectie)
– test bias (in dezvoltarea de teste)
 Validitatea diferentiala: Problem
statement
• Se pune diferit in functie de domeniu:

• Muncii/organizationala:
– in ce masura putem utiliza pentru a fundamenta decizii de
personal, un test la care anumite categorii de personal obtin in
mod sistematic scoruri mai mici decat altele
– nu este aceasta o discriminare?

• Clinica:
– in ce masura putem utiliza, pentru decizii diagnostice, un test la
care anumite categorii demografice obtin in mod sistematic
scoruri mai mici decat altele

• ... etc.
 Validitatea diferentiala: Detectare
• comparatii de scoruri medii pe grupuri tinta: WRONG!

• metoda Cleary:
– comparatia dreptelor de regresie pentru grupurile vizate
– gradul in care performanta prezisa coincide cu performanta
efectiva unor grupuri distincte, atunci cand predictia se face pe o
dreapta de regresie comuna

• exemplificarea care urmeaza se bazeaza pe textul lui

Susan Wurtz (2009) (http://www.cba.uni.edu/wurtz/)
3. Impact asupra principiilor
 Evaluarea psihologica este de
cele mai multe ori realizata:
• MONO-SURSA:
– cu informatii provenind dintr-o singura sursa (subiectul insusi)

• MONO-TRASATURA:
– cu evaluarea unei singure trasaturi notabile, de ex. inteligenta

• MONO-EVALUATOR
– cu informatii oferite de un singur evaluator, de cele mai multe ori subiectul insusi,
sau un sef direct, sau un intervievator

• MONO-METODA
– cu informati provenind dintr-o singura metoda, de exemplu doar un test sau doar
un interviu

• MONO-TEMPORAL
– cu informatii obtinute la un singur moment in timp
 Multitrait-Multisource-Multirater-
Multimethod (principiu)
• MULTITRAIT
– evaluarea mai multor trasaturi care sunt predictori pentru criteriul urmarit

• MULTISOURCE
– extragerea de date din mai multe surse, adica di mai multe medii relationate cu
trasaturile tintite: scoala, familie, munca, viata cotidiana etc.

• MULTIRATER
– culegerea de date de la mai multi evaluatori: persoana insasi, seful direct, colegi,
membri ai familiei etc.

• MULTIMETHOD
– obtinerea de date prin mai multe metode: observatie, interviu, test, chestionar

• MULTIPLE MOMENTS IN TIME

– obtinerea de date la mai multe momente in timp
 Ce inseamna Multi ...
• Multi-Informants:
– persoana evaluata
– alte persoane
– alti observatori intr-un regim 180/360 gr (peers, supervisors, direct reports,
customers / teachers, caregivers, parents, tutors)

• Multi-Methods: calitativ vs. cantitativ (obiectiv/standardizat)

– test psihologice
– interviu
– observatie (in I/O de obicei indusa: role play, presentation, business task, group
exercise etc., in clinica de obicei naturala)

• Multi-Measures
– mai multe tipuri de teste
– mai multe tipuri de interviuri
– mai multe tipuri de observatii
4. Validitate = "corectitudine"

Validity is the approximate truth of

an inference / claim (Shadish,
Cook & Campbell, 2002)
 Dorele, probleme, mă ?
• probleme de metodologie
– validitatea unui design ... poate designul sa
imi demonstreze ce vreau eu sa demonstrez?

• probleme de logica
– validitatea unei concluzii (inferente) ... se
poate trage aceasta concluzie din datele
mele?
 Cand este un enunt stiintific
adevarat?
• ... problema a filosofiei stiintei
– corespondenta: corespondenta cu lumea
inconjuratoare
• afara ploua
– coerenta: coerenta fata de alte elemente ale
unei teorii acceptate
• marijuana genereaza cancer
– pragmatism: utilitate in recunoasterea
adevarului acelui enunt
• electronii exista
 Internal vs. external validity
(Campbell, 1957)
• Internal validity
– a generat cu adevarat stimulul experimental
schimbarea in cazul specific studiat?

• External validity
– la ce populatii, contexte sau variabile poate fi
generalizat efectul stabilit?
• population validity (reprezentativ pentru
populatie?)
• ecological validity (reprezentativ pentru context?)
 Alta tipologie
(Cook & Campbell, 1979)
• statistical conclusion validity
– appropriate use of statistics

• internal validity
– inference of causality

• construct validity
– generalizare catre construct

• external validity
– generalizare catre populatii
 Despre cauzalitate
• exemplul unui foc in padure (Shadish, Cook &
Campbell):
– chibritul aprins este cauza?
– material uscat, aflat pe jos, conditii atmosferice etc.

• Inus condition (J. L. Mackie, 1917-1981):

– an insufficient but nonredundant part of an unnecessary
but sufficient condition
– in exemplul de mai sus:
• insufficient: caci fara restul conditiilor nu face nimic
• nonredundant: adauga ceva in plus fata de restul conditiilor
• sufficient condition: este suficient sa ai toate aceste conditii pentru a
putea declansa un foc
• unnecessary condition: nu este necesara neaparat asa, exista si
alte constelatii care ar putea genera un foc
 Cauza (concluzii preliminare)
• majoritate cauzelor nu sunt decat inus
conditions

• KTP:
– relatiile cauzale nu sunt principial deterministe, ci
ridica doar problema probabilitatii ca un fenomen sa
se manifeste (ca un anumit efect sa apara)
– toate relatiile cauzale sunt dependente de context, iar
generalizarea efectelor experimentale este o
problema
 Efectul
• “the counterfactual model” (David Hume)
– comparam
• ceea ce s-a intamplat in prezenta (datorita) stimulului
• ceea ce se crede ca s-ar fi intamplat in absenta stimulului
– efectul este diferenta dintre cele doua
– rationamentul de acest tip este fundamental calitativ
– necesitatea pentru counterfactual reasoning provine din
faptul ca e imposibil pentru grupul-tinta sa primeasca si sa
nu primeasca tratamentul (expunerea la stimul)

– exemplu:
• PKU = phenylketonuria, afectiune metabolica genetica, genereaza
retard mental daca nu e tratata in primele saptamani de viata
 Relatia cauzala
• John Stuart Mill:
– 1. cauza precede efectul
– 2. cauza este relationata cu efectul
– 3. nu putem gasi alta explicatie plauzibila pentru
efect, alta decat cauza

• in experiment manipulam o variabila si:

– vedem ca dupa manipulare apare un efect
– vedem ca exista o relatie intre manipulare si efect
– vedem daca exista alte explicatii plauzibile pentru
acel efect (si incerca sa le izolam)
 Corelatia nu este cauzalitate
• corelatia nu este decat conditia 2 din cauzalitate, nu
presupune si conditiile 1 si 3

• relatii simetrice vs. asimetrice

– symmetric relationships: doua variabile pot fi corelate, fara sa
existe o relatie de cauzalitate:
– asymmetric rel.: exista cauzalitate si ea poate fi dedusa

• Ex: educatie & venit: care este prima?

– problema variabilelor confundate:
• inteligenta
• statut socio-economic al familiei
 ... inapoi la validitatea interna si
cea externa
• in modelul medical, cele 2 forme de validitate
sunt adresate in studii diferite:

– efficacy: studii in contexte experimentale (in vitro)

• pacienti selectati intr-un anumit fel (de ex. criterii de
incluziune care presupun absenta unei alte afectiuni)
• ideal = “noiseless study”

– effectiveness: studii in contexte naturaliste (in vivo)

• pacientii au in mod frecvent mai multe afectiuni
• in special in stiintele educationale “ecological validity”: daca
studiul retine sau captureaza experientele normale,
cotidiene, ale profesorului, elevului, clasei
 Threats to validity
• amenintari la adresa unui tip de validitate
• existenta unor variabile care influenteaza rezultatul, fara
sa ne dam seama ca acest lucru se intampla
– “extraneous variables”

• variabile
– independente
– dependente
– moderating variables
– mediating variables
– intervening variables (uneori moderatoare/mediatoare)
– variabile confundate (confounded / lurking)
 Variabile dependente &
independente
PREDICTOR CRITERIU

Cauza Efect

Variabila independenta Variabila dependenta

Ex: Inteligenta (GMA) Ex: Performanta profesionala

Ex: Constiinciozitate Ex: Accidente de munca (-)

Ex: Extraversie Ex: Eficienta in vanzari

 Variabile moderatoare
• parte din lantul cauzal, dar nu obligatoriu
• lantul se desfasoara si in absenta lor
• dar au un efect puternic asupra relatiei,
modificand intensitatea sau manifestarile
ei
• Ex:
– ochelari  varsta  accidente de circulatie ?
– JD-R model
– TABP vs. internal-external LOC
• buffer vs. amplifier (si buffer vs. attenuator)
 Variabile mediatoare
• parte din lantul cauzal

• Ex:
– nivel educational  tip de ocupatie  nivel de venit

• variabilele de interventie NU sunt in mod

obligatoriu variabile confundate
• recunoasterea lor si controlul lor in design le fac
sa nu mai fie confundate
 Variabile confundate
• Ex:
• cafeaua cauzeaza afectiuni cardiace?
– exista o corelatie intre bautul de cafea si
existenta afectiunilor cardiace
– exista oare o variabila confundata aici?
• vocational misfit cauzeaza CWB
– exista o variabila de interventie?
• job insecurity vs. health complaints
– resilience through personality ... moderating
or mediating?
Exemple: variabile confundate
(1)
Exemple: variabile confundate
(2)
Exemple: variabile confundate
(3)
Exemple: variabile confundate
(4)
Exemple: variabile confundate
(5)
Exemple: variabile confundate
(6)
Exemple: variabile confundate
(7)
 ... inapoi la threats to validity
• variabile care sunt explicative dar pe care le
ignoram DIN LIPSA DE GANDIRE CRITICA

• ne asteptam ca amenintarile fata de validitatea

interna si cea externa sa fie diferite

– amenintarile la validitatea interna: ne compromit

increderea in afirmatiile privind existenta unei relatii

– amenintarile la validitatea externa: ne comprimit

increderea in generalizarea rezultatelor si catre alte
grupuri, variabile sau contexte
 Threats to internal validity (1)
• Istoric (History)
– a avut loc vreun eveniment deosebit in timpul
studiului, care ar fi putut sa influenteze rezultatul?

– in mod special o problema in

• studii cross-sectionale
• studii experimentale fara grup de control (de ex. one-group
pre-posttest design)

– poate fi o problema si in studii cu perioade scurte de

timp (de ex. evenimente foarte punctuale – “s-a luat
curentul”)
 Threats to internal validity (2)
• Maturizare (Maturation)
– atunci cand modificarile pot fi datorate trecerii timpului
(recuperare, dezvoltare, evolutii diverse)

– este o problema chiar si in studiile experimentale cu

grup experimental si grup de control
• oare participantii se “matureaza” in acelasi ritm?

– poate fi o problema si in studii cu perioade scurte de

timp (de ex. oboseala)
 Threats to internal validity (3)
• Evaluarea (Testing)
– efectele pretestului asupra rezultatelor posttestului
– pretestul poate sensibiliza participantii la o problema
– pretestul devine “tratament”, sau interactiunea
“pretest x tratament”

– amenintare in
• designurile cu pre- si post-test
• designurile longitudinale
• designurile “diary” sau “repeated-measure”
 Threats to internal validity (4)
• Instrumentarea (Instrumentation)
– felul in care este “instrumentat” studiul, in mod
special modificarile in masurare
– modificari in instrument, observatori,
modalitati de scorare
 Threats to internal validity (5)
• Statistical regression (Regression towards the
mean)
– tendinta scorurilor extreme de a regresa catre medie
– atunci cand participantii la studiu sunt selectati din
grupuri extreme (de ex. diagnostice extreme),
scorurile subsecvente au o sansa mai mare sa
regreseze catre medie decat departe de medie
– fenomenul tine de fidelitatea testului

• rezultat, de ex:
– participantii cu scoruri extrem de joase au increment
mai mare in urma tratamentului decat cei cu scoruri
medii sau mari
 Threats to internal validity (6)
• Selectia participantilor (Selection of
participants)
– cum au fost selectati participantii?
• problema in special in
– auto-selectie
– snowball sampling
– daca participantii sunt impartiti in grupuri, sunt
grupurile echivalente?
• randomizarea ... nu rezolva toate probleme de
echivalenta (se va discuta la alt curs)
• problema in two-group design
 Threats to internal validity (7)
• Mortalitate (Experimental mortality)

– numarul participantilor care au disparut din

grupul sau grupurile utilizate in cercetare
• “mortalitate” inseamna si renuntare (drop-out)

– problema in designurile
• cu un singur grup
• cu mai multe grupuri
 Threats to internal validity (8)
• Contaminarea designului (Design
contamination)
– John Henry effect / Hawthorne effect
– cunoasterea de catre participanti a grupului
din care fac parte (experimental sau de
control)
• participantii incearca sa confirme sau infirme
sistematic o concluzie
• de ex. participantii discuta intre ei si compara ce li
s-a spus
 Threats to external validity (1)
• Efectul interactiunii dintre testare x
tratament (Interaction effect of testing)
– evaluarea din pretest da indicii participantilor
privind felul in care e dezirabil sa reactioneze
la tratament
– acest lucru nu s-ar intampla in viata reala,
unde nu ar exista pretest
– deci efectul experimental, chiar daca e stabilit,
nu se poate generaliza la populatie
 Threats to external validity (2)
• Efectul interactiunii dintre selectie x
tratament (Interaction effect of selection)
– selectia participantilor face ca grupul sa nu fie
reprezentativ pentru populatie
– de ex.:
• noua metoda de predare a matematicii testata pe
un grup de elevi cu note foarte mici
• chiar daca exista un efect experimental, el nu se
poate generaliza la populatie, unde clasele sunt
eterogene in abilitati matematice
 Threats to external validity (3)
• Efecte reactive fata de design (Reactive
effects)
– Hawthorne effect
– efect negeneralizabil in viata reala cand
manipulam conditiile de munca
 Threats to external validity (4)
• Interferenta tratamentelor multiple
(Multiple treatment interference)
– efectul tratamentelor ulterioare nu poate fi
diferentiat de efectul prelungit al primului
tratament

– problema
• in experimentele cu tratament multiplu
• in designurile cu expunere prelungita la stimul