Validitate 2.0.

Aplicatii mai avansate ale

Conceptului
Validitatea diferentiala
Sinonime:
differential validity
differential prediction
adverse impact (in selectie)
test bias (in dezvoltarea de teste)
Validitatea diferentiala: Problem Statement
Se pune diferit in functie de domeniu:
Muncii/organizationala:
in ce masura putem utiliza pentru a fundamenta decizii de
personal, un test la care anumite categorii de personal obtin in
mod sistematic scoruri mai mici decat altele
nu este aceasta o discriminare?
Clinica:
in ce masura putem utiliza, pentru decizii diagnostice, un test la
care anumite categorii demografice obtin in mod sistematic
scoruri mai mici decat altele
... etc.
Validitatea diferentiala: Detectare
comparatii de scoruri medii pe grupuri tinta: WRONG!
metoda Cleary:
comparatia dreptelor de regresie pentru grupurile vizate
gradul in care performanta prezisa coincide cu performanta
efectiva unor grupuri distincte, atunci cand predictia se face pe o
dreapta de regresie comuna
exemplificarea care urmeaza se bazeaza pe textul lui
Susan Wurtz (2009) (http://www.cba.uni.edu/wurtz/)
Impact asupra principiilor
Evaluarea psihologica este de cele mai multe ori realizata:
MONO-SURSA:
cu informatii provenind dintr-o singura sursa (subiectul insusi)
MONO-TRASATURA:
cu evaluarea unei singure trasaturi notabile, de ex. inteligenta
MONO-EVALUATOR
cu informatii oferite de un singur evaluator, de cele mai multe ori subiectul insusi,
sau un sef direct, sau un intervievator
MONO-METODA
cu informati provenind dintr-o singura metoda, de exemplu doar un test sau doar
un interviu
MONO-TEMPORAL
cu informatii obtinute la un singur moment in timp
Multitrait-Multisource-Multirater-Multimethod (principiu)
MULTITRAIT
evaluarea mai multor trasaturi care sunt predictori pentru criteriul urmarit
MULTISOURCE
extragerea de date din mai multe surse, adica di mai multe medii relationate cu
trasaturile tintite: scoala, familie, munca, viata cotidiana etc.

 MULTIRATER
culegerea de date de la mai multi evaluatori: persoana insasi, seful direct, colegi,
membri ai familiei etc.
MULTIMETHOD
obtinerea de date prin mai multe metode: observatie, interviu, test, chestionar
MULTIPLE MOMENTS IN TIME
obtinerea de date la mai multe momente in timp
Ce inseamna Multi ...
Multi-Informants:
persoana evaluata
alte persoane
alti observatori intr-un regim 180/360 gr (peers, supervisors, direct reports,
customers / teachers, caregivers, parents, tutors)
Multi-Methods: calitativ vs. cantitativ (obiectiv/standardizat)
test psihologice
interviu
observatie (in I/O de obicei indusa: role play, presentation, business task, group
exercise etc., in clinica de obicei naturala)
Multi-Measures
mai multe tipuri de teste
mai multe tipuri de interviuri
mai multe tipuri de observatii
Validitate = "corectitudine"
Dorele, probleme, m ?
probleme de metodologie
validitatea unui design ... poate designul sa
imi demonstreze ce vreau eu sa demonstrez?
probleme de logica
validitatea unei concluzii (inferente) ... se
poate trage aceasta concluzie din datele
mele?
Cand este un enunt stiintific adevarat?
... problema a filosofiei stiintei
corespondenta: corespondenta cu lumea
inconjuratoare
afara ploua
coerenta: coerenta fata de alte elemente ale
unei teorii acceptate
marijuana genereaza cancer
pragmatism: utilitate in recunoasterea
adevarului acelui enunt
electronii exista
Internal vs. external validity (Campbell, 1957)
Internal validity
a generat cu adevarat stimulul experimental
schimbarea in cazul specific studiat?
External validity
la ce populatii, contexte sau variabile poate fi
generalizat efectul stabilit?
population validity (reprezentativ pentru
populatie?)

 ecological validity (reprezentativ pentru context?)

Alta tipologie
(Cook & Campbell, 1979)
statistical conclusion validity
appropriate use of statistics
internal validity
inference of causality
construct validity
generalizare catre construct
external validity
generalizare catre populatii
Despre cauzalitate
exemplul unui foc in padure (Shadish, Cook &
Campbell):
chibritul aprins este cauza?
material uscat, aflat pe jos, conditii atmosferice etc.
Inus condition (J. L. Mackie, 1917-1981):
an insufficient but nonredundant part of an unnecessary
but sufficient condition
in exemplul de mai sus:
insufficient: caci fara restul conditiilor nu face nimic
nonredundant: adauga ceva in plus fata de restul conditiilor
sufficient condition: este suficient sa ai toate aceste conditii pentru a
putea declansa un foc
unnecessary condition: nu este necesara neaparat asa, exista si
alte constelatii care ar putea genera un foc
Cauza (concluzii preliminare)
majoritate cauzelor nu sunt decat inus
conditions
KTP:
relatiile cauzale nu sunt principial deterministe, ci
ridica doar problema probabilitatii ca un fenomen sa
se manifeste (ca un anumit efect sa apara)
toate relatiile cauzale sunt dependente de context, iar
generalizarea efectelor experimentale este o
problema
Efectul
the counterfactual model (David Hume)
comparam
ceea ce s-a intamplat in prezenta (datorita) stimulului
ceea ce se crede ca s-ar fi intamplat in absenta stimulului
efectul este diferenta dintre cele doua
rationamentul de acest tip este fundamental calitativ
necesitatea pentru counterfactual reasoning provine din
faptul ca e imposibil pentru grupul-tinta sa primeasca si sa
nu primeasca tratamentul (expunerea la stimul)
exemplu:
PKU = phenylketonuria, afectiune metabolica genetica,
genereaza retard mental daca nu e tratata in primele
saptamani de viata

Relatia cauzala
John Stuart Mill:
1. cauza precede efectul
2. cauza este relationata cu efectul
3. nu putem gasi alta explicatie plauzibila pentru
efect, alta decat cauza
in experiment manipulam o variabila si:
vedem ca dupa manipulare apare un efect
vedem ca exista o relatie intre manipulare si efect
vedem daca exista alte explicatii plauzibile pentru
acel efect (si incerca sa le izolam)
Corelatia nu este cauzalitate
corelatia nu este decat conditia 2 din cauzalitate, nu
presupune si conditiile 1 si 3
relatii simetrice vs. asimetrice
symmetric relationships: doua variabile pot fi corelate, fara sa
existe o relatie de cauzalitate:
asymmetric rel.: exista cauzalitate si ea poate fi dedusa
Ex: educatie & venit: care este prima?
problema variabilelor confundate:
inteligenta
statut socio-economic al familiei
... inapoi la validitatea interna si cea externa
in modelul medical, cele 2 forme de validitate
sunt adresate in studii diferite:
efficacy: studii in contexte experimentale (in vitro)
pacienti selectati intr-un anumit fel (de ex. criterii de
incluziune care presupun absenta unei alte afectiuni)
ideal = noiseless study
effectiveness: studii in contexte naturaliste (in vivo)
pacientii au in mod frecvent mai multe afectiuni
in special in stiintele educationale ecological validity: daca
studiul retine sau captureaza experientele normale,
cotidiene, ale profesorului, elevului, clasei
Threats to validity
amenintari la adresa unui tip de validitate
existenta unor variabile care influenteaza rezultatul, fara
sa ne dam seama ca acest lucru se intampla
extraneous variables
variabile
independente
dependente
moderating variables
mediating variables
intervening variables (uneori moderatoare/mediatoare)
variabile confundate (confounded / lurking)

Variabile moderatoare
parte din lantul cauzal, dar nu obligatoriu
lantul se desfasoara si in absenta lor
dar au un efect puternic asupra relatiei,
modificand intensitatea sau manifestarile
ei
Ex:
ochelari varsta accidente de circulatie ?
JD-R model
TABP vs. internal-external LOC
Variabile mediatoare
parte din lantul cauzal
Ex:
nivel educational tip de ocupatie nivel de venit
variabilele de interventie NU sunt in mod
obligatoriu variabile confundate
recunoasterea lor si controlul lor in design le fac
sa nu mai fie confundate
Variabile confundate
Ex:
cafeaua cauzeaza afectiuni cardiace?
exista o corelatie intre bautul de cafea si
existenta afectiunilor cardiace
exista oare o variabila confundata aici?
... inapoi la threats to validity
variabile care sunt explicative dar pe care le
ignoram DIN LIPSA DE GANDIRE CRITICA
ne asteptam ca amenintarile fata de validitatea
interna si cea externa sa fie diferite
amenintarile la validitatea interna: ne compromit
increderea in afirmatiile privind existenta unei relatii
amenintarile la validitatea externa: ne comprimit
increderea in generalizarea rezultatelor si catre alte
grupuri, variabile sau context
Threats to internal validity (1)
Istoric (History)
a avut loc vreun eveniment deosebit in timpul
studiului, care ar fi putut sa influenteze rezultatul?
in mod special o problema in
studii cross-sectionale
studii experimentale fara grup de control (de ex. one-group
pre-posttest design)
poate fi o problema si in studii cu perioade scurte de
timp (de ex. evenimente foarte punctuale s-a luat
curentul)
Threats to internal validity (2)
Maturizare (Maturation)
atunci cand modificarile pot fi datorate trecerii timpului
(recuperare, dezvoltare, evolutii diverse)
este o problema chiar si in studiile experimentale cu
grup experimental si grup de control

 oare participantii se matureaza in acelasi ritm?

poate fi o problema si in studii cu perioade scurte de
timp (de ex. oboseala)
Threats to internal validity (3)
Evaluarea (Testing)
efectele pretestului asupra rezultatelor posttestului
pretestul poate sensibiliza participantii la o problema
pretestul devine tratament, sau interactiunea
pretest x tratament
amenintare in
designurile cu pre- si post-test
designurile longitudinale
designurile diary sau repeated-measure
Threats to internal validity (4)
Instrumentarea (Instrumentation)
felul in care este instrumentat studiul, in mod
special modificarile in masurare
modificari in instrument, observatori,
modalitati de scorare
Threats to internal validity (5)
Statistical regression (Regression towards the
mean)
tendinta scorurilor extreme de a regresa catre medie
atunci cand participantii la studiu sunt selectati din
grupuri extreme (de ex. diagnostice extreme),
scorurile subsecvente au o sansa mai mare sa
regreseze catre medie decat departe de medie
fenomenul tine de fidelitatea testului
participantii cu scoruri extrem de joase au
increment mai mare in urma tratamentului decat
cei cu scoruri medii sau mari
Threats to internal validity (6)
Selectia participantilor (Selection of
participants)
cum au fost selectati participantii?
problema in special in
auto-selectie
snowball sampling
daca participantii sunt impartiti in grupuri, sunt
grupurile echivalente?
randomizarea ... nu rezolva toate probleme de
echivalenta (se va discuta la alt curs)
problema in two-group design
Threats to internal validity (7)
Mortalitate (Experimental mortality)
numarul participantilor care au disparut din
grupul sau grupurile utilizate in cercetare
mortalitate inseamna si renuntare (drop-out)
problema in designurile
cu un singur grup
cu mai multe grupuri

Threats to internal validity (8)

Contaminarea designului (Design
contamination)
John Henry effect / Hawthorne effect
cunoasterea de catre participanti a grupului
din care fac parte (experimental sau de
control)
participantii incearca sa confirme sau infirme
sistematic o concluzie
de ex. participantii discuta intre ei si compara ce li
s-a spus
Threats to external validity (1)
Efectul interactiunii dintre testare x
tratament (Interaction effect of testing)
evaluarea din pretest da indicii participantilor
privind felul in care e dezirabil sa reactioneze
la tratament
acest lucru nu s-ar intampla in viata reala,
unde nu ar exista pretest
deci efectul experimental, chiar daca e stabilit,
nu se poate generaliza la populatie
Threats to external validity (2)
Efectul interactiunii dintre selectie x
tratament (Interaction effect of selection)
selectia participantilor face ca grupul sa nu fie
reprezentativ pentru populatie
de ex.:
noua metoda de predare a matematicii testata pe
un grup de elevi cu note foarte mici
chiar daca exista un efect experimental, el nu se
poate generaliza la populatie, unde clasele sunt
eterogene in abilitati matematice
Threats to external validity (3)
Efecte reactive fata de design (Reactive
effects)
Hawthorne effect
efect negeneralizabil in viata reala cand
manipulam conditiile de munca
Threats to external validity (4)
Interferenta tratamentelor multiple
(Multiple treatment interference)
efectul tratamentelor ulterioare nu poate fi
diferentiat de efectul prelungit al primului
tratament
problema
in experimentele cu tratament multiplu
in designurile cu expunere prelungita la stimul