Fidelitatea i validitatea

FIDELITATEA
n orice msurare a fidelitii, referirea se face la consistena i reproductibilitatea unei observaii (cot,
scor, not) sau set de observaii (distribuia scorurilor). Dac cu acelai instrument de msur se fac determinri
n timpi succesivi i de fiecare dat se ajunge la aceleai valori, spunem c am obinut o msurare cu o fidelitate
mare.
Prin fidelitate se nelege fineea cu care testul msoar constructele sale componente, respectiv gradul
de exactitate i lipsa greelilor de msurare. Fidelitatea indic utilizatorului gradul n care poate avea ncredere
n rezultatele testului.
Fidelitatea este gradul n care scorurile testului sunt consistente sau repetabile, adic gradul n care ele
nu sunt afectate de erorile de msur (APA Standards, 2014).
Aadar, fidelitatea vorbete despre: exactitate, lipsa de eroare, repetabilitate.
n teoria clasic a testrii (CTT), rezultatul unei msurri psihologice este definit drept:
True score = Observed score + Error

Deci, cu ct eroarea este mai mic, cu att scorul observat (msurat n mod efectiv) este mai corect, mai
apropiat de realitate (scorul adevrat).
Fidelitatea: Msurare. Pentru determinarea fidelitii, sunt posibile mai multe proceduri i se pot folosi
metode diferite de evaluare sau chiar de msurare ale acesteia:
msurare: (empirical correlational methods, multiple measurement)
o test-retest
o forme echivalente
estimare: (multivariate methods, single measurement: internal consistency)
o split-half
o Cronbachs alpha
o Guttmans lambda
o Kuder Richardsons KR-20 & KR-21

Fidelitatea: Test-retest
metod foarte puternic, de msurare a fidelitii (nu estimare)
se administreaz acelai test de 2 ori, la o oarecare distan ntre administrri. Distana este dependent
de tipicul testului (aptitudini generale, aptitudini specifice, personalitate etc.).
probleme:
o eantioane mici, de obicei
o eantioane necontrolate, de obicei (dropouts)
o efectele nvrii (mai ales la distante de retest mici i la anumite tipuri de teste)

1
 o efectele dezvoltrii/evoluiei (mai ales la distane de retest mari)
se raporteaz:
o rtt, coeficientul de corelaie ntre seturile de date obinute n test i retest
o distana de retest (2 sptmni, 5 zile etc.)

Fidelitatea: Forme echivalente

metod foarte puternic, de msurare a fidelitii (nu estimare)
probleme:
o este posibil doar la acele teste unde exist forme echivalente
o efort foarte mare pentru autor s genereze forme echivalente
o echivalena nu este niciodat perfect
se raporteaz:
o rab, coeficientul de corelaie ntre seturile de date obinute cu Forma A i Forma B

Fidelitatea: Split-half
metod mai slab, de estimare a fidelitii (nu msurare)
metoda:
o se mparte testul in 2 subteste, eantionnd itemii si
o eantionarea poate fi fcut ori aleatoriu, ori dup o regul, de obicei itemi pari vs. impari
se raporteaz:
o rxy, coeficientul de corelaie ntre cele 2 subteste, de obicei rpar-impar

Fidelitatea: Consisten intern

metod mai slab, de estimare a fidelitii (nu msurare)
cea mai popular metod de raportare a fidelitii
o coeficientul Alpha, (Lee Cronbach)
o coeficienii KR 20 i KR 21 (Kuder & Richardson)
o coeficienii Lambda (1-6) ai lui Guttman, 3 este similar cu Alpha-Cronbach
metoda:
o multivariat
o se raporteaz media deviaiilor fiecrui item de la valoarea medie, la deviaia scorului total
se raporteaz:
o / x /KR20/KR21=[0.00-1.00]
o praguri (Bernstein & Nunnaly): .70 / .90

Fidelitatea unor metode de evaluare diferite

n aceast evaluare de obicei metodele sunt mprite n calitative vs. cantitative
o observaie: acord interevaluatori, de obicei pe acelai behavioral sample, = .05 - .25

2
 o interviu: acord interevaluatori, = .05 - .50
o test/chestionar: toate metodele discutate, = .50 - .90

Cum variaz fidelitatea testelor? De obicei fidelitatea unui test crete odat cu numrul de itemi.
Spearman-Brown prophecy (demonstraia clasic, Guilford, 1954): true variance increases more rapidly than
error variance, rnn = n x rtt / (1+ (n-1) rtt )

Alte forme de fidelitate (metode calitative): Fidelitatea estimrilor pentru mai muli evaluatori (reliability ratings
across judges): acord inter-evaluator.
ICC: Intraclass Correlation Coefficient

Corecia pentru (lipsa de) fidelitate:

o correction for attenuation
o regression dilution
o disattenuation
rxy(corr) = rxy / sqrt (rxx * ryy)

n concluzie:
fidelitatea se poate msura sau estima
metodele de msurare sunt mai puternice dect cele de estimare
indicele de fidelitate e cuprins ntre 0 i 1
operam cu praguri de .70 i de .90 pentru fidelitate, atunci cnd o aplicm unor probleme de msurare
ns fidelitatea nu are un sens direct n msurare
o dac ne ntoarcem la ecuaia din CTT (Observed score = True score + Error), cum este
relaionat fidelitatea cu Error Term?
o prin intermediul conceptului de Standard Error of Measurement

SEM (Standard Error of Measurement): Eroarea de msurare standard (se) se calculeaz potrivit formulei, unde
se = eroarea de msurare standard, sx = abaterea standard, r tt = coeficientul de fidelitate.

se = sx (1- alpha)

Atunci cnd n locul fidelitii consisten intern se folosete fidelitatea test-retest, msura se numete
SEP: Standard Error of Prediction.

Intervalul de ncredere de 90% (+ - SEM) = intervalul n care pic scorul real al subiectului, cu o probabilitate
de 90%.

3
SEM: Exemplu
Scala staninelor are o medie de 5 i o abatere standard de 1.96
Fidelitatea unui test este rtt= .70 se = 1.96 (1- .70) = 1.07
Scala QI are media de 100 i abaterea standard de 15
Fidelitatea unui teste este rtt= .95 se = 3.35

SEM: la ce ne folosete?
Estimarea erorii de msurare: la fideliti sub .70, se crete foarte mult i scala nu mai poate fi utilizat
pentru decizii majore. La fideliti de peste .90, se scade la un nivel la care putem spune c se poate
lucra coerent cu scala.
Probleme de comparaie: a scorului unui individ cu scorul altui individ i a scorului unui individ cu un
prag.
Test de inteligen: cu 90% confidence interval pentru rtt=.50, .70 si .95

Concluzie: Fidelitatea este considerata o condiie a validitii.

VALIDITATEA
Concepia actual despre validitate spune c aceasta reprezint un corpus complex i integrat de demonstraii i
cunotine tiinifice care examineaz variabilele psihologice msurate de test (AERA, APA, NCME, 2014). Aceste
demonstraii ne parvin ntr-o varietate de forme, iar nelegerea validitii unui test necesit examinarea lor
atent. Forme de validitate este o formulare depit.
Validitatea este conceptul central pe care se bazeaz msurarea psihologica, att n cazul aptitudinilor
ct i al personalitii.
Ea ne permite formularea de aseriuni privind gradul de dezvoltare al unei caracteristici care ne
intereseaz sau emiterea de predicii n ceea ce privete comportamentul viitor al persoanei evaluate.

Validitatea: Surse de validitate

Validitate de coninut (content validity):
o construct validity (verificare a operaionalizrii)
o face validity
o translation validity

4
 Validitate de criteriu (criterion-related validity)
o validitate predictiv (predictive validity): prezice ce ar trebuie s prezic
o validitate concurent (concurrent validity): distinge ntre grupuri ntre care ar trebui s disting
o validitate convergent (convergent validity): coreleaz cu alte operaionalizri ale conceptului
(sau msuri ale acestuia)
o validitate discriminant/divergent (discriminant/divergent validity): operaionalizarea
difereniaz fa de alte concepte similare.

n linii generale, validitatea exprim gradul n care un test msoar ceea ce i propune s msoare. La
aceast calitate se mai poate aduga i o alta, dac testul poate fi utilizat n luarea unor decizii corecte. Cu alte
cuvinte, dac noi cunoatem performanele unei persoane la un test (predictor), ct de precis vom putea estima
ce performane profesionale va obine?
Validitatea poate fi definit n termeni operaionali ca o corelaie dintre predictor i criteriu (de ex.
performanele profesionale ale unui eantion de indivizi). Rezultatul este cunoscut ca un coeficient de validitate.
Un test poate avea mai muli coeficieni de validitate, n funcie de numrul de dimensiuni profesionale (calitatea
muncii, disciplina, categoria profesional etc.) care coreleaz cu el.

Validitatea de coninut / construct pune probleme legate de gradul n care dimensiunile msurate sunt cu
adevrat relevante pentru conceptul pe care se concentreaz testul.
o construct underrepresentation: dac sunt prezente toate dimensiunile relevante (dac nu s-au
pierdut unele care trebuiau s fie);
o construct irrelevance: dac nu sunt prezente dimensiuni nerelevante (care contribuie la eroare,
dpdv al constructului evaluat)

Concluzie preliminara:
o pune problema construciei (= de construct) corecte a predictorului nostru (testul):
o ai acoperit complet i corect aria empirica a conceptului?
(1) Ai dimensiuni strine de concept?
(2) i lipsesc dimensiuni importante care in de fapt de concept?
(3) Felul n care dimensiunile se agreg corespunde felului n care teoria prescrie agregarea lor?
Metoda:
o (1) & (2) se trateaz prin recurs la teorie i se probeaz validitatea de construct demonstrnd
c n testul-int conceptul respectiv este tratat aa cum o teorie sau model anume prescrie
o (3) se trateaz empiric & statistic:
analiza factorial exploratorie (EFA), care reproduce coerent ce zice teoria (de ex.
extrage numrul corect de factori, itemii au tiparul corect de saturaii)
analiza factorial exploratorie (EFA), cu rotaie Procrustes
analiza factorial confirmatorie (CFA): goodness of fit measures

5
 Se raporteaz: text, nu exist un coeficient de validitate de construct.
Trebuie pstrat balana ntre: validitatea pentru o sarcin specific i validitatea principial legat de
constructul focal. Validitatea de construct se judec ntotdeauna teoretic, prin apel la teoriile care
marcheaz teritoriul tiinific respectiv.

Validitatea de criteriu: un indicator al faptului c testul poate fi utilizat ca predictor pentru un anumit
comportament (criteriu). Ca urmare a existenei acestui tip de validitate putem spune, dac testul are un scor
mare, c X e probabil i cnd testul are scor mic, c X este improbabil (sau X e probabil). Validitatea de criteriu
spune ce predicii sunt valide deci cum se interpreteaz scorurile testului. De principiu este corelaional la
nivel comportamental, ns se admit i alte indicii, de exemplu experimentale sau de comparaie inter-grupuri.
Cere un ct mai voluminos corp de cunotine despre felul n care se comport o anumita scal sau test:
o n relaie cu anumite criterii
o n anumite situaii (ar putea fi generalizabil, n funcie de explicaia teoretic oferit)
o pe anumite eantioane (ar putea fi generalizabil, n funcie de explicaia teoretic oferit)
Metoda:
o date continue: corelaie ntre criteriu i predictor (validitate predictiva), se raporteaz drept
coeficient de validitate r
o grupuri contrastante sau puternic contrastante (validitate concurenta)
high vs low scorers pe predictor coincid cu high vs. low scorers pe criteriu
se raporteaz testul T, al semnificaiei diferenei ntre doua medii (p<.01, p<.05, p<.001 etc.)
o alte metode, inovative, cum ar fi de ex. metode de grupare (analiza de cluster, analiza factorial de
tip Q)

Exemplu validare de criteriu: Scala Do din CPI (Do, Dominance) a fost dezvoltat iniial n cadrul unui
proiect de studiu al participrii politice (Gough, McClosky & Meehl, 1951) cu scopul explicit de a identifica indivizii
puternici, dominani, influeni, cu ascendent asupra celorlali i care preiau conducerea i i exercit autoritatea
(Megargee, 1972). Scala Do a fost construit prin compararea empiric a conceptului de dominan cu scorurile
obinute de ctre un numr de subieci pe baza unui set de itemi, construit special n acest scop. Gough, McClosky
& Meehl (1951) au construit un set de itemi care putea descrie o persoan dominant i au selectat din acesta,
pe baza unui procedeu experimental-comparativ, itemii. Procedeul este numit peer nomination i const, n
forma sa clasic, din aceea c, ntr-un eantion de subieci care sunt familiarizai unul cu altul (de exemplu o clas
de elevi, un grup de munc), persoanele care compun eantionul sunt rugate s-i numeasc pe aceia dintre ei
care se potrivesc cel mai bine cu un anumit criteriu. Ulterior, acestor persoane selectate li se aplic un set de
itemi sau un chestionar i pe baza analizei statistice sunt reinui itemii care au putere de discriminare.

Validitatea predictiv: cea mai puternic, dar i cea mai rar. Se bazeaz pe studii longitudinale, care prezic
evoluii sau comportamente pentru populaii largi, pe perioade de timp relativ lungi.

6
Validitatea divergent: este important mai ales n acele condiii n care conceptul-int este foarte apropiat de
alte concepte. Exemplu:
test de depresie: exist comorbiditate ntre depresie i anxietate. Ar trebui s demonstrm nu doar c
testul nostru difereniaz depresivi de nondepresivi, ci i c nu coreleaz cu teste de anxietate i c
difereniaz mai bine ntre high i low scorers de depresie dect ntre high i low scorers de anxietate.

Validitatea de aspect: o modalitate (greit) de a infera validitatea de criteriu (sau validitate n general) este
bazat pe itemii scalei sau pe natura problemei.

Validitatea trebuie judecat att general ct i situaional:

general:
o un test (measurement) care nu a fost validat nu ar trebui utilizat
o poate nu au fost culese date de validare exact n situaia care m intereseaz, dar faptul c ele
exist, m face s am mai mult ncredere
o exemplu: un test de persuasiune a fost validat n contextul unui studiu experimental (elevi care
trebuiau s conving clasa s acioneze ntr-un anumit fel) poate fi utilizat pentru a evalua ageni
de vnzri?
Situaional:
o dac a fost validat pe situaii similare cu cea la care e folosit
o dac e util (uneori e evident).

Validitatea metodelor se refer mai degrab la msurtori specifice (de ex. teste specifice). Mai specific
chiar, vorbim de validitatea scorurilor (adic a informaiilor obinute). Totui se vorbete despre faptul c unele
metode sunt mai valide dect sunt altele. Cum se poate evalua validitatea unei metode? Evident, prin prisma
potenialului su de a genera informaie valid (pentru validitatea de criteriu).

Validitatea metodelor ca funcie a ntinderii: numrul de itemi (de instane comportamentale care sunt
eantionate) determin validitatea, nu doar fidelitatea testului; de aceea un test mai lung (sau interviu mai lung)
este mai valid (presupunnd c este bine construit). innd orice alt variabil constant, testele mai lungi sunt
mai valide.

7
Validitate 2.0
Aplicaii mai avansate ale conceptului

Validitatea incremental
Conceptul de validitate incremental (model)

Validitate vs. Validitate incremental: tratament statistic

Regresie ierarhic n pai (blocuri)

Validitatea diferenial: differential validity, differential prediction, adverse impact (n selectie), test bias (n
dezvoltarea de teste). Validitatea diferenial: problema se pune diferit n funcie de domeniu:

8
o Muncii/organizaional:
n ce msura putem utiliza pentru a fundamenta decizii de personal, un test la care anumite categorii
de personal obin n mod sistematic scoruri mai mici dect altele
o Clinic:
n ce msura putem utiliza, pentru decizii diagnostice, un test la care anumite categorii demografice
obin n mod sistematic scoruri mai mici dect altele

Validitatea diferenial: detectare prin

o comparaii de scoruri medii pe grupuri int: WRONG!
o metoda Cleary:
o comparaia dreptelor de regresie pentru grupurile vizate
o gradul n care performana prezis coincide cu performana efectiv unor grupuri distincte, atunci
cnd predicia se face pe o dreapt de regresie comun

9
Evaluarea psihologic este de cele mai multe ori realizat:
MONO-SURS: cu informaii provenind dntr-o singur surs (subiectul nsui)
MONO-TRSTUR: cu evaluarea unei singure trsturi notabile, de ex. inteligena
MONO-EVALUATOR: cu informaii oferite de un singur evaluator, de cele mai multe ori subiectul
nsui, sau un ef direct, sau un intervievator

10
 MONO-METOD: cu informaii provenind dintr-o singur metod, de exemplu doar un test sau
doar un interviu
MONO-TEMPORAL: cu informaii obinute la un singur moment n timp
MULTITRAIT: evaluarea mai multor trsturi care sunt predictori pentru criteriul urmrit
MULTISOURCE: extragerea de date din mai multe surse, adic din mai multe medii relaionate cu
trsturile intite (coal, familie, munca, viaa cotidian etc.)
MULTIRATER: culegerea de date de la mai muli evaluatori (persoana nsi, eful direct, colegi,
membri ai familiei etc.)
MULTIMETHOD: obinerea de date prin mai multe metode
MULTIPLE MOMENTS IN TIME: obinerea de date la mai multe momente n timp

Multi-Informants: persoana evaluat, alte persoane, ali observatori ntr-un regim 180/360 gr (peers,
supervisors, direct reports, customers / teachers, caregivers, parents, tutors)
Multi-Methods: calitativ vs. cantitativ (obiectiv/standardizat) teste psihologice, interviu, observaie (n
I/O de obicei indus: role play, presentation, business task, group exercise etc., n clinica de obicei
naturala).
Multi-Measures: mai multe tipuri de teste, mai multe tipuri de interviuri, mai multe tipuri de observaii

Validitate = "corectitudine". Validity is the approximate truth of an inference / claim.

(Shadish, Cook & Campbell, 2002)
Probleme de metodologie: validitatea unui design ... poate designul s mi demonstreze ce vreau
eu s demonstrez?
Probleme de logic: validitatea unei concluzii (inferene) ... se poate trage aceast concluzie din
datele mele?
Cnd este un enun tiinific adevrat? ... problem a filosofiei tiinei
Corespondena: corespondena cu lumea nconjurtoare
Coerena: coerena fa de alte elemente ale unei teorii acceptate
Pragmatism: utilitate n recunoaterea adevrului acelui enun

Internal validity: a generat cu adevrat stimulul experimental schimbarea n cazul specific studiat?
External validity: la ce populaii, contexte sau variabile poate fi generalizat efectul stabilit?
o populaion validity (reprezentativ pentru populaie?)
o ecological validity (reprezentativ pentru context?)
Alt tipologie (Cook & Campbell, 1979):
statistical conclusion validity: appropriate use of statistics
internal validity: inference of causality
construct validity: generalizare ctre construct
external validity: generalizare ctre populaii

11
Despre cauzalitate
Exemplul unui foc n pdure (Shadish, Cook & Campbell): chibritul aprins este cauza? material uscat, aflat pe jos,
condiii atmosferice etc.
Inus condition (J. L. Mackie, 1917-1981): an insufficient but nonredundant part of an unnecessary but
sufficient condition.
Insufficient: cci fr restul condiiilor nu face nimic;
nonredundant: adaug ceva n plus fa de restul condiiilor;
sufficient condition: este suficient s ai toate aceste condiii pentru a putea declana un foc;
unnecessary condition: nu este necesara neaprat aa, exista i alte constelaii care ar putea genera un
foc.

Majoritate cauzelor nu sunt decat inus conditions. Relaiile cauzale nu sunt principial deterministe, ci ridic doar
problema probabilitii ca un fenomen s se manifeste (ca un anumit efect s apar). Toate relaiile cauzale sunt
dependente de context, iar generalizarea efectelor experimentale este o problem.

The counterfactual model (David Hume). Comparm:

o ceea ce s-a ntmplat n prezena (datorit) stimulului cu ceea ce se crede c s-ar fi ntmplat n
absena stimulului
o efectul este diferena dintre cele dou
o raionamentul de acest tip este fundamental calitativ
o necesitatea pentru counterfactual reasoning provine din faptul c e imposibil pentru grupul-int
s primeasc i s nu primeasc tratamentul (expunerea la stimul)
o Exemplu: PKU = phenylketonuria, afeciune metabolic genetic, genereaz retard mental dac nu
e tratat n primele sptmni de via

Relaia cauzal (John Stuart Mill):

1. cauza preced efectul
2. cauza este relaionat cu efectul
3. nu putem gsi alt explicaie plauzibil pentru efect, alta dect cauza

n experiment manipulm o variabil i:

o vedem c dup manipulare apare un efect,
o vedem c exist o relaie ntre manipulare i efect, i
o vedem dac exist alte explicaii plauzibile pentru acel efect (i ncercm s le izolm).

Corelaia nu este cauzalitate:

o corelaia nu este dect condiia 2 din cauzalitate, nu presupune i condiiile 1 i 3
o relaii simetrice vs. asimetrice

12
 o symmetric relationships: doua variabile pot fi corelate, fr s existe o relaie de cauzalitate.
o asymmetric relationships: exist cauzalitate i ea poate fi dedus.

n modelul medical, cele 2 forme de validitate sunt adresate n studii diferite:

efficacy: studii n contexte experimentale (in vitro) pacieni selectai ntr-un anumit fel (de ex.
criterii de incluziune care presupun absena unei alte afeciuni). Ideal = noiseless study.
effectiveness: studii n contexte naturaliste (in vivo) pacienii au n mod frecvent mai multe
afeciuni. n special n tiinele educaionale ecological validity: dac studiul reine sau captureaz
experienele normale, cotidiene, ale profesorului, elevului, clasei.

Threats to validity: ameninri la adresa unui tip de validitate. Existena unor variabile care influeneaz
rezultatul, fr s ne dm seama c acest lucru se ntmpl: extraneous variables.

Tipuri de variabile
o independente
o dependente
o moderating variables
o mediating variables
o intervening variables (uneori moderatoare/mediatoare)
o variabile confundate (confounded / lurking)

Variabile moderatoare: parte din lanul cauzal, dar nu obligatoriu. Lanul se desfoar i n absena lor, dar au
un efect puternic asupra relaiei, modificnd intensitatea sau manifestrile ei. Exemple: buffer vs. amplifier (i
buffer vs. attenuator).

Variabile mediatoare: parte din lanul cauzal.

Variabilele de intervenie NU sunt n mod obligatoriu variabile confundate: recunoaterea lor i controlul lor n
design le fac s nu mai fie confundate.

Variabile confundate: variabile care sunt explicative dar pe care le ignorm din lips de gndire critic.

Ameninrile la validitatea:
intern: ne compromit ncrederea n afirmaiile privind existena unei relaii
extern: ne compromit ncrederea n generalizarea rezultatelor i ctre alte grupuri, variabile sau
contexte

13
Threats to internal validity
Istoric (History)
o a avut loc vreun eveniment deosebit n timpul studiului, care ar fi putut s influeneze rezultatul?
o n mod special o problem n studii cross-secionale sau n studii experimentale fr grup de control
(de ex. one-group pre-posttest design). Poate fi o problem i n studii cu perioade scurte de timp
Maturizare (Maturation)
o atunci cnd modificrile pot fi datorate trecerii timpului (recuperare, dezvoltare, evoluii diverse)
o este o problem chiar i n studiile experimentale cu grup experimental i grup de control
o oare participanii se matureaz n acelai ritm?
o poate fi o problem i n studii cu perioade scurte de timp (de ex. oboseala)
Evaluarea (Testing)
o efectele pretestului asupra rezultatelor posttestului
o pretestul poate sensibiliza participanii la o problem
o pretestul devine tratament, sau interaciunea pretest x tratament
o ameninare n designurile cu pre- i post-test, designurile longitudinale sau n designurile diary
sau repeated-measure
Instrumentarea (Instrumentation)
o felul n care este instrumentat studiul, n mod special modificrile n msurare
o modificri n instrument, observatori, modaliti de scorare
Statistical regression (Regression towards the mean)
o tendina scorurilor extreme de a regresa ctre medie
o atunci cnd participanii la studiu sunt selectai din grupuri extreme (de ex. diagnostice extreme),
scorurile subsecvente au o ansa mai mare s regreseze ctre medie dect departe de medie
o fenomenul ine de fidelitatea testului, de ex: participanii cu scoruri extrem de joase au increment
mai mare n urma tratamentului dect cei cu scoruri medii sau mari
Selecia participanilor (Selection of participants)
o cum au fost selectai participanii? problem n special n auto-selecie i snowball sampling
o dac participanii sunt mprii n grupuri, sunt grupurile echivalente? Randomizarea nu rezolv
toate probleme de echivalen.
o problem n two-group design
Mortalitate (Experimental mortality)
o numrul participanilor care au disprut din grupul sau grupurile utilizate n cercetare. Mortalitate
nseamn i renunare (drop-out)
o problem n designurile cu un singur grup sau cu mai multe grupuri
Contaminarea designului (Design contamination)
o John Henry effect / Hawthorne effect
o cunoaterea de ctre participani a grupului din care fac parte (experimental sau de control):
participanii ncearc s confirme sau infirme sistematic o concluzie.

14
Threats to external validity
Efectul interaciunii dintre testare x tratament (Interaction effect of testing)
o evaluarea din pretest d indicii participanilor privind felul n care e dezirabil s reacioneze la
tratament
o acest lucru nu s-ar ntmpla n viaa real, unde nu ar exista pretest
o deci efectul experimental, chiar dac e stabilit, nu se poate generaliza la populaie
Efectul interaciunii dintre selecie x tratament (Interaction effect of selection)
o selecia participanilor face ca grupul s nu fie reprezentativ pentru populaie
o chiar dac exist un efect experimental, el nu se poate generaliza la populaie, unde clasele sunt
eterogene n abiliti matematice
Efecte reactive fa de design (Reactive effects)
o Hawthorne effect (also referred to as the observer effect) is a type of reactivity in which individuals
modify an aspect of their behavior in response to their awareness of being observed
o efect negeneralizabil n viaa real cnd manipulm condiiile de munc
Interferena tratamentelor multiple (Multiple treatment interference)
o efectul tratamentelor ulterioare nu poate fi difereniat de efectul prelungit al primului tratament
o problem n experimentele cu tratament multiplu i n designurile cu expunere prelungit la stimul.

15
Eantionarea
Cattell (1966) a propus un model sintetic Cubul de covariaii (The Covariation Chart):
o un exemplu didactic, care s ndemne cercettorii la o gndire multidimensional atunci cnd i
planific designurile
o s ilustreze istoric modalitile i naterea unor noi modele i tehnici de analiz factorial (cum ar fi
tehnicile P, O, S i T).
o The Covariation Chart const din trei dimensiuni, numite i moduri: subieci, variabile, ocazii.
o Aceste trei moduri formeaz un cub, o cutie, numit i cutia cu date (data box), ce are pe
fiecare latur o serie de dou din aceste trei moduri.
o Conform lui Cattell (1966), aceast concepie sintetic privind relaiile dintre moduri sugereaz
valoroase forme de cercetare care altfel ar putea fi ignorate.

Multiway Analysis

16
 Perechea R-Q
o Tehnica R, care este cel mai des folosit, ia n considerare date culese cu aceeai ocazie (modul
constant), de la mai muli subieci (modul replicat), pe care le analizeaz din punctul de vedere al
variabilelor implicate (modul factorizat).
o Tehnica Q, care este perechea sa, dei are acelai mod constant (date culese cu aceeai ocazie),
consider date ce se refer la mai multe variabile (modul replicat) i le analizeaz din punctul de
vedere al subiecilor de la care au fost culese (modul factorizat). Matricea de date folosit n tehnica
Q va avea deci subieci pe coloane i variabilele pe linii, exact invers dect are matricea de date din
R.

Perechea O-P: Tehnica O i tehnica P sunt opuse una alteia, fiind ambele ideale pentru studiile de caz
o Tehnica O folosete date culese de la acelai subiect, privitoare la mai multe variabile, ncercnd s
deceleze diferene i similariti ntre diferitele ocazii la care respectivele date s-au manifestat.
Tehnica O ncearc s identifice similariti ntre comportamentele n diferite ocazii ale aceluiai
subiect. Jones, Thompson & Miller (1980) au dorit s exemplifice pe ct posibil modelele didactice
/ pedagogice aflate la dispoziia profesorilor din Statele Unite. Au fost alese 16 modele didactice
diferite (ocazii), care au fost evaluate din punctul de vedere a 33 de indicatori (variabile) de
ctre un numr de 142 de subieci, fiecare din ei avnd de evaluat 5-6 din cele 16 modele. Subiecii
n ansamblu au fost considerai ca fiind entitate evaluatoare (deci subiectul din designul
factorial). Analiza factorial a relevat trei meta-modele pedagogice, care stau astzi la baza
nvmntului pre-universitar din Statele Unite.
o Tehnica P, pe de alt parte, culege date tot de la un singur subiect, dar ncearc s deceleze ce
variabile s-au manifestat n diferite ocazii / evenimente. Tehnica P este precursorul acelor designuri
de cercetare numite astzi single-subject design. Este n mod deosebit util n analiza proceselor
psihoterapeutice (Mintz & Luborski, 1970). Mintz & Luborski (1970) au selectat 60 de sesiuni diferite
de terapie individual (ocazii, deci), ale aceluiai subiect. Acestea au fost evaluate de trei
evaluatori diferii, pe 18 scale, fiecare reprezentnd o variabil diferit. Analiza factorial a relevat
c cele 18 variabile se grupeaz n patru factori, care descriu relaia ntre pacient i terapeut (cei
patru factori fiind cu mare probabilitate specifici doar pentru respectiva relaie). Din cei patru
factori, doi corelau n mod semnificativ cu rezultatele terapiei.

Perechea S-T: tehnicile S i T nu sunt folosite practic niciodat, pentru c generalizarea pe care ele ar putea-
o ncerca ar fi limitat doar la o singur variabil. Am putea specula c lipsa de folosire a tehnicilor S i T s-ar
putea datora faptului c analiza factorial, ca metod de analiz, tinde n principal spre a releva diferene
individuale. Diferenele individuale sunt nelese de psihologie ca fiind variabile, deci un design n care
variabila s fie modul constant este greu de conceput.

17
Populaie, populaie-int, eantion
Populaie int (target populaion): populaie de referin, toate cazurile care respect anumite
specificaii
Eantion (sample): reprezint o proporie (o parte) din populaia de referin, un subset de elemente
extras din populaia general, care respect caracteristicile de baza ale populaiei.

Tipuri de eantionare i reprezentativitate:

Dac populaia este destul de mic nct s o msurm pe toat: recensmnt (census research)
Dac populaia este prea mare, eantionam, dar dorim s generalizam la nivelul populaiei
Reprezentativitatea este condiia pentru care eantionarea funcioneaz.
o Probability sampling: eantioane reprezentative
o Nonprobability samples: eantioane non-reprezentative

Pai n eantionare
Populaion definition = definirea populaiei
Sampling frame = stabilirea cadrului de eantionare
Sampling method = stabilirea metodei de eantionare
Sample size = determinarea mrimii eantionului
Sampling & data collection = implementarea planului i culegerea datelor
Review = compararea eantionului cu inteniile, pentru a evalua generalizabilitatea

Definirea populaiei
definim populaia ctre care dorim s generalizm rezultatele studiului
stabilim criterii de incluziune / excluziune

Cadrul de eantionare = este o definiie operaional a populaiei definite pentru studiu, adic spune n clar de
unde lum participanii: liste electorale, registrul colar, cartea de telefon, de pe strad, din gospodrii.

Sampling method
1. Probability Sampling
A. Aleatorie simpla
B. Eantionare sistematica (aleatorie)
C. Eantionare stratificata
D. Cluster Sampling
2. Nonprobability Sampling
A. Quota Sampling
B. Purposive sampling
C. Accidental/Convenience Sampling

18
1A. Simple Random Sampling (SRS)
Fiecare membru are o ans egal de a fi extras
Avantaje: minimizeaz erorile, interpretare facil
Dezavantaje: un eantion care nu reflect structura populaiei de referin
Random selection: no bias involved in the selection of the sample

1B. Systematic Random Sampling

Procedura:
o Pasul de eantionare: k=N/n
o Ex: 21623849/2000 = 10811
o Se va alege un numr la ntmplare ntre 1 i 10811 (s zicem 233) i ulterior se va selecta fiecare al
10811-lea membru din populaie.
Avantaje:
o Uurina aplicrii metodei ex: posesia de automobile lux n populaia persoanelor cu venituri peste
1000 Euro lunar.
o Potenial cretere a eficacitii statistice (aceasta va fi cel puin la fel de eficient ca n cazul SRS)
Dezavantaje: poate fi extras un eantion omogen i nereprezentativ .

1C. Eantionare stratificat

Procedura: stabilirea unor sub-grupe (populaii) n funcie de anumite criterii mutual exclusive. Criteriile
ar trebui s fie relaionate sau relevante pentru modelul de cercetare. Ulterior se va aplica una din
tehnicile de eantionare mentionate anterior (ex: SRS sau Eantionarea Sistematica)
Avantaje:
o asigur faptul c diferitele sub-grupuri sunt reprezentate adecvat n structura i volumul
eantionului;
o asigur un grad ridicat de control asupra eantionului minimiznd erorile;
o creterea preciziei analizelor statistice;
o poate facilita realizarea unor analize mai detaliate.

19
 Dezavantaje:
o costuri ridicate sub aspect material
o durata cercetrii
o irelevana criteriului de stratificare (ex: trsturi de personalitate i IQ) pot fi generate grupuri
irelevante
Alocare proporional: straturile unui eantion pot fi orice fel de variabile, ns de obicei sunt
considerate variabile demografice (gen, vrst, mediu de provenien).
N total = 15000, n funcie de criteriul posesia de cri 4 grupe (n1=6000, n2=4200,
n3=3300, n4=1500)
Volumul eantionului = 750 participani
Sampling fraction = 750/15000=0.05
Ex: n1 6000 X 0.05 = 300, n4 1500 X 0.05 = 75
o Stratificarea univariat a unei populaii (Gen)
o Stratificarea bivariat a unei populaii (Gen x Vrst)
o Stratificarea trivariat a unei populaii (Gen x Vrst x Mediu, %)
o Stratificarea trivariat a unei populaii (Gen x Vrst x Mediu, N)
Alocarea disproporionat surse de eroare la nivelul analizelor statistice

1D. Cluster Sampling: eantionare n clustere

Procedura: n loc s fie eantionate elemente individuale, se vor eantiona grupuri de elemente (ex:
evaluarea anxietii de testare la elevii din clasa a IX a la nivel naional, nu se vor selecta elevi din cadrul
fiecrui liceu, ci se vor selecta licee)
Avantaje: costuri reduse (materiale, timp, evaluatori)

2A. Quota Sampling: eantionare pe cote

Principiu: cercettorul stabilete n mod deliberat proporiile pe care le au diferitele grupuri (straturi) din
eantion. De obicei supra-reprezint anumite straturi astfel nct s se asigure c sunt totui reprezentate.
Uneori sub-reprezint anumite straturi, pentru a nu irosi resurse.

2B. Purposive sampling: eantionare pe obiectiv

Principiu: un subset non-reprezentativ al populaiei, care servete unui scop anume (ex: manageri de resurse
umane, nu cunoatem populaia, nu o putem specifica, deci vom include orice manager de resurse umane
care ne st la dispoziie, dar i vom cuta n mod activ)

20
 Snowball sampling = este un tip de purposive sampling

2C. Accidental/Convenience Sampling: eantionare de convenien

Principiu: includem orice participant este la ndemn, de ex. voluntari, sau o ntreaga clasa etc.
Exemplu
o Parametrul de interes (proporia total a oamenilor care l favorizeaz pe un politician)
o Din eantion (n) este necesar s se afle proporia de oameni care l favorizeaz (p)
o Datorita erorilor parametrul nu va niciodat egal cu p
o Diferena dintre parametru i p = SAMPLING ERROR

Teorema limitei centrale: pe msura ce crete volumul eantionului, distribuia mediilor eantionate tinde
s se apropie de curba normal. Adic, cu ct crete n, cu att scade eroarea de eantionare.

POWER ANALYSIS
Sample size: de ce avem nevoie de eantion mai mare? Pentru c avem ateptri privind creterea fidelitii
n rezultate i tim c bigger is better. ns de fapt noi avem nevoie de un eantion adecvat pentru scopul
cercetrii, pentru respingerea sau nu (cu suficient corectitudine) a ipotezei nule.

21
 significance = 1 - alpha
power = 1 - beta

Type I errors vs. Type II errors raport beta vs. alpha: 4:1 ratio (alpha = .05 i beta = .20, power = .80)

p i dependenta lui de N: la un eantion suficient de mare, orice corelaie poate fi semnificativ.

Dar noi tim c semnificaia nu e totul - puterea efectului este i ea important. De ex. la r = .10, efectul este de
R2 = .01 (1%). Dar asta nseamn c la eantioane mari o s acceptam drept corect (o s detectm) un efect care
nu exista de fapt

Concluzia: doar pentru ca eantionul este foarte mare, eu detectez drept corect (semnificativ statistic) un
efect inexistent (effect size mic). Aceasta e Eroarea de Tip I: = un fals pozitiv, cnd spunem c exist efect, dar el
nu exist. Cu ct e mai mic alpha (p), cu att e mai mic ansa pentru un astfel de fals pozitiv. Deci ne apram
(printre altele) de Eroarea de Tip I lucrnd cu praguri de probabilitate severe.

Dac avem un alpha=.05 i o limit de r=.30 semnificativ (de ex., N = 30 i atunci este sig doar ce e peste .30),
efectul minim care poate fi pus n evidenta este R2 = .09 !

Cum punem n eviden efecte mai fine? Aadar, dac vreau s pun n eviden efecte mici, fine, am nevoie de
un anumit tip de eantion, cu un N suficient de mare nct s am semnificaie statistica i la r-uri mici. Altfel risc
s nu pot detecta un efect nici chiar atunci cnd el exist. Acesta este o Eroare de Tip II, probabilitatea de avea o
eroare de tip 2 se bazeaz pe un indice numit beta, care mi spune dac e posibil s nu fi detectat un efect real
(fals negativ).
1-beta = puterea = ct de sigur pot fi c nu am ratat un efect existent.

Ambele erori (tip 1 i tip 2) sunt erori greite (misdecision). Teoretic, cnd cresc pe una, scad pe alta, i pentru ca
ambele s fie optime, e nevoie de un echilibru foarte fin ntre:
o N
o alpha
o beta
o effect size

Erori i erori ... dar care din cele doua erori (I i II) e mai rea? E mai ru s zicem c ceva exist i s nu existe (Tip
I). Dac nu detectm un efect real (Tip II), nu e mare problem. Mai ncercm i mai ncercm i dac efectul e
real, pn la urm iese, mai ales la numrul mare de studii care se fac astzi.

22
Aadar e mai rea eroarea de Tip I. De principiu e mai bine s ignori un adevr dect s crezi o greeal. De aceea
se consider c Type 1 e mai grav dect Type 2. Se consider c raportul de 'gravitate' dintre cele dou este de
1:4, deci de obicei echilibrul dintre alpha i beta este de 1:4. Asta nseamn c pentru un alpha .05 avem un beta
de .20, deci un significance de 1-alpha = .95 i un power de 1-beta = .80. Totui, la studii de eficacitate e posibil
s vrem s micorm beta i s mrim puterea.

Analiza apriori:
o tim la ce effect size s ne ateptm (sau facem un educated guess)
o tim cu ce alpha operm
o tim cu ce beta operm
o cerem s ni se calculeze N-ul optim
o analiza apriori nu ne scutete ns de analiza real a studiului nostru real, dup ce avem datele.

Dup ce avem datele tim exact, facem analiza post-hoc:

o ce effect size avem
o ce alpha avem la acel effect size
o ct e N
o deci putem calcula puterea reala a studiului nostru (1-beta).

Sampling error(s): Standard Error of Sampling (SES) = (1/sqrt(N))*100

+/- SES ne da abaterea fa de proportiile populaiei i e valabil pentru frecvene simple (distribuii
univariate).

Standard Error of Proportion: SEP = sqrt((p(1-p)/N))

Dac p reprezint o estimare perfect a parametrului, atunci Standard error of proportion = 0
+/- SEP ne d intervalul de ncredere al proporiilor estimate.
de ex. pentru un eantion de N=200 i un parametru estimat de 25% (0.25, adic 1 din 4 participani rspund
da la o ntrebare), SEP = sqrt(.25*.75/200)=.03 adic 3%, deci parametrul real este ntre 22-28%.

European Federation of Psychologists Associations (EFPA, 2006)

Dimensiunea esantioanelor normative ale testelor

23
 Validare de construct, convergenta, criterion related, precum i estimarea fidelitii

Levels of measurement & Levels of analysis

Este CRITIC s stabilim corect cadrele de msurare i de analiz
o Nivelul de msurare: tipul de variabila unde se face msurarea
o Nivelul de analiz: tipul de variabil unde se face analiza datelor

Cele 2 niveluri nu trebuie niciodat amestecate (cel puin nu pentru statisticile care ne sunt accesibile la acest
moment). Cnd se amestec avem Multi-Level Modeling.

24
Ipoteze
Omul de tiin ca actor obiectiv: aceasta preconcepie este o eroare (mit). Dac omul de tiin adun
date fr discriminare, nu ajungem la un avans n tiin. tiina este inferenial, deci datele trebuie adunate
intit, pentru a putea face inferenele dorite sau pentru a demonstra c ele nu sunt posibile.
Ce ateptm de la un cercettor: nu detaare rece i imparial, ci pasiune pentru temele care i sunt
dragi, dar i scepticism sntos, circumspecie. Sunt cu att mai sceptic i mai circumspect fa de anumite lucruri
cu ct a vrea mai mult s le cred.
Investigaia tiinific este ghidat de inteniile cercettorului care se concretizeaz n probleme de
cercetare, ntrebri de cercetare, ipoteze. Cercetarea ncepe cu o problem, de obicei n format interogativ,
neformalizat (oare ce se ntmpl dac ...?), trateaz o problem din viaa cotidian (semnificaie).
Exprimare formal: parte din gndirea critic este formalizarea problemei. Problema ar trebui s
exprime relaia dintre dou sau mai multe variabile.
Ipoteza (informal): exprimare n variabile
o Crete performana studenilor dac acordm recompense financiare?
o Care este relaia dintre performana studenilor i recompensele financiare?
dar mai e un nivel: recompensa reala sau anticiparea recompensei?, mecanisme cognitive sau afective?, alte
variabile, e.g. mrimea recompensei, certitudinea recompensei?
Ipoteza (formal):
o Dac anunm acordarea de recompense financiare la nceputul semestrului, performana
studenilor de-a lungul semestrului crete;
o Cu ct recompensa anunat este mai mare, cu att modificarea performanei studenilor va fi mai
mare.
Formalizarea problemei/ipotezei ar trebui s exprime relaia dintre dou sau mai multe variabile.
Variabilele ar trebui s fie msurabile, definite operaional (dar i, pe ct posibil, conceptual) pentru a face
posibile inferenele i generalizarea. Relaia ar trebui s fie clar postulat, pentru a face posibil testarea relaiei,
cauzalitii sau covarianei, i s testeze existena unui efect i mrimea acestuia. Ar trebui s specifice cu
claritate populaia de referin.
Operaional vs. Conceptual. Distingem ntre:
variabile conceptuale (conectare cu restul tiinei)
variabile operaionale numite i definiii operaionale (cum poate fi concret observat sau msurata
entitatea)
Diferena: definiia operaional e mai ngust, dar mai concret.

A hypothesis is a tentative proposition suggested as a solution to a problem or as an explanation of

some phenomenon (Ary, Jacobs & Razavieh, 1984).

25
 A hypothesis relates theory to observation and observation to theory (Ary, Jacobs and Razavieh, 1984).
A hypothesis is a formal statement that presents the expected relationship between an independent
and a dependent variable (Creswell, 1994).
A hypothesis is a conjectural statement of the relation between two or more variables. (Kerlinger, 2000)
Hypotheses are relational propositions. (Kerlinger, 2000)

O ipotez, la nivel de formulare:

o trebuie s aib putere explicativ,
o trebuie s enune relaia dintre un set de variabile,
o trebuie s fie testabil (falsificabil)
o trebuie s fie conectat la stadiul actual al cunoaterii n domeniu
o ar trebui s fie exprimata ct mai simplu i concis cu putin
dar i la nivel de efecte:
o rezultatele trebuie s fie relevante dpdv. teoretic i
o rezultatele trebuie s aib semnificaie practic.

Ipoteza direcional specific direcia relaiei dintre dou sau mai multe variabile (e.g.: stresul
ocupaional induce emoii negative persistente).
Ipoteza non-direcional indic existena unei relaii ntre variabile dar nu specific direcia relaiei (e.g.:
stresul ocupaional i emoiile negative persistente sunt asociate).

Enunul formal i testabilitatea ipotezelor: enunul ipotezei i sugereaz i modalitatea de testare:

Dac motivaia este crescut, atunci i notele sunt crescute comparativ, neexclusiv (test t);
Cu ct crete motivaia, cu att cresc notele liniar, unidirecional (corelaie/regresie);
Motivaia are un impact pozitiv asupra notelor (cauzal, unidirecional, liniar sau comparativ);
Notele mari nu pot fi obinute dect n prezena motivaiei superioare (comparativ, cauzal exclusiv);
n condiiile unei motivaii superioare este posibil obinerea unor note mari (comparativ, cauzal
neexclusiv).

NICIODAT nu spunem c: ipoteza este verificat (s-a verificat), ipoteza este confirmat (s-a confirmat),
ipoteza este validat (s-a validat). SPUNEM C: datele ofer sprijin n favoarea ipotezei the data (offer)
support (for) the hypothesis; ipoteza este sprijinit de datele noastre the hypothesis is supported by our
data.
Modaliti de dezvoltare a ipotezelor:
Inductiv: de la particular (observaii) la general (teorie)
Deductiv: de la general (teorie) la particular (msurare)

26
Abductiv Charles Sanders Peirce (18391914): observaie ipoteza
All the beans from this bag are white.
These beans are white.
These beans are [probably] from this bag.
Raionament abductiv: raionamentul prin ipoteze este baza raionamentului tiinific.

Ipotezele sunt generate n funcie de literatur, problema de cercetare etc.

Aldous Huxley: [The idea of the working hypothesis is] one of the most important discoveries of modern
times, which has replaced the idea of dogma and doctrine.

27
 Ipotezele n cercetarea inductiv (exploratorie) vs. deductiv (confirmatorie).
Cercetare confirmatorie: deducie top-down Hypothesis (H1, H2, ...)
Cercetare exploratorie: inducie bottom-up Research Question (RQ1, RQ2, ...)

Theory base: ipoteza bun este consonant cu un corp teoretic i cu rezultatele cercetrilor din acel
cadru. Indiferent dac se ajunge la ipoteza n mod deductiv (top-down) sau inductiv (bottom-up), e nevoie s
avem la baz un argument tiinific solid. Baza teoretic ofer argumente, dar i ghideaz investigaia.
Ex.: ne nscriem n JD-R model H: Echilibrul dintre eustres i distres este influenat de ct de robust emoional
e o persoan.
Baza teoretic trebuie s poat explica i mecanismele:
Exemple:
Vocational Fit Counterproductive Work Behaviors (CWB)

Vulnerability-stress model n JI-personality-outcomes

28
 Zone de inspiraie pentru ntrebrile i ipotezele de cercetare:
o Noi tehnologii i felul n care se relaioneaz la practic
o Atitudine sceptic fa de un anumit rezultat tiinific
o Atitudine sceptic fa de status quo (n mod special dac ine de sim comun)
o Experiena personal
o Expandai relaiile deja demonstrate
o Direcia cauzalitii (+ efecte bijective, gain spiral etc.)
o Variabile tere
o Expandai graniele (generalizabilitate & validitate externa)
o Noi contexte
o Noi populaii
o LITERATURE GAPS

ntrebrile i ipotezele de cercetare bune identific ntotdeauna cu claritate limitele cercetrilor de pn

acum. Aceasta nseamn c trebuie s cunoti foarte bine cadrul teoretic, ce are sens s mai studiem n acel
cadru.
De la inspiraie la RQ/H prin teorie:
Idee
Brainstorming
Literature review (cutare activ)
Variabile & model
RQ/H

29
Construcia studiului:
Problem statement
Current state of science
Gaps in current state
We fill in the gaps! How?
First gap: detailed expl. of 2, 3 and 4 H1
Second gap: detailed expl. of 2, 3 and 4 H2

Raionament critic privind ntrebarea (problema) cercetrii:

Was the problem statement introduced promptly?
Is the problem stated clearly and unambiguously in declarative or research form?
Does the problem statement express a relationship between two or more variables or at least between
an independent and a dependent variable, implying empirical testing?
Does the problem statement specify the nature of the population being studied?
Has the problem been substantiated with adequate experiential and scientific background material?
Has the problem been placed within the context of an appropriate theoretical framework?
Has the significance of the problem been identified?
Have pragmatic issues, such as feasibility, been addressed?
Have the purpose, aims, or goals of the study been identified?

Raionament critic privind ipotezele:

Does the hypothesis directly relate to the research problem?
Is the hypothesis concisely stated in a declarative form?
Are the independent and dependent variables in the statement of the hypothesis?
Are the variables measurable or potentially measurable?
Is each of the hypotheses specific to one relationship so that each hypothesis can be either supported
or not supported?
Is the hypothesis stated in such a way that it is testable?
Is the hypothesis stated objectively, without value-laden words?
Is the direction of the relationship in each hypothesis clearly stated?
Is the theoretical rationale for the hypothesis explicit?
Are research questions appropriately used?

30
Designuri de cercetare
Research design = the plan and structure of the investigation, conceived so as to obtain answers to
research questions (Kerlinger, 2000). Designul de cercetare = n plan sistematic pentru a studia o problema
tiinific.

Planul i structura investigaiei:

schia pentru conceptualizarea structurii relaiilor ntre variabilele studiului,
explic relaiile studiului,
arat cum este controlat situaia de cercetare,
arat cum vor fi analizate datele.

Designul de cercetare:
Schema, schia de organizare a cercetrii (similara cu schia unui arhitect),
Traseaz ce trebuie s fac investigatorul,
Traseaz i ce NU trebuie s fac,
Cuprinde:
o research question
o hypotheses
o independent and dependent variables
o research procedure (incl. sampling)
o data collection methods
o statistical analysis plan

Dou mari scopuri ale unui design de cercetare:

s ofere rspunsuri la ntrebrile de cercetare;
s controleze variana.

1. Rspunsuri la ntrebrile de cercetare

Interaction effects
Exemplul 1 (Kerlinger, 2000): Studiem discriminarea de gen la admiterea n facultate:
Gen Admitere
Bazat pe cercetri anterioare ne ateptm ca femeile s fie admise mai greu (mai puin) dect brbaii.
Cum procedm?

31
ns: discriminarea poate fi un fenomen mai insidios, de ex. nu se manifest pentru toate femeile, ci doar pentru
cele cu abiliti slabe. Asta nseamn c avem nc o variabila independent: abilitatea.
Gen, Ability Admitere

Design factorial: 2 x 3
Gen = 2 (Masculin, Feminin)
Ability = 3 (Low, Average, High)
Gen, Ability Admitere

Relaiile evaluate sunt cte? Gen, Ability Admitere

3 tipuri de relaii: 2 directe i 1 efect de interaciune (Gen x Ability)

Exemplul 2. Studiem efectul IQ asupra performanei academice:

IQ + ??? GPA (?)

2. Controlul varianei
Research design = un set de instruciuni pentru cercettor pentru a culege i a analiza datele ntr-un anumit mod.
Deci este un mecanism de control (Research designs as variance control).

The Maxmincon Principle:

Maximize systematic variance
Control extraneous systematic variance
Minimize error variance
Maximize systematic variance

Experimental variance = variana care privete variabilele din design (independente, dependente, de intervenie).

Variana = inversul lui range restriction trebuie s facem eforturi pentru ca variabilele care pot fi
manipulate s aib modurile ct mai deprtate unul de altul (s aib varian).

32
 Kerlinger (2000): Design, plan and conduct research so that the experimental conditions are as different
as possible.

Range restriction

Evaluarea impactului unei intervenii educaionale n funcie de vrsta colarului: nu evalum 10 ani vs.
11 ani, ci evalum 8 ani vs. 16 ani.
Evaluarea impactului recompensei extrinseci asupra timpului depus la nvare: nu evalum 100 vs. 110
lei, ci evalum 10 vs. 200 lei.
Evaluarea legturii dintre stima de sine i aspiraiile vocaionale: nu evalum media stima de sine, ci
ncercm s extragem variana n stima de sine (i prin selecia eantionului vezi normal curve i prin
stabilirea populaiei de referin vezi diferene uman vs. real n self-esteem).

Control extraneous systematic variance: Variana sistematic datorat unor variabile externe este
variana rea, e n afara modelului nostru.

Exist patru modaliti de control al varianei externe modelului:

eliminare
randomizare
includere n model (incl. participant matching)
statistic

(1) Controlul varianei prin eliminare: pentru a elimina efectul unei variabile independente, transformm acea
variabil n constant (inducem range restriction / omogenitate). Exemplu: self-esteem performana
academica (cum controlm IQ-ul?, cum controlm genul?).

33
(2) Control varianei prin randomizare: controlm efectul tuturor posibilelor variabile independente:
selecia participanilor
alocarea pe grupuri
derularea tratamentelor

(3) Control varianei prin includere: pentru a elimina efectul unei variabile independente, includem acea variabil
n model. Controlm o variabil aflnd ct mai multe lucruri posibil despre efectul su asupra restului modelului
(de ex. interaciuni cu celelalte variabile)
(3b) Control prin matching: participant matching (caz special de includere a variabilei n design)
o grupuri experimentale/de control realizate n pereche, astfel nct fiecare participant dintr-un grup
are propria pereche n cellalt grup: matching pe gen, matching pe inteligen, matching pe gen x
inteligen x mediu de provenien

(4) Control statistic al varianei: metodele statistice sunt n esena lor forme de control, pentru c izoleaz i
cuantific variana. Dar este necesar s fie aplicate cu cap, pentru c controlul statistic nu poate fi fcut un
absena unui design corect. Statisticile se aplic pe principiile designului, pe ntrebarea cercetrii sau, pe date
culese n acel design.

Minimize error variance = erori de msurare ce provin din variaii ocazionale ale rspunsurilor n afara zonei n
care ele ar fi de fapt conform variabilei msurate: neatenie, oboseal, uitare, stri emoionale tranziente etc.
Exist doar dou modaliti de reducere a erorii de msurare:
prin controlul condiiilor,
prin creterea fidelitii msurilor (instrumentelor).

Tipuri de design
Designuri descriptive Scop = Descriere (observare, structurare, descriere)
Designuri corelaionale Scop = Predicie (ce se ntmpla cnd ...)
Designuri semi-experimentale Scop = Cauzalitate / Weak (din ce motiv se ntmpl)
Designuri experimentale Scop = Cauzalitate / Strong (din ce motiv se ntmpl)
Designuri de studii (studii de studii, sic!) Scop = Explicaie (Super-Strong)

1. Designuri Descriptive

1.A. Cercetarea naturalist. Metoda: observaie, nu se manipuleaz variabile.

o Scop: o privire de ansamblu asupra unui subiect, n lipsa unor studii anterioare
o inta: comportament natural, neafectat de msurare intit. nu putem msura prin metodele alese de
noi, trebuie s cuantificm ceea ce observm.

34
 o Ideal: cnd nu sunt deinute informaii anterioare despre subiect i cnd comportamentele ar fi
modificate prin observaie.
o Utilitate: utilitate n documentarea iniial a unor fenomene. Utilizarea ei trebuie argumentat prin lipsa
literaturii i concluziilor anterioare n domeniu. Documentarea este minim ghidat de presupoziii,
pentru c nu avem cunoatere anterioar despre fenomen; categoriile (dimensiunile etc.) sunt generate
post factum.
o Limite: nu permite inferene robuste, se limiteaz la descriere. Statistica este doar descriptiv.
o Domenii:
Psihologie social: studiul comportamentelor etice n cazul unor dezastre naturale.
Etnografie: Studiul ritualurilor i practicilor unei comuniti.
Psihologia religiei: Studiul practicilor religioase n populaia citadin.
Psihologia consumatorului: Studiul comportamentului de cumprare i consum al berii.

1.B. Studiul de caz

o Definiie: studiu intensiv (in-depth study) al unei situaii clar definite.
o Utilitate: testarea unor modele teoretice n practic, prin aplicarea la situaii cotidiene.
o Fundament (aspect critic): alegerea cazului, subiect + relevan, izolarea unui anumit caz (sau populaie,
sau entitate)
o Limite: nu este inferenial, nu este construit pe ipoteze, nu face apel la statistic dect foarte rar.
o Time frame: poate fi longitudinal, sau se poate referi la o perioada mai lung de timp, ns asta nu l face
design longitudinal!
o Exemple:
Studiul natalitii n rile Europei: tim c natalitatea a nceput s creasc, dar pentru a studia
fenomenul, extragem o singur ar i o analizm intensiv (inclusiv antecedente, reacii etc.)
Studiul comportamentului de sortare a deeurilor menajere n Romania: tim c este atipic,
comparativ cu Europa, dar nu tim de ce alegem o singur comunitate (sau familie) i studiem
intensiv fenomenul
o Concluzii: mai ghidat dect observaia naturalist, obligatoriu ghidat de o nelegere, orict de grosier,
a fenomenului (de ex. un set de categorii), permite o oarecare analiz statistic, dar analiza nu este
inferenial.

1.C. Sondajul (ancheta pe baza de sondaj)

o Utilitate: cercetare aplicat, cunoaterea opiniei despre ...
o Scop: descriptiv.
o Articulare: sondajul este mult mai articulat i dect observaia naturalist i dect studiul de caz. Pleac
de la un set de categorii pe care le investigheaz intit, la un eantion suficient de reprezentativ nct s
poat extrapola concluziile.

35
 o Exemple:
Studiul atitudinilor politice n Romania
Studiul percepiilor fa de monarhie
Studiul percepiilor fa de familie i natalitate
o Concluzii: foarte util n cazuri aplicate, deseori aceste cazuri sunt att de intite nct nu exist o
modalitate de a infera de la teorii mai generale la acele cazuri speciale.
o Limite: statistica utilizat e rudimentar (de obicei statistica descriptiv, cel mult inferene post-facto).

2. Designuri corelaionale

2.A. Case Control Design

o Utilizare: intensiv n zona medical, n psihologie, n principal n clinic/terapie, psihologia sntii etc.
o Principiu: comparm grupuri de pacieni care au o afeciune cu pacienii care nu au afeciunea (sau
simptomele). Sunt utilizate diverse metode pentru a extrage din istoricul pacienilor variabile relevante,
de ex. istoric medical, interviuri etc.
o Utilitate: situaii cnd inducerea fenomenului la un eantion nu poate fi realizat (non-etic, riscant etc.)
o Exemplu:
Studiul afeciunilor de laringe la operatorii de call-center: i identificm pe operatorii de call-center
care au afeciuni de laringe, pe cei care nu au, i lum istoric medical, comportamental etc., pentru
a compara cele 2 grupuri.
Studiul impactului pe care purtatul ctii de bicicleta l are asupra rnilor la cap n caz de accident.
Studiul remisiei spontane (auto-vindecrii) n cazuri de depresie (fenomenul a trecut, nu e
repetabil).
o Concluzie: un design robust care implic analiza statistic, permite inclusiv inferene slabe privind
cauzalitatea, foarte util n cazuri n care experimentul nu este posibil sau n cazuri n care fenomenul nu
este repetabil.

2.B. Longitudinal Design

o Principiu: studiu cu durata mai mare, cu offset n timp ntre culegerea diferitelor variabile (de obicei cel
puin ntre variabilele independente i variabila dependent). Posibil cu msurtori repetate (repeated
measures / time-series). Este posibil s se concentreze pe un numr mai mic de participani. Poate fi
confundat cu studiul de caz, dar diferena este c studiul longitudinal extrage informaii n mod activ, cu
scopul de a realiza statistici infereniale (pe cnd studiul de caz este descriptiv).
o Exemplu:
Studiul efectelor vremii asupra satisfaciei cu munca
Studiul efectelor atitudinii fa de coal asupra performantelor colare
Studiul efectelor evenimentelor de la locul de munca asupra performantei contextuale (OCB &
CWB)

36
 o Concluzie: design foarte puternic, poate surprinde cauzalitate, poate surprinde evoluie. Dificil de
realizat, costuri mari / resurse multe. Variabila principal e timpul.

2.B. Cohort Study Design

o Definiie: studiu longitudinal design n care un grup cu o anumita trstur (cohorta) este investigat
pe o perioad mai lung de timp. Trstura definitorie este de obicei definit criterial (grupul are o
anumit afeciune, sau a primit un anumit tratament sau este ntr-un fel anume at risk etc.)
o Tipic: este mai intruziv dect Case Control Design, pentru c face msurri intite (nu doar istoric) pe
participani.
o Exist totui i Retrospective Cohort Design. Utilizarea cohortei, adic a unui volum semnificativ din
populaie, face chiar i atunci investigaia mai valid.
o Exemple:
Studiul efectelor nvatului asupra picatului la examen. Retrospective cohort study: toi studenii
care au picat, privii retrospectiv (dar investigaia face apel totui la msurtori realizate acum, de
ex. chestionar de atitudine, de comportament).
Studiul efectelor fumatului asupra cancerului. Prospective cohort study: toi fumtorii fr cancer
de plmni, pe care i urmrim i le lum istoricul medical, ca s vedem ci i mai ales care dezvolt
afeciunea.
Studiul efectelor educaiei digitale asupra achiziiilor academice. Prospective cohort study: Toi
copiii aflai acum n clasa 0, studiai pentru 12 ani.
Studiul dependenei de munc asupra depresiei. Retrospective: persoane deprimate investigarea
ultimilor 4 ani de via pentru a detecta impactul workaholismului asupra afeciunii. Prospective:
screening identificare workaholici urmrire timp de N ani.
o Concluzie: studiu localizat cohorta este omogen, este posibil s aib un anumit istoric comun (i
diferit de cel al altor cohorte) acestea sunt variabile tipice pentru aceasta cohort i negeneralizabile
(de ex. impactul crizei economice asupra comportamentului antreprenorial al tinerilor absolveni).
Studiul longitudinal cere timp mult, resurse. Studiul intit nu se pescuiete (ca n cazul observaiei
naturaliste), ci se extrag informaii n mod intit, conform unei structuri teoretice. Permite statistici mai
complicate.

2.C. Cross-Sectional Design

o Principiu: variabile corelate ntr-un snapshot n timp (acelai sau aprox. acelai moment n timp), deci
fr offset n timp ntre predictori i criterii. Dar nu putem s ne asigurm c statusul unei variabile la
momentul culegerii (acum) este acelai cu statusul aceleiai variabile n urm cu ceva timp (de ex. nainte
de apariia unui fenomen sau simptom). Deci utilizm variabile relativ stabile, facem aseriuni privind
co-incidena (covariaia) unor fenomene, nu despre cauzalitate. Nu presupune mprire pe grupuri
(control, experimental), cci nu se manipuleaz variabile.

37
 o Exemple:
Studiul legturii dintre personalitate i stres
Studiul legturii dintre abiliti cognitive i performana academic
o Panel Design: time series cross-sectional (caz special de cross-sectional design) combin cross-
sectional cu longitudinal: realizeaz studii cross-sectionale pe aceiai oameni n mai multe momente n
timp. Cazuri speciale de Panel Design (cross-lagged design).
Job demands-resources JD-R model
Job satisfaction vs. Life satisfaction
Job insecurity Employability Well-being Turnover (!)
o Concluzie:
cel mai des ntlnit tip de design;
are probleme majore n determinarea cauzalitii;
dar este simplu de realizat, nu necesit multe resurse;
poate fi fcut mai sofisticat prin combinarea cu abordarea longitudinal;
permite mult sofisticare statistic.

3. Designuri cvasi-experimentale

3.A. Quasi-experiment
o Principiu: arat ca un design experimental, dar i lipsete unul sau mai multe din urmtoarele lucruri:
RANDOMIZAREA att n selectarea participanilor, ct i n alocarea pe grupuri de tratament, sau
existena unui grup de control. Restul cercetrii se desfoar ca la un experiment clasic.
o Utilitate: cnd dorim s fim ct mai puin disruptivi cu putin. Se aseamn un pic cu studiul naturalist.
Spre deosebire de studiile cross-sectionale, se manipuleaz variabile (exist treatment).
o Exemple:
Studiul relaiei dintre o intervenie educaional (nou curs) i performanta colar (GPA): nu dorim
s disrupem clasa, alocarea nu e randomizat ci n funcie de actuala aezare n bnci.
Studiul relaiei dintre o intervenie terapeutic i creterea calitii vieii: realizm trickle sampling,
pe toi pacienii care vin la clinic.
o Concluzie: cel mai des ntlnit tip de design care seamn cu cel experimental. Deseori confundat cu cel
experimental (pentru c exist grupuri i exist tratament). Nu exist randomizare (alocare
randomizat). Este util pentru detecia cauzalitii, ns nu controleaz toate variabilele.

3.A. Field experiment (Caz special de quasi-experiment) experiment n teren

o nu controleaz perfect variabilele, aa cum o face experimentul n laborator. De ex., dac participanii
nu trebuie s bea alcool, nu exist nici o modalitate n care s ne asigurm de asta. De asemenea, nu
aloc randomizat pe grupuri (cci trebuie s fie minim disruptiv), dar exist tratament i de obicei
msurare pre- i post-tratament.

38
4. Designuri Experimentale

5. Designuri de Studii
Trec n revista i evalueaz stadiul cunoaterii ntr-un domeniu:
n mod calitativ i prtinitor (literature review);
n mod calitativ i neprtinitor (systematic review);
n mod cantitativ i neprtinitor (meta-analysis).

A. Literature review: trecerea n revist a literaturii referitoare la o ipoteza, de obicei grefat de selection bias,
este o analiz calitativ.

B. Systematic review: criterii de incluziune severe, analiz realizat independent de mai muli evaluatori, analiz
calitativ.

C. Meta-analysis: criterii de incluziune severe, repere analitice clare (explicite, repetabile, consacrate), analiz
cantitativ; ponderare numeric a rezultatelor de la studii multiple.

Concluzie: Designurile merg de la slabe la puternice, dar puine sunt perfecte.

Weak
Descriptive
Corelaionale
Cvasi-experimentale
Experimentale
Meta-analitice
Strong

39
Metode de msurare
o Utilitatea metodelor:
Screening vs. comprehensive
Calitativ vs. Cantitativ
Tipuri de instrumente: Self-assessment vs. altele
Norm-referenced vs. Criterion-referenced: necesitatea normelor

Cum msurm variabilele?

o Fidelitate, validitate
o Utilitate
o Eficien (ating toate obiectivele)
o Parcimonie (fr s arunc cu resurse)

Utilitatea
Utilitatea are i sens financiar. Utility n psihologia aplicat (n special n I/O) este cel mai puternic
indicator al unei metode de msurare. Spune dac mai degrab ieim pe plus sau pe minus din
aplicarea unei metode.
Face apel la principiul validitii incrementale:
Fiecare metod n plus contribuie cu varian mai puin i mai puin i mai puin
Fiecare procent de varian prezis se reflect n ctig financiar, iar asta e cuantificabil
Cunoatem costurile pentru fiecare test
Momentul cnd costul per test este mai mare dect ctigul per test este momentul cnd utilitatea
testului este sub zero

Screening vs. comprehensive

o Comprehensive assessment: evaluare complet, cea mai bun evaluare posibil de realizat
o Golden Standards, e.g. Conners-3 pentru ADHD, Wechsler (e.g. WISC-IV) pentru inteligen, ADOS
pentru autism
o Screening: quick and dirty

Quantitative vs. qualitative

o Nu sunt de fapt toate metodele observaionale?
o Calitativ: mai la ndemna uneori, ns ...
o Observaia limitri: frecvena comportamentelor, reactivitatea, observer bias

40
 o Interviul limitri: onestitatea, interpretarea ntrebrilor, self-observer bias, utilizarea pe anumite
populaii, de ex. copii
o ns noi avem nevoie de MSURARE chiar n evaluare calitativa (de ex. observaie): cantitativizare pe
timp sau pe frecven etc. Exemplu: BASC-2 SOS (Student Observation System)

Exemplu: BASC-SOS

41
Tipuri de instrumente (measures):
autoevaluare (self-report)
heteroevaluare (ratings by others)
msuri obiective (objective measures)
msuri de laborator (laboratory measures)

Auto-evaluare (Self-report) 2 limite majore:

response bias = subiectivitate (dar other-report e la fel de subiectiv), impression management
common method variance = efect statistic de inflatare a corelaiilor n studiile care se bazeaz exclusive
pe self-report

Distorsiuni n autoevaluare (Response bias)

distorsiune intenionat
o factori care in de instrument: comportamente dezirabile social i comportamente sensibile
o factori care in de administrare: presiune situaional
o factori care in de persoana evaluat: sensibilitate pe anumite dimensiuni i self-disclosure
distorsiune neintenionat
o auto-amgire (crede despre sine lucruri ne-reale)
o necunoaterea realitii (nu cunoate realitatea)
o rspunsuri top of mind (rspunsuri negndite)

Common Method Variance = variance that is attributable to the measurement method rather than to the
construct of interest. The term method refers to the form of measurement at different levels of abstraction, such
as the content of specific items, scale type, response format, and the general context (Fiske, 1982, pp. 8184). At
a more abstract level, method effects might be interpreted in terms of response biases such as halo effects, social
desirability, acquiescence, leniency effects, or yea- and nay-saying. (p. 426)

Subiectivitate vs. lupta pentru msurare obiectiv n self-report: ascunderea inteniilor n msurare. De
exemplu, utilizarea de indicatori comportamentali (verificabili) mai degrab dect indicatori psihologici (emoii,
cogniii), ns studiile arat c distorsiunea nu scade n aceste condiii. Totui, exist studii care arat c
declararea inteniilor crete de fapt (n anumite situaii) fidelitatea i validitatea msurrii:
n msurarea personalitii
n studii de marketing (discuiile despre domeniu ofer un fel de priming)

Subiectivitatea nu este chiar att de invalid uneori: Self-Assessed Intelligence (Furnham, 2001)

42
Other-report: ce pot s evalueze alte persoane despre aspectele psihologice ale unei persoane focale (focal
person) dispoziii (caracteristici) i comportamente.

Msurarea de dispoziii prin other-report: chestionarele clasice de personalitate au i ntrebri care se refera la
emoii i cogniii. Soluia: liste de adjective, e.g. Adjective Check-List (Gough & Heilbrun, 1983), Big Five Adjectives
(Caprara, Barbaranelli, & Steca, 2002), Big Five Adjectives

Msurarea de comportamente prin other-report. Exemplu: Conners-3 (Conners, 2008, 2013) este standardul de
aur pentru msurarea ADHD i este un sistem multi-evaluator (Self, Teacher, Parent).

Msuri obiective:
aptitudini matematice
aptitudini de citire
inteligena general
creativitatea
nelegerea verbal
teste colare
deprinderi motrice
Teste obiective au rspunsuri corecte i greite. Scorul = numrul de rspunsuri corecte sau o variaiune pe
aceasta tem

Msuri de laborator (Laboratory measures)

Physiological measures
o diverse metode de imagistic (e.g., EEG/electroencefalograma, MRI/magnetic resonance imaging)
o msuri biochimice (e.g., cantitatea de neurotransmitori)
o activitatea sistemului nervos periferic (e.g., tensiune muscular).

43
 Response measures
o frecvena rspunsurilor (e.g., numrul de cuvinte reamintite, numrul de stimuli identificai corect)
o timp de reacie n sarcina (sau latent n reacie)

Norm-referenced vs. Criterion-referenced

Msurtori raportate la criteriu
o obiective
o mult utilizate n domeniul clinic
o dar nu uitai c i criteriile sunt de fapt stabilite subiectiv
Msurtori raportate la norm
o relativitate n felul n care se stabilesc cut-off-uri

Exemplu de msuri raportate la criteriu:

PTSD (Post-Traumatic Stress Disorder)
DSM 5: Trauma- and Stressor-Related Disorders
Posttraumatic Stress Disorder: Diagnostic Criteria: 309.81 (F43.10)
Criterii:
A. Exposure
B. Presence of intrusion symptoms
C. Avoidance of stimuli
D. Alterations in cognitions and mood
E. Alterations in arousal and reactivity

Cum ar trebui s arate un test de PTSD? Evident, ntreab explicit despre fiecare criteriu. Cum se scoreaz o
persoana ca pozitiv la acest test? Evident, pe baza regulilor enunate de DSM.
Life Event Checklist (Blake, Weathers, Nagy, Kaloupek, Charney, & Keane, 1995)

44
Instrumente raportate la norm: marea majoritate a instrumentelor psihologice. Considerm o trstur
psihologic (e.g. un comportament, o atitudine, o dispoziie) ca fiind mai accentuate sau mai puin accentuate n
funcie de cum se prezint ea n populaie.

Tipuri de scoruri standardizate:

Scoruri bazate pe transformri liniare, e.g. z, T, IQ, stanine, STEN
Scoruri bazate pe volume, e.g. centile, decile, cvartile etc.

Transformri liniare
o Scoruri bazate pe transformri liniare, e.g. z, T, IQ, stanine, STEN
o Utilizabile n cercetare fr probleme i pentru statistici
o Nu este necesara standardizarea: dau EXACT acelai rezultat ca i scorurile brute
o Se recomand cu putere standardizarea n cteva condiii mai speciale, pentru centrare (centrarea
variabilelor) de ex. n regresie, cnd sunt combinate mai multe eantioane difereniate ntre ele
o Atenie la transformrile liniare aplicate unor distribuii non-liniare, de ex. pentru testele clinice, unde
distribuia este de obicei puternic asimetric

Centile
Scoruri bazate pe volume, e.g. centile, decile, cvartile etc.
Utilizabile n cercetare, doar pentru criterii de incluziune/excluziune, pentru generarea grupurilor etc
NICIODAT PENTRU STATISTICI !!!

45
Cum identificm instrumentele adecvate?
Fundament
Autor
Teorie
Generare
Adaptare
Normare
Dovezi empirice
Dovezi privind validitatea
Dovezi contextuale
Materialele testrii: manualul testului, alte materiale
Referine n compendii

Exemplu de raionament: Despre autorul testului

o e nevoie s fie psiholog sau psihometrician
o e nevoie s fie specialist n domeniul respectiv
o e nevoie s aib pedigree: recunoatere n zona universitar, sau de construcie de test

Obligaie n raportarea cercetrii: referine complete despre instrument.

The ITC Statement on the Use of Tests and Other Assessment Instruments for Research Purposes
o Permission to use tests in research
o Permission for (re)printing
o Modification of the test or its components
o Ethical test use
o Documentation
o Conflicts of interest
o Spread of research editions into professional practice

46
Designuri specifice psihologiei
Designuri tipice pentru psihoterapie / psihologie clinic
Designuri tipice pentru psihologia sntii (incl. ocupaionale)
Designuri tipice pentru psihologia educaiei
Designuri tipice pentru psihologia muncii i organizaional

DESIGNURI TIPICE PENTRU PSIHOTERAPIE / PSIHOLOGIE CLINIC

No-Treatment Comparison Design
Placebo (common/nonspecific factors) comparison design
Component control (dismantling) comparison design
Additive (constructive) comparison designs
Catalytic design
Parametric design
Comparative designs

No-Treatment Comparison Design: design experimental, 2 grupuri, pretest & post-test

o Comparm modificarea provocat de intervenia terapeutic i modificarea care survine n absena
interveniei;
o Utilitate: intervenii noi, care nu au nc validitate empiric, dar care (cf. argumentelor teoretice) ar
trebui s funcioneze;
o Problema etic: treatment denial, obligaie din partea cercettorului ca dup experiment s ofere
tratament;
o Waiting list control group: a group of participants who are denied the experimental treatment, but are
aware that they are not receiving treatment. [] Wait-list groups really are not untreated because they
are contacted, consented, randomized, diagnosed, and measured. (Gallin & Ognibene, 2012). Se
rezolv problema doar parial: momentul interveniei poate face diferena (intervenie complete i
oportun, e.g. depresie cronic, pacieni post-traum, pacieni suicidali);
o Avantaje: design simplu, n mod special eficient pentru controlul unor ameninri precum istoric,
maturare. Rezult n mod potenial n efecte mari inter-grup, deci necesit eantioane mai mici, aadar
are costuri reduse;
o Dezavantaje: ethics (delaying treatment). Problema de selecie: dac waiting-list group este format doar
din pacieni care au consimit s atepte tratamentul. Chiar simplitatea designului este un dezavantaj:
exist foarte puin plus de cunoatere care poate fi derivate din acest design. E puin probabil ca
tratamentul s aib efect mai slab dect no-treatment, dar chiar dac are efect, ce anume parte a
tratamentului a generat efectul?

47
Placebo (common/nonspecific factors) comparison design
o Placebo: conglomerat de factori non-specifici (comuni), care duc la modificare (de obicei
recuperare/vindecare)
o Placebo comparison design: design n care grupul experimental (cu tratament experimental) este
comparat cu un grup placebo (cu tratament, dar tratament non-specific);
o n psihoterapie este dificil de imaginat un tratament care s fie non-specific
o Factori comuni tuturor colilor de terapie (Frank, 1971; cf. Behar & Borkovec, 2003): relaia
terapeutic, context de facilitare (a tririlor emoionale), existena unui terapeut care ofer o
conceptualizare a problemei i o rut credibil pentru intervenie, tehnici specifice implementate;
o Un tratament placebo n terapie este aadar, prin analogie cu placebo-urile din experimentele
farmacologice, intervenie comun (non-specific), care este comparat cu o intervenie specific
(tratament experimental);
o Avantaje: permite extragerea unor concluzii specifice despre faptul c "ceva anume" din
tratamentul experimental genereaz modificrile, dar n continuare nu tim ce anume este acel
"ceva anume". Totui, pune n eviden existena unui mecanism cauzal, dar nu demonstreaz care
e mecanismul cauzal i nu permite studiul remanenei.
o Dezavantaje: experimentatorii (persoanele care ofer "tratamentele") nu sunt "naivi". Astfel se
poate ajunge la condiii diferite ntre cele 2 grupuri, care afecteaz validitatea intern; pentru a
controla asta e nevoie de inventarea unor factori comuni (non-specifici) care sunt credibili i pentru
participant, i pentru terapeui. n continuare exist presiuni etice: se ofer unui grup un tratament
despre care exist motive ntemeiate s credem c nu este la fel de eficient precum cel
experimental.

Component control (dismantling) comparison design: design comparativ (experimental vs. control).
o identific elemente cauzale specifice: grupuri diferite primesc doar componente specific ale
tratamentului Treatment = componentele A + B;
o Decompoziia (dismantling) pe grupuri experimentale: un grup primete tratamentul A, un grup
primete tratamentul B, un grup primete tratamentul A+B, eventual un grup de control de tip
waiting-list). n acest fel putem stabili dac A+B este superior fiecrui element n parte, dac exist
sinergie A+B (combined effect).
o Avantaje:
pot fi investigate toate componentele unei intervenii terapeutice
pot fi lsate deoparte componentele care nu au efect
nu ridic probleme etice att de mari ca celelalte designuri: nici unui participant nu i se
refuz tratament i nici un participant nu primete tratament despre care tim c e
ineficient (la nceputul interveniei nici noi nu tim care componente sunt eficiente i care
nu).

48
 o Dezavantaje:
nu toate interveniile pot fi descompuse
interveniile complexe duc la decompoziii complexe, cu multe grupuri, deci la designuri
potenial costisitoare.

Additive (constructive) comparison designs: similar din multe puncte de vedere cu designul descompus
o sunt prezentate la grupuri diferite buci din intervenie
o avantaje: util atunci cnd dorim s adugam noi componente peste o intervenie deja consacrat
sau atunci cnd designul descompus nu este viabil, pentru ca intervenia nu e descompus cu
uurin.

Catalytic design: ncearc s dea rspuns la ntrebarea privind efectele combinate ale componentelor unei
intervenii, efectele datorate ordinii de prezentare a componentelor unei intervenii: "ce anume catalizeaz
efectul"?
Intervenie cu componentele A+B
o Grup 1: A preced B n toate tratamentele
o Grup 2: B preced A n toate tratamentele
la modul ideal: nc 2 grupuri
o Grup 3: placebo preced B n toate tratamentele
o Grup 4: placebo preced A n toate tratamentele

Parametric design: dup ce a fost stabilit cu claritate care anume e intervenia corect (ce componente sunt
eficiente), putem investiga dac variaii ale parametrilor cu care sunt livrate componentele fac vreo diferen.
o Important: ntre condiii trebuie s varieze doar parametrii (de dorit un singur parametru pe
condiie). Aceasta duce direct la un design factorial; de ex. pentru 2 variabile x 3 parametrii
investigai vom avea 6 grupuri experimentale.

Comparative designs: design n care se compar dou tratamente, de obicei:

psihoterapia X vs. psihofarmacologie
psihoterapia X vs. psihoterapia Y
psihoterapia Z (nou dezvoltata) vs. TAU (treatment as usual, intervenia consacrat)
o Designul comparative este criticat:
nu ofer rspunsuri la ntrebarea "de ce" o intervenie e mai eficient dect alta, ci doar
constat diferena
nu spune nici ce anume ntre cele 2 tratamente genereaz diferena
deci are o problema de validitate extern

49
Cteva alte aspecte importante n designurile de cercetare n terapie:
o Random assignment in waves
o Session parameters
o Therapy manuals
o Integrity and adherence checks (20-25% din sesiuni)
o Client/participant characteristics
o Severity and duration of the problem
o Concurrent and past treatment

DESIGNURI TIPICE PENTRU PSIHOLOGIA SNTII (INCL. OCUPAIONALE)

Studii epidemiologice ale riscului psihosocial;
Studii privind asocierile sistematice ntre factori de risc psihosocial i afeciuni medicale (disease),
personalitate, stres, emoii, caracteristici ale mediului social. n absena unei covariaii empirice de acest
fel, nu avem despre ce discuta n psihologia sntii.

Exist 2 tipuri de studii epidemiologice n OHP:

o studii care examineaz caracteristicile psihologice care ar putea duce la dezvoltarea unei afeciuni;
o studii care examineaz caracteristicile psihologice n legtur cu evoluia unei afeciuni deja
existente.

Studiile epidemiologice:
o se fac prin designuri cross-secionale, de obicei simple, uneori: case control cross-sectional design
(comparare de populaie medical cu populaie general)
o problema major, tipic pentru aceste studii este evaluarea criteriului:
health
self-report
illness behavior (ce fac oamenii cnd au o afeciune: physical symptoms / related behavior, e.g.
visit to doctor)
actual illness
o variabile confundate (clasice):
initial health status
health behavior (msurare n componente sau msurare global)
efectul combinat al unor variabile (e.g. individual differences & work context)
multilevel approach (risk factor pentru mortalitate: SES individual, SES al cartierului de
reziden).

50
Studii privind intervenii de nivel primar-secundar-teriar

Exemple de intervenii I-II-III la nivel individual:

Primar: material de informare privind sportul i afeciunile cardiace
Secundar: screening i consiliere comportamental pentru hipertensiune (uoar)
Teriar: managementul stresului pentru persoanele cu afeciuni cardiace

Studii privind adjunctive interventions: interveniile adjuvante, adic intervenii psihologice cuplate cu
procedurile medicale clasice, de ex. n psihologia sntii:
intervenii pentru reducerea distresului sau anxietii nainte sau dup intervenii chirurgicale
intervenii privind controlul durerii/dizabilitii
intervenii pentru creterea aderentei la componentele comportamentale ale tratamentului (medicaie,
fizioterapie etc)

Niveluri de intervenie:
o Individual: comportamentul meu individual
o Grup: comportamentul unor grupuri (prini de adolesceni, pacieni cu cancer, alcoolici)
o Organizaie: comportamentul n organizaie (educaie pentru prevenia accidentelor, programe n
organizaie pentru renunarea la fumat)
o Comunitate: comportamentul n comunitate (accesul persoanelor cu dizabiliti, screening i sprijin
privind afeciuni de dezvoltare n cartierul X)
o Instituii: comportamentul naiunii (politici naionale privind de ex. avantaj n asigurare n condiiile
renunrii la fumat, legi care interzic fumatul etc.)

n loc de concluzie
o Psihologia clinica/terapie: ne d standarde n studiul interveniilor;
o Psihologia sntii: ne d standarde n studiul epidemiologic;
o Psihologia muncii/organizaional: ne d standarde n studiul modelelor.

51