M.

Popa 2014
A. Ce este meta-analiza?
B. Obiectivele meta-analizei
C. Etapele procesului de meta-analiz
D. Puncte tari ale meta-analizei
E. Puncte slabe ale meta-analizei
F. Resurse
G. ntrebri recapitulative
Referine bibliografice
3/4/2014 2
numeroase studii
numeroase teme de cercetare
aceeai tem este abordat de mai muli autori:
n condiii diferite
pe populaii diferite
Rezultatele pot fi variate (concordante sau discordante)
care este adevrul?
cum se poate trage o concluzie din analiza rezultatelor mai
multor studii?
Soluii pentru sinteza lucrrilor tiinifice:
Narativ (tradiional) sistematic review
Statistic (ncepnd din deceniul 9, sec. XX)
3/4/2014 3
R. A. Fisher (1890-1962) a dezvoltat o procedur de combinare a probabilitilor mai multor
teste ale ipotezelor
K. Pearson, 1904, a combinat rezultatele mai multor studii medicale
3/4/2014 4
Revoluia meta-analitic a nceput spre sf. dec. 8 (sec. XX)
G. Glass, 1976 propune termenul de meta-analiz
Smith & Glass (1977) au analizat rezultatele a peste 300 de studii cu privire la efectele psihoterapiei
psihoterapiei
3/4/2014 5
Jacob Cohen
1923-1998
A pus bazele meta-analizei
prin calcularea indicilor de
mrime a efectului
Meta-analiza integreaz rezultatele mai multor studii care trateaz acelai subiect, pentru a
descoperi modelele simple ale relaiilor evideniate n aceste cercetri, ca baz pentru
dezvoltarea teoriilor psihologice.
3/4/2014 6
Meta-analiza se refer la analiza analizelor analiza statistic a unei largi
colecii de rezultate obinute n studii individuale, cu scopul de a integra
concluziile acestora.
Este o alternativ riguroas la analiza cauzal, narativ, a studiilor de cercetare,
care susine efortul de a da un sens expansiunii rapide a cercetrii tiinifice
Glass, G. (1976). Primary, secondary and meta-analysis of research, p.3
Meta- analiza este utilizat pentru a estima valoarea adevrat a mrimii efectului
la nivelul populaiei, prin combinarea mrimii efectelor observate n diverse studii
Field, A. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects
methods. Psychological Methods, 6(2), 161-180.
Schmidt, F. L., & Hunter, J. E. (2003, p. 533):
Abordarea statistic tradiional:
testarea ipotezelor i decizia cu privire la H0
nu este potrivit integrrii rezultatelor din studii diferite
Semnificaia statistic depinde de N (care este diferit de la studiu la studiu)
Admiterea H0 nu are aceeai greutate ca respingerea H0
statistic semnificativ este o concluzie puternic
statistic nesemnificativ este o concluzie slab
Meta-analiza
orientat cu precdere pe mrimea efectului
directia i magnitudinea mrimii efectului n studii dedicate aceluiai subiect
3/4/2014 7
3/4/2014 8
(Kanfer & Kantrowitz, 2002)
3/4/2014 9
Mrimea efectului
Eroarea standard
Intervalul de ncredere
Dispersia
Ipoteza de nul
3/4/2014 10
ntrebri la care meta-analiza ncearc s ofere rspuns:
Care este mrimea medie a efectului n studiile analizate?
Este efectul respectiv statistic semnificativ? ( dei acest aspect nu
este neaprat important)
Care sunt limitele intervalului de ncredere pentru efectul mediu?
Distribuia efectelor individuale este omogen sau neomogen?
dac rezultatele nu difer n urma artefactelor studiilor n mai mare msur
dect este de ateptat, ele sunt considerate a fi omogene (Hox, 1995)
Exist influene moderatoare asupra efectului? (variaz acesta n
funcie de valorile altor variabile?)
3/4/2014 11
1) Alegerea temei cercetrii
2) Gsirea studiilor
3) Alegerea studiilor
4) Calcularea indicelui de mrime a efectului
5) Efectuarea meta-analizei
6) Raportarea rezultatelor meta-analizei
3/4/2014 12
O meta-analiz se efectueaz:
pe teme de interes larg printre cercettori
pentru perioade de timp care nu au mai
fost acoperite de mate-analize
Spring (2007): ntrebarea fundamental
P population
I intervention
C comparison
O outcome
Exemplu: Compararea eficienei (O)
nvrii online (I) cu nvarea tradiional
(C), la elevii de liceu (P), Means, B., Toyama, Y.,
Murphy, R., Bakia, M., & Jones, K. (2010)
3/4/2014 13
(Kanfer & Kantrowitz, 2002)
EXEMPLE DE META-ANALIZE N PSIHOLOGIE
Amato, P. R., & Keith, B. (1991). Parental divorce and the well-being of children: A meta-analysis
. Psychological Bulletin, 110, 26-46. Times Cited: 471
Linn, M. C., & Petersen, A. C. (1985). Emergence and characterization of sex differences in
spatial ability: A meta-analysis . Child Development, 56, 1479-1498. Times Cited: 570
Johnson, D. W., & et al (1981). Effects of cooperative, competitive, and individualistic goal
structures on achievement: A meta-analysis . Psychological Bulletin, 89, 47-62. Times Cited: 426
Tett, R. P., Jackson, D. N., & Rothstein, M. (1991). Personality measures as predictors of job
performance: A meta-analytic review . Personnel Psychology, 44, 703-742 Times Cited: 387
Hyde, J. S., & Linn, M. C. (1988). Gender differences in verbal ability: A meta-analysis .
Psychological Bulletin, 104, 53-69. Times Cited: 316
Iaffaldano, M. T., & Muchinsky, P. M. (1985). Job satisfaction and job performance: A meta-
analysis . Psychological Bulletin, 97, 251-273. Times Cited: 263.
Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation.
Journal of Applied Psychology, 90(6), 1185-1203.
Barrick, M. R., & Mount, M. K. (1991). The Big Five Personality Dimensions and Job Performance:
A Meta-Analysis. Personnel Psychology, 44(1), 1-26.
Bertua, C., Anderson, N., & Salgado, J. s. F. (2005). The predictive validity of cognitive ability
tests: A UK meta-analysis. Journal of Occupational & Organizational Psychology, 78(3), 387-409.
Dalal, R. S. (2005). A Meta-Analysis of the Relationship Between Organizational Citizenship
Behavior and Counterproductive Work Behavior. Journal of Applied Psychology, 90(6), 1241-
1255.
Cohen, P. A. (1980). Effectiveness of student-rating feedback for improving college instruction:
A meta-analysis. Research in Higher Education, 13, 321-341.
14
Volume de proceedings i rezumate
Dizertaii
interne
externe
Baze de date electronice
Psych Info, APA online
SSCI, Web of Science
ERIC
Altele
Articole de sintez (review articles)
Manuscrise nepublicate (sau n curs de publicare)
Documente oficiale (guvernamentale, agenii etc.)
3/4/2014 15
Criterii posibile:
Perioada acoperit de meta-analiz
Definirea operaional a variabilelor
Tipul de studiu (experiment; quasi-experiment; corelaional)
Calitatea studiilor
Rigoarea modelului de cercetare
Raportarea indicilor de mrime a efectului sau a valorilor necesare pentru acestea
Publicate/nepublicate
Reviste peer-review
Etc.
Obiectivitatea alegerii
Evaluatori diferii, pentru a garanta aplicarea concordant a criteriilor de includere
3/4/2014 16
Pentru aprofundarea problemei alegerii studiilor recomandm cap. 7 din:
Sava, A. F. (2013). Psihologia validat tiinific. Ghid practic de cercetare n psihologie. Iai: Polirom.
Meta-analiza vizeaz un anumit indice de mrime a afectului
Dac studiile alese raporteaz indici diferii de mrime a efectului
Se alege indicele preferat
Se transform toi indicii n indicele ales
Indici eligibili
r Pearson
d Cohen
delta Glass
g Hodges
raportul de ans (odds-ratio)
Alii: proporii, raportul de risc, rata de inciden etc.
Fiecare indice reprezint acelai lucru: o expresie standardizat a efectului
observat
3/4/2014 17
3/4/2014 18
Formule pentru obinerea coeficientului de corelaie
Pentru tabele
de contingen 2x2
Pentru ANOVA One Way
Transformarea d Cohen
n r Pearson
Transformarea r n d
Pentru ANOVA Two Way
19
Mrimea efectului pe tabele de contingen de tip 2x2
bc
ad
ES
Raportul dintre cota de succes n grupul
experimental i cota de succes n
grupul de control
Frecvena
SUCCES EEC
GRUP EXPERIMENTAL a b
GRUP DE CONTROL c d
RAPORTUL DE ANS RAPORTUL DE RISC
Raportul dintre probabilitatea de succes
(eec) a fiecrui grup
ES
a a b
c c d

/ ( )
/ ( )
http://www.campbellcollaboration.org/escalc/html/EffectSizeCalculator-Home.php
3/4/2014 20
Modelul efectului fix
Ia n considerare doar
variana intra-studiu
(eroarea de stimare a
fiecrui efect n raport cu
un efect global, considerat
unic pentru toate
cercetrile)
Modelul efectelor aleatorii
Ia n considerare i
variana dintre studii
(eroarea de estimare a
fiecrui studiu prin
raportare la celelalte)
Presupune c fiecare
studiu descrie un efect
diferit de celelalte, care
ns, mpreun, descriu un
super-efect comun
3/4/2014 21
Modele de meta-analiz
Studiul 4
Studiul 3
Studiul 2
Studiul 1
3/4/2014 22
=0.37
r=0.30 r=0.35 r=0.40 r=0.43
Exist un efect comun, unic
Fiecare studiu descrie acest efect
Diferenele dintre studii sunt expresia erorii
de eantionare

1

2

3

4
Variana intra studiu
23
=0.37
r=0.27 r=0.41 r=0.37 r=0.43
r=0.29 r=0.35 r=0.40 r=0.44
Studiul 4
Studiul 3
Studiul 2
Studiul 1
3/4/2014

1

2

3

4

1

2

3

4
Fiecare studiu descrie un efect diferit,
determinat de condiii specifice: vrsta
participanilor, nivelul de educaie, starea de
sntate, natura interveniei etc.
Distribuia efectelor diferite este expresia
unei super-distribuii, care descrie efectul
adevrat
Eroarea total este compus
din dou erori
Populaiile
fiecrui
studiu
Superpopulaia
tuturor studiilor
Fiecare din cele dou modele poate produce rezultate i concluzii diferite
Alegerea modelului este crucial:
Afecteaz procedurile de calcul
Definete obiectivele meta-analizei
Orienteaz interpretarea rezultatelor
Modelul efectului fix
Este mai uor de efectuat
Conduce la supraevaluarea efectului
Probabilitate mai mare pentru eroarea de tip I
Se estimeaz c un procent n jur de 50% dintre studiile de meta-analiz care utilizeaz modelul efectelor fixe, concluzioneaz greit
cu privire la existena unui efect
procentul erorii de tip I este cu att mai mare cu ct N mediu este mai mic
Nu permite generalizarea concluziilor dincolo de studiile analizate
Recomandabil atunci cnd numrul studiilor este mic (k<20)
Totui, majoritatea meta-analizelor publicate se bazeaz pe metoda efectelor fixe (!!!)
Modelul efectelor aleatorii
Presupune calcule mai laborioase
Ofer concluzii mai sigure
Concluziile sunt generalizabile n afara studiilor analizate (validitate extern mai mare)
Este mai recomandabil
NU se va efectua atunci cnd numrul studiilor este mai mic de 20 (dar ar trebui s fie mai mare de att)
3/4/2014 24
Hunter & Schmidt
Media mrimii efectelor
Variana efectelor
Variana erorii de
eantionare
Variana populaiei de
corelaii
95% CI
Testul omogenitii
Hedges & colleagues
3/4/2014 25
Testul semnificaiei efectului mediu
Hedges & colleagues
3/4/2014
26
Media mrimii efectelor
Eroarea standard a efectului mediu
Variana erorii de eantionare
Variana populaiei de corelaii
95% CI
Testul omogenitii
Hunter & Schmidt
3/4/2014
Media mrimii efectelor
Eroarea standard a efectului mediu
Variana erorii de eantionare
Variana populaiei de corelaii
95% CI
Testul omogenitii
Testul semnificaiei
efectului mediu
Fiierul meta-corr_m_popa.xlsx
3/4/2014 28
Exemplu de calcul realizat dup: Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo
comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.
Funnel plot (Light and Pillemer, 1984)
Scatter-plot pentru corelaia dintre mrimea
efectului i mrimea eantionului
Ideal trebuie s aib forma de mai jos
Dac este asimetric, este posibil eroare de
publicare
Forrest plot
Graficul comparativ al intervalelor de
ncredere pentru efectele analizate
3/4/2014 29
Efecte fixe
A
B
C
D
E
F
G
H
3/4/2014 30
Meta-analiza efectelor acupuncturii n
recuperarea dup atacuri de cord
Date care includ cercetri
publicate i nepublicate
Date care exclud
lucrrile nepublicate
3/4/2014 31
L'Abb Plot
3/4/2014 32
scatter-plot pentru rezultatele studiilor
individuale (grup experimental/de control)
rata evenimentului din grupul experimental
pe axa Oy
rata evenimentului pentru grupul de control
pe axa Ox
Raportarea suportului teoretic
Definirea problemei
Enunarea ipotezei
Descrierea rezultatului care va fi analizat
Tipul de intervenie utilizat
Tipul modelului de cercetare
Populaia vizat
Strategia de cutare a studiilor
Bazele de date analizate
Cuvinte cheie de cutare
Softul utilizat
Traducerea articolelor din alt limb
3/4/2014 33
Metoda utilizat
Relevana studiilor selectate
Tehnica de codificare a studiilor
Evaluarea calitii studiilor
Evaluarea eterogenitii
Metodele statistice utilizate (model, tehnic)
Rezultate
Tabele i grafice adecvate
Rezultatele analizei de senzitivitate
Discuii
Evaluarea posibilelor surse de eroare
Justificare eventualelor excluderi
Concluzii i generalizarea lor
Sugestii pentru viitoare meta-analize
3/4/2014 34
Evidenierea efectelor unor variabile moderatoare
Categorii de vrst, gen, ocupaie
Condiii de cercetare (experiment. Non-experiment)
Etc.
3/4/2014 35
Nu sunt abordate n aceast prezentare
Ofer posibilitatea analizei obiective,
sistematice a rezultatelor obinute n
cercetri diferite
Pune ordine n haosul cercetrii tiinifice
Permite concluzii i generalizri pe care
studiile individuale nu i le pot permite
Are o putere statistic mai mare dect
studiile individuale
Poate include moderatori n procesul
explicaiei
3/4/2014 36
Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39
Frecvena meta-analizelor n bazele de date EBSCO
Meta-analiza este o metod de
cercetare foarte utilizat
Putem avea ncredere n meta-analiz?
Meta-analiza este vzut ca salvatoarea sintezei literaturii de cercetare, dar poate n mod nejustificat. La fel ca i n cazul
altor proceduri statistice, rezultatele sunt att de bune pe ct de bune sunt datele utilizate i persoana care efectueaz
analiza: dac modelul efectelor fixe va continua s fie utilizat n mod rutinier, riscm s obinem concluzii care
supraliciteaz mrimea efectelor
(Field, A. P., 2001. Can Meta-Analysis Be Trusted? Psychologist, 16(12), p. 11)
Eroarea de publicare
Sunt publicate cu precdere studiile care confirm existena unui efect
Meta-analizele tind supraestimeze mrimea efectului efectul
Soluii: cutarea literaturii gri nepublicat sau publicat pe internet
Rezultatele meta-analizei depind de:
calitatea procesului de identificare i alegere a studiilor
deciziile cu privire la modelul i tehnica de calcul
Dac obiectivul principal este estimarea unui efect, metoda Hunter-Schmidt este mai puin avantajoas
dect metoda Hedges & Co
Dac obiectivul este semnificaia statistic i avem >80 de studii, ambele metode sunt la fel de bune
ntre 20-40 de studii, metoda Hedges & Co este preferabil
Pentru mai puin de 20 de studii testul de semnificaie nu are relevan
3/4/2014 37
Impactul artefactelor statistice
Fidelitatea
Restricia de amplitudine
Pentru corecia lor, vezi:
http://www.mpopa.ro/miscellanea/Marian_Popa_Cronbach_alfa.pdf
http://www.mpopa.ro/miscellanea/M_Popa_restrictie_amplitudine_PRU.pdf
Alegerea formulelor de calcul
Hedges & Olkin i Rosenthal and Rubin: calcularea efectului mediu CU transformarea in Zr
Hunter & Schmidt: calculare efectului mediu FARA transformarea in Zr
Exist soluii diferite pentru calcularea erorii standard (Hunter i Schmidt versus Rosenthal)
Fiecare soluie conduce la rezultate diferite!
3/4/2014 38
Obiective bine definite
Definiie precis a variabilelor i rezultatelor
Un proces adecvat de identificare i selecie a studiilor
Descrierea i evaluarea eterogenitii
Justificarea tehnicilor de analiz
Validarea concluziilor prin analiza de senzitivitate:
a) utilizarea n paralel a mai multor tehnici de calcul
b) analiza repetat, cu scoaterea unor studii
Dac rezultatele se modific vizibil, atunci credibilitatea este compromis
3/4/2014 39
Practical Meta-Analysis Effect Size Calculator
David B. Wilson, Ph.D., George Mason University
http://www.campbellcollaboration.org/resources/effect_size_input.php
Computer Programs for Meta-Analysis
http://commfaculty.fullerton.edu/jreinard/meta-analysis_programs.htm
MetaEasy: A Meta-Analysis Add-In for Microsoft Excel
http://www.jstatsoft.org/v30/i07
Comprehensive meta-analysis
http://www.meta-analysis.com/index.php
3/4/2014 40
Ce este meta-analiza?
Care sunt obiectivele meta-analizei?
Care sunt erorile posibile n faza de documentare i alegere a studiilor pentru meta-analiz?
Care este fundamentul teoretic al modelului efectelor fixe?
Care este fundamentul teoretic al modelului efectelor aleatorii?
Care sunt punctele slabe ale meta-analizei?
Care sunt punctele tari ale meta-analizei?
Care sunt condiiile de baz ale unei meta-analize bune?
3/4/2014 41
Borenstein, M., Hedgesb, L. V., Higginsc, J. P. T., & Rothsteind, H. R. (2010). A basic introduction to fixed-effect and random-effects models for meta-analysis. Rsesearch Synthesis
Methods, Published online in Wiley Online Library. doi: 10.1002/jrsm.12
Field, A. P. (2001). Can Meta-Analysis Be Trusted? Psychologist, 16(12), 642-645.
Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.
Field, A. P. (2003). The Problem in Using Fixed-Effects Models of Meta-Analysis on Real-World Data. Understanding Statistics, 2(2), 105-124.
Field, A. P. (2005). A Bluffers Guide to Meta-Analysis. Psy-Pag Quarterly, 58, 9-23.
Field, A. P. (2005). Is the Meta-Analysis of Correlation Coefficients Accurate when Population Correlations Vary? Psychological Methods, 10(4), 444-467.
Glass, G. V. (1976). Primary, Secondary, and Meta-Analysis Research. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco.
http://www.gvglass.info/papers/primary.pdf
Glass, G. V. (2000). Meta-Analysis at 25. 2013, fromhttp://www.gvglass.info/papers/meta25.html
Hedges, L. V., Cooper, H., & Bushman, B. J. (1992). Testing the Null Hypothesis in Meta-Analysis: A Comparison of Combined Probability and Confidence Interval Procedures.
Psychological Bulletin, 111(1), 188-194 (http://www-personal.umich.edu/~bbushman/hcb192.pdf)
Howell, D. C. (2013). Statistical Methods for Psychology (8th ed.). Wadsworth: Cengage Learning
Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis (2nd ed.). Thousand Oaks: Sage.
Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39 (http://www.tim.tu-
berlin.de/fileadmin/fg101/TIM_Working_Paper_Series/Volume_102/TIM_WPS_Kock_2009.pdf)
Lyons, L. C. (2003). Meta - Analysis: Methods of Accumulating Results Across Research Domains (http://www.lyonsmorris.com/METAA/index.htm)
Mricuoiu, L. P. (2008). Introducere n metaanaliz. Metaanaliza corelaiilor. Psihologia Resurselor Umane, 6(2), 112-127.
Means, B., Toyama, Y., Murphy, R., Bakia, M., & Jones, K. (2010). Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning
Studies: U.S. Department of Education: Office of Planning, Evaluation, and Policy Development Policy and Program Studies Service
Rosenthal, R., & DiMatteo, M. R. (2001). META-ANALYSIS: Recent Developments in QuantitativeMethods for Literature Reviews. Annual Revue of Psychology(52), 59-82.
Sava, A. F. (2013). Psihologia validat tiinific. Ghid practic de cercetare n psihologie. Iai: Polirom.
Schmidt, F. (2008). Meta-Analysis : A Constantly Evolving Research Integration Tool. Organizational Research Methods, 11(1), 96-113
Schmidt, F. L., & Hunter, J. E. (2005). Meta-Analysis. In N. Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Eds.), Handbook of Industrial, Work & Organizational Psychology
(Vol. 1 - Personnel Psychology, pp. 51-70). London
3/4/2014 42