M.

Popa 2013
A. Ce este meta-analiza?
B. Obiectivele meta-analizei
C. Etapele procesului de meta-analiză
D. Puncte tari ale meta-analizei
E. Puncte slabe ale meta-analizei
F. Resurse
G. Întrebări recapitulative
Referințe bibliografice

3/11/2013 2
 numeroase studii…
 numeroase teme de cercetare… ”Meta-analiza se referă la analiza analizelor… analiza
statistică a unei largi colecții de rezultate obținute în studii
 aceeași temă este abordată de mai individuale, cu scopul de a integra concluziile acestora.
mulți autori: Este o alternativă riguroasă la analiza cauzală, narativă, a
studiilor de cercetare, care susține efortul de a da un sens
 în condiții diferite
expansiunii rapide a cercetării științifice”
 pe populații diferite
Glass, G. (1976). Primary, secondary and meta-analysis of
 Rezultatele pot fi variate research, p.3
(concordante sau discordante)
 care este ”adevărul”?
 cum se poate trage o concluzie din
analiza rezultatelor mai multor studii?
 Soluții pentru sinteza lucrărilor științifice:
 Narativ (tradițional)
 Statistic (începând din deceniul, 9 sec. XX)
3/11/2013 3
 Schmidt, F. L., & Hunter, J. E. (2003, p. 533):
 ”Meta-analiza integrează rezultatele mai multor studii care tratează același subiect, pentru a
descoperi modelele simple ale relațiilor evidențiate în aceste cercetări, ca bază pentru
dezvoltarea teoriilor psihologice”.
”Meta-analiza se referă la analiza analizelor… analiza statistică a unei largi
colecții de rezultate obținute în studii individuale, cu scopul de a integra
concluziile acestora.
Este o alternativă riguroasă la analiza cauzală, narativă, a studiilor de cercetare,
care susține efortul de a da un sens expansiunii rapide a cercetării științifice”
Glass, G. (1976). Primary, secondary and meta-analysis of research, p.3

3/11/2013 4
 Abordarea statistică tradițională:
testarea ipotezelor și decizia cu privire la H0
 nu este potrivită integrării rezultatelor din studii diferite
 Semnificația statistică depinde de N (care este diferit de la studiu la studiu)
 Admiterea H0 nu are aceeași ”greutate” ca respingerea H0
 ”statistic semnificativ” este o concluzie ”puternică”
 ”statistic nesemnificativ” este o concluzie ”slabă”

 Meta-analiza
 orientată cu precădere pe mărimea efectului
 directia și magnitudinea mărimii efectului în studii dedicate aceluiași subiect

3/11/2013 5
(Kanfer & Kantrowitz, 2002)

3/11/2013 6
3/11/2013 7
 Întrebări la care meta-analiza încearcă să ofere răspuns:
 Care este mărimea medie a efectului în studiile analizate?
 Este efectul respectiv statistic semnificativ? (… deși acest aspect nu
este neapărat important)
 Care sunt limitele intervalului de încredere pentru efectul mediu?
 Distribuția efectelor individuale este omogenă sau neomogenă?
 dacă rezultatele nu diferă în urma artefactelor studiilor în mai mare măsură
decât este de ateptat, ele sunt considerate a fi omogene (Hox, 1995)
 Există influențe moderatoare asupra efectului? (variază acesta în
funcție de valorile altor variabile?)

3/11/2013 8
1) Alegerea temei cercetării
2) Găsirea studiilor
3) Alegerea studiilor
4) Calcularea indicelui de mărime a efectului
5) Efectuarea meta-analizei
6) Raportarea rezultatelor meta-analizei

3/11/2013 9
 (Kanfer & Kantrowitz, 2002)
 O meta-analiză se efectuează:
 pe teme temă de interes larg printre
cercetători
 pentru perioade de timp care nu au mai
fost acoperite de mate-analize
 Spring (2007): ”Întrebarea fundamentală”
 P – population
 I – intervention
 C – comparison
 O – outcome

 Exemplu: ”Compararea eficienței (O)

învățării online (I) cu învățarea tradițională
(C), la elevii de liceu (P)”, Means, B., Toyama,Y., 3/11/2013 10
Murphy, R., Bakia, M., & Jones, K. (2010)
 Volume de proceedings și rezumate
 Dizertații
 interne
 externe

 Baze de date electronice

 Psych Info, APA online
 SSCI, Web of Science
 ERIC
 Altele…

 Articole de sinteză (review articles)

 Manuscrise nepublicate (sau în curs de publicare)
 Documente oficiale (guvernamentale, agenții… etc.)
3/11/2013 11
 Criterii posibile:
 Perioada acoperită de meta-analiză
 Definirea operațională a variabilelor
 Tipul de studiu (experiment; quasi-experiment; corelațional)
 Calitatea studiilor
 Rigoarea modelului de cercetare
 Raportarea indicilor de mărime a efectului sau a valorilor necesare pentru acestea
 Publicate/nepublicate
 Reviste ”peer-review”
 Etc.

 Obiectivitatea alegerii
 Evaluatori diferiți, pentru a garanta aplicarea concordantă a criteriilor de includere

Pentru aprofundarea problemei alegerii studiilor recomandăm cap. 7 din:

Sava, A. F. (2013). Psihologia validată științific. Ghid practic de cercetare în psihologie. Iași: Polirom.
3/11/2013 12
 Meta-analiza vizează un anumit indice de mărime a afectului
 Dacă studiile alese raportează indici diferiți de mărime a efectului
 Se alege indicele preferat
 Se transformă toți indicii în indicele ales

 Indici eligibili
 ”r” Pearson
 ”d” Cohen
 ”delta” Glass
 ”g” Hodges
 ”raportul de șansă” (odds-ratio)
 Alții: proporții, raportul de risc, rata de incidență etc.

3/11/2013 13
 Formule pentru obținerea coeficientului de corelație
Pentru tabele
Transformarea ”d” Cohen
de contingență 2x2
în ”r” Pearson

Transformarea ”r” în ”d”

Pentru ANOVA Two Way

Pentru ANOVA One Way 3/11/2013 14

 Mărimea efectului pe tabele de contingență de tip 2x2
Frecvența
SUCCES EȘEC
GRUP EXPERIMENTAL a b
GRUP DE CONTROL c d

RAPORTUL DE ȘANSĂ RAPORTUL DE RISC

 Raportul dintre cota de succes în grupul  Raportul dintre probabilitatea de succes

experimental și cota de succes în (eșec) a fiecărui grup
grupul de control

ad a / (a  b)
ES  ES 
bc c / (c  d )
15
 Modele de meta-analiză
Modelul efectelor fixe
 Ia în considerare doar
varianța intra-studiu
(eroarea de stimare a
fiecărui efect în raport cu
un efect global, considerat
unic pentru toate
cercetările)
Modelul efectelor aleatorii
 Ia în considerare și
varianța dintre studii
(eroarea de estimare a
fiecărui studiu prin
raportare la celelalte)
 Presupune că fiecare
studiu descrie un efect
diferit de celelalte, care
însă, împreună, descriu un
”super-efect” comun
3/11/2013 16
 • Există un efect ”comun”, ”unic”
• Fiecare studiu descrie acest efect
Varianța intra studiu • Diferențele dintre studii sunt expresia erorii
de eșantionare

ρ=0.37

ε1 ε2 ε3 ε4

r=0.30 r=0.35 r=0.40 r=0.43

Studiul 1 Studiul 2 Studiul 3 Studiul 4

3/11/2013 17
 • Fiecare studiu descrie un efect diferit,
determinat de condiții specifice: vârsta
participanților, nivelul de educație, starea de
sănătate, natura intervenției etc.
”Superpopulația”
• Distribuția efectelor diferite este expresia
tuturor studiilor
unei ”super-distribuții”, care descrie efectul
adevărat

ρ=0.37 Eroarea totală este compusă

din două erori
ξ2 ξ3 ξ4
ξ1
r=0.29 r=0.35 r=0.40 r=0.44
Populațiile
fiecărui
studiu

ε1 ε2 ε3 ε4

r=0.27 r=0.41 r=0.37 r=0.43

Studiul 1 Studiul 2 Studiul 3 Studiul 4

3/11/2013 18
 Fiecare din cele două modele poate produce rezultate și concluzii diferite
 Alegerea modelului este crucială:
 Afectează procedurile de calcul
 Definește obiectivele meta-analizei
 Orientează interpretarea rezultatelor

 Modelul efectelor fixe

 Este mai ușor de efectuat
 Conduce la supraevaluarea efectului
 Probabilitate mai mare pentru eroarea de tip I
 Se estimează că un procent în jur de 50% dintre studiile de meta-analiză care utilizează modelul efectelor fixe, concluzionează greșit
cu privire la existența unui efect
 procentul erorii de tip I este cu atât mai mare cu cât N mediu este mai mic
 Nu permite generalizarea concluziilor dincolo de studiile analizate
 Recomandabil atunci când numărul studiilor este mic (k<20)
 Totuși, majoritatea meta-analizelor publicate se bazează pe metoda efectelor fixe (!!!)
 Modelul efectelor aleatorii
 Presupune calcule mai laborioase
 Oferă concluzii mai sigure
 Concluziile sunt generalizabile în afara studiilor analizate (validitate externă mai mare)
 Este mai recomandabil
 Dar nu se va efectua atunci când numărul studiilor este mai mic de 20 (dar ar trebui să fie mai mare de atât) 3/11/2013 19
 Hunter & Schmidt Hedges & colleagues

 Media mărimii efectelor

 Varianța efectelor

 Varianța erorii de
eșantionare
 Varianța populației de
corelații
Testul semnificației efectului mediu

 95% CI

3/11/2013 20
 Testul omogenității
 Hedges & colleagues

 Media mărimii efectelor

 Eroarea standard a efectului mediu

 Varianța erorii de eșantionare

 Varianța populației de corelații

21
 95% CI

 Testul omogenității
3/11/2013
 Hunter & Schmidt

 Media mărimii efectelor

 Eroarea standard a efectului mediu

Testul semnificației
 Varianța erorii de eșantionare
efectului mediu
 Varianța populației de corelații

 95% CI

 Testul omogenității 3/11/2013

 Fișierul meta-corr_final.xlsx

Exemplu de calcul realizat după: Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo
comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.

3/11/2013 23
 Funnel plot (Light and Pillemer, 1984) Forrest plot

 Scatter-plot pentru corelația dintre mărimea  Graficul comparativ al intervalelor de

efectului și mărimea eșantionului
încredere pentru efectele analizate
 Ideal trebuie să aibă forma de mai jos
 Dacă este asimetric, este posibilă eroare de
publicare

3/11/2013 24
L'Abbé Plot

 scatter-plot pentru rezultatele studiilor

individuale (grup experimental/de control)
 rata evenimentului din grupul experimental
pe axa Oy
 rata evenimentului pentru grupul de control
pe axa Ox

3/11/2013 25
 Raportarea suportului teoretic
 Definirea problemei
 Enunțarea ipotezei
 Descrierea rezultatului care va fi analizat
 Tipul de intervenție utilizat
 Tipul modelului de cercetare
 Populația vizată

 Strategia de căutare a studiilor

 Bazele de date analizate
 Cuvinte cheie de căutare
 Softul utilizat
 Traducerea articolelor din altă limbă

3/11/2013 26
 Metoda utilizată
 Relevanța studiilor selectate
 Tehnica de codificare a studiilor
 Evaluarea calității studiilor
 Evaluarea eterogentății
 Metodele statistice utilizate (model, tehnică)

 Rezultate
 Tabele și grafice adecvate
 Rezultatele analizei de senzitivitate

 Discuții
 Evaluarea posibilelor surse de eroare
 Justificare eventualelor excluderi
 Concluzii și generalizarea lor
 Sugestii pentru viitoare meta-analize

3/11/2013 27
 Evidențierea efectelor unor variabile moderatoare
 Categorii de vârstă, gen, ocupație
 Condiții de cercetare (experiment. Non-experiment)
 Etc.
Nu sunt abordate în această prezentare

3/11/2013 28
 Oferă posibilitatea analizei obiective,
sistematice a rezultatelor obținute în Meta-analiza este o metodă de
cercetări diferite cercetare foarte utilizată

 Pune ordine în ”haosul” cercetării științifice

 Permite concluzii și generalizări pe care
studiile individuale nu și le pot permite
 Are o putere statistică mai mare decât
studiile individuale
 Poate include moderatori în procesul
explicației

Frecvența meta-analizelor în bazele de date EBSCO

Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39

3/11/2013 29
 Putem avea încredere în meta-analiză?
 ”Meta-analiza este văzută ca salvatoarea sintezei literaturii de cercetare, dar poate în mod nejustificat. La fel ca și în cazul
altor proceduri statistice, rezultatele sunt atât de bune pe cât de bune sunt datele utilizate și persoana care efectuează
analiza: dacă modelul efectelor fixe va continua să fie utilizat în mod rutinier, riscăm să obținem concluzii care
supralicitează mărimea efectelor”
(Field, A. P., 2001. Can Meta-Analysis Be Trusted? Psychologist, 16(12), p. 11)
 Eroarea de publicare
 Sunt publicate cu precădere studiile care confirmă existența unui efect
 Meta-analizele tind supraestimeze mărimea efectului efectul
 Soluții: căutarea ”literaturii gri”… nepublicată sau publicată pe internet

 Rezultatele meta-analizei depind de:

 calitatea procesului de identificare și alegere a studiilor
 deciziile cu privire la modelul și tehnica de calcul

 Dacă obiectivul principal este estimarea unui efect, metoda ”Hunter-Schmidt” este mai puțin avantajoasă
decât metoda Hedges & Co
 Dacă obiectivul este semnificația statistică și avem >80 de studii, ambele metode sunt la fel de bune
 Între 20-40 de studii, metoda Hedges & Co este preferabilă
 Pentru mai puțin de 20 de studii testul de semnificație nu are relevanță

3/11/2013 30
 Impactul artefactelor statistice
 Fidelitatea
 Restricția de amplitudine
Pentru corecția lor, vezi:
http://www.mpopa.ro/miscellanea/Marian_Popa_Cronbach_alfa.pdf
http://www.mpopa.ro/miscellanea/M_Popa_restrictie_amplitudine_PRU.pdf
 Alegerea formulelor de calcul
 Hedges & Olkin și Rosenthal and Rubin: calcularea efectului mediu CU transformarea in Zr
 Hunter & Schmidt: calculare efectului mediu FARA transformarea in Zr
 Exist soluții diferite pentru calcularea erorii standard (Hunter și Schmidt versus Rosenthal)
 Fiecare soluție conduce la rezultate diferite!

3/11/2013 31
 Obiective bine definite
 Definiție precisă a variabilelor și rezultatelor
 Un proces adecvat de identificare și selecție a studiilor
 Descrierea și evaluarea eterogenității
 Justificarea tehnicilor de analiză
 Validarea concluziilor prin analiza de senzitivitate:
a) utilizarea în paralel a mai multor tehnici de calcul
b) analiza repetată, cu scoaterea unor studii
 Dacă rezultatele se modifică vizibil, atunci credibilitatea este compromisă

3/11/2013 32
 Practical Meta-Analysis Effect Size Calculator
David B. Wilson, Ph.D., George Mason University
http://www.campbellcollaboration.org/resources/effect_size_input.php
 Computer Programs for Meta-Analysis
http://commfaculty.fullerton.edu/jreinard/meta-analysis_programs.htm
 MetaEasy: A Meta-Analysis Add-In for Microsoft Excel
 http://www.jstatsoft.org/v30/i07

3/11/2013 33
 Ce este meta-analiza?
 Care sunt obiectivele meta-analizei?
 Care sunt erorile posibile în faza de documentare și alegere a studiilor pentru meta-analiză?
 Care este fundamentul teoretic al modelului efectelor fixe?
 Care este fundamentul teoretic al modelului efectelor aleatorii?
 Care sunt punctele slabe ale meta-analizei?
 Care sunt punctele tari ale meta-analizei?
 Care sunt condițiile de bază ale unei meta-analize bune?

3/11/2013 34
 Borenstein, M., Hedgesb, L. V., Higginsc, J. P. T., & Rothsteind, H. R. (2010). A basic introduction to fixed-effect and random-effects models for meta-analysis. Rsesearch Synthesis
Methods, Published online in Wiley Online Library. doi: 10.1002/jrsm.12
 Field, A. P. (2001). Can Meta-Analysis Be Trusted? Psychologist, 16(12), 642-645.
 Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.
 Field, A. P. (2003). The Problem in Using Fixed-Effects Models of Meta-Analysis on Real-World Data. Understanding Statistics, 2(2), 105-124.
 Field, A. P. (2005). A Bluffer’s Guide to Meta-Analysis. Psy-Pag Quarterly, 58, 9-23.
 Field, A. P. (2005). Is the Meta-Analysis of Correlation Coefficients Accurate when Population Correlations Vary? Psychological Methods, 10(4), 444-467.
 Glass, G. V. (1976). Primary, Secondary, and Meta-Analysis Research. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco.
http://www.gvglass.info/papers/primary.pdf
 Glass, G. V. (2000). Meta-Analysis at 25. 2013, from http://www.gvglass.info/papers/meta25.html
 Hedges, L. V., Cooper, H., & Bushman, B. J. (1992). Testing the Null Hypothesis in Meta-Analysis: A Comparison of Combined Probability and Confidence Interval Procedures.
Psychological Bulletin, 111(1), 188-194 (http://www-personal.umich.edu/~bbushman/hcb192.pdf)
 Howell, D. C. (2013). Statistical Methods for Psychology (8th ed.). Wadsworth: Cengage Learning
 Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis (2nd ed.). Thousand Oaks: Sage.
 Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39 (http://www.tim.tu-
berlin.de/fileadmin/fg101/TIM_Working_Paper_Series/Volume_102/TIM_WPS_Kock_2009.pdf)
 Lyons, L. C. (2003). Meta - Analysis: Methods of Accumulating Results Across Research Domains (http://www.lyonsmorris.com/METAA/index.htm)
 Măricuțoiu, L. P. (2008). Introducere în metaanaliză. Metaanaliza corelațiilor. Psihologia Resurselor Umane, 6(2), 112-127.
 Means, B., Toyama, Y., Murphy, R., Bakia, M., & Jones, K. (2010). Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning
Studies: U.S. Department of Education: Office of Planning, Evaluation, and Policy Development Policy and Program Studies Service
 Rosenthal, R., & DiMatteo, M. R. (2001). META-ANALYSIS: Recent Developments in QuantitativeMethods for Literature Reviews. Annual Revue of Psychology(52), 59-82.
 Sava, A. F. (2013). Psihologia validată științific. Ghid practic de cercetare în psihologie. Iași: Polirom.
 Schmidt, F. (2008). Meta-Analysis : A Constantly Evolving Research Integration Tool. Organizational Research Methods, 11(1), 96-113
 Schmidt, F. L., & Hunter, J. E. (2005). Meta-Analysis. In N. Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Eds.), Handbook of Industrial, Work & Organizational Psychology
(Vol. 1 - Personnel Psychology, pp. 51-70). London
3/11/2013 35