M.

Popa

2014

A. Ce este meta-analiza?
B. Obiectivele meta-analizei
C. Etapele procesului de meta-analiz

D. Puncte tari ale meta-analizei

E. Puncte slabe ale meta-analizei
F. Resurse
G. ntrebri recapitulative

Referine bibliografice

3/4/2014

 numeroase studii
numeroase teme de cercetare
aceeai tem este abordat de mai muli autori:
n condiii diferite
pe populaii diferite
Rezultatele pot fi variate (concordante sau discordante)
care este adevrul?
cum se poate trage o concluzie din analiza rezultatelor mai
multor studii?
Soluii pentru sinteza lucrrilor tiinifice:
Narativ (tradiional) sistematic review
Statistic (ncepnd din deceniul 9, sec. XX)

3/4/2014

 R. A. Fisher (1890-1962) a dezvoltat o procedur de combinare a probabilitilor mai multor

teste ale ipotezelor

K. Pearson, 1904, a combinat rezultatele mai multor studii medicale

3/4/2014

 Revoluia meta-analitic a nceput spre sf. dec. 8 (sec. XX)

G. Glass, 1976 propune termenul de meta-analiz
Smith & Glass (1977) au analizat rezultatele a peste 300 de studii cu privire la efectele psihoterapiei

psihoterapiei

Jacob Cohen
1923-1998
A pus bazele meta-analizei
prin calcularea indicilor de
mrime a efectului
3/4/2014

Meta-analiza integreaz rezultatele mai multor studii care trateaz acelai subiect, pentru a
descoperi modelele simple ale relaiilor evideniate n aceste cercetri, ca baz pentru
dezvoltarea teoriilor psihologice.
Schmidt, F. L., & Hunter, J. E. (2003, p. 533):

Meta-analiza se refer la analiza analizelor analiza statistic a unei largi

colecii de rezultate obinute n studii individuale, cu scopul de a integra
concluziile acestora.
Este o alternativ riguroas la analiza cauzal, narativ, a studiilor de cercetare,
care susine efortul de a da un sens expansiunii rapide a cercetrii tiinifice
Glass, G. (1976). Primary, secondary and meta-analysis of research, p.3

Meta- analiza este utilizat pentru a estima valoarea adevrat a mrimii efectului
la nivelul populaiei, prin combinarea mrimii efectelor observate n diverse studii
Field, A. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects
methods. Psychological Methods, 6(2), 161-180.
3/4/2014

 Abordarea statistic tradiional:

testarea ipotezelor i decizia cu privire la H0

nu este potrivit integrrii rezultatelor din studii diferite

Semnificaia statistic depinde de N (care este diferit de la studiu la studiu)

Admiterea H0 nu are aceeai greutate ca respingerea H0

statistic semnificativ este o concluzie puternic

statistic nesemnificativ este o concluzie slab

Meta-analiza

orientat cu precdere pe mrimea efectului

directia i magnitudinea mrimii efectului n studii dedicate aceluiai subiect

3/4/2014

(Kanfer & Kantrowitz, 2002)

3/4/2014

3/4/2014

 Mrimea efectului
Eroarea standard
Intervalul de ncredere
Dispersia

Ipoteza de nul

3/4/2014

10

 ntrebri la care meta-analiza ncearc s ofere rspuns:

Care este mrimea medie a efectului n studiile analizate?
Este efectul respectiv statistic semnificativ? ( dei acest aspect nu

este neaprat important)

Care sunt limitele intervalului de ncredere pentru efectul mediu?

Distribuia efectelor individuale este omogen sau neomogen?

dac rezultatele nu difer n urma artefactelor studiilor n mai mare msur
dect este de ateptat, ele sunt considerate a fi omogene (Hox, 1995)
Exist influene moderatoare asupra efectului? (variaz acesta n

funcie de valorile altor variabile?)

3/4/2014

11

1) Alegerea temei cercetrii

2) Gsirea studiilor
3) Alegerea studiilor

4) Calcularea indicelui de mrime a efectului

5) Efectuarea meta-analizei
6) Raportarea rezultatelor meta-analizei

3/4/2014

12

 O meta-analiz se efectueaz:
pe teme de interes larg printre cercettori
pentru perioade de timp care nu au mai
fost acoperite de mate-analize

(Kanfer & Kantrowitz, 2002)

Spring (2007): ntrebarea fundamental

P population
I intervention

C comparison
O outcome

Exemplu: Compararea eficienei (O)

nvrii online (I) cu nvarea tradiional

(C), la elevii de liceu (P), Means, B., Toyama, Y.,
Murphy, R., Bakia, M., & Jones, K. (2010)

3/4/2014

13

EXEMPLE DE META-ANALIZE N PSIHOLOGIE

Amato, P. R., & Keith, B. (1991). Parental divorce and the well-being of children: A meta-analysis

. Psychological Bulletin, 110, 26-46. Times Cited: 471

Linn, M. C., & Petersen, A. C. (1985). Emergence and characterization of sex differences in
spatial ability: A meta-analysis . Child Development, 56, 1479-1498. Times Cited: 570
Johnson, D. W., & et al (1981). Effects of cooperative, competitive, and individualistic goal
structures on achievement: A meta-analysis . Psychological Bulletin, 89, 47-62. Times Cited: 426
Tett, R. P., Jackson, D. N., & Rothstein, M. (1991). Personality measures as predictors of job
performance: A meta-analytic review . Personnel Psychology, 44, 703-742 Times Cited: 387
Hyde, J. S., & Linn, M. C. (1988). Gender differences in verbal ability: A meta-analysis .
Psychological Bulletin, 104, 53-69. Times Cited: 316
Iaffaldano, M. T., & Muchinsky, P. M. (1985). Job satisfaction and job performance: A metaanalysis . Psychological Bulletin, 97, 251-273. Times Cited: 263.
Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation.
Journal of Applied Psychology, 90(6), 1185-1203.
Barrick, M. R., & Mount, M. K. (1991). The Big Five Personality Dimensions and Job Performance:
A Meta-Analysis. Personnel Psychology, 44(1), 1-26.
Bertua, C., Anderson, N., & Salgado, J. s. F. (2005). The predictive validity of cognitive ability
tests: A UK meta-analysis. Journal of Occupational & Organizational Psychology, 78(3), 387-409.
Dalal, R. S. (2005). A Meta-Analysis of the Relationship Between Organizational Citizenship
Behavior and Counterproductive Work Behavior. Journal of Applied Psychology, 90(6), 12411255.
Cohen, P. A. (1980). Effectiveness of student-rating feedback for improving college instruction:
A meta-analysis. Research in Higher Education, 13, 321-341.
14

 Volume de proceedings i rezumate

Dizertaii
interne
externe
Baze de date electronice
Psych Info, APA online
SSCI, Web of Science
ERIC
Altele
Articole de sintez (review articles)

Manuscrise nepublicate (sau n curs de publicare)

Documente oficiale (guvernamentale, agenii etc.)
3/4/2014

15

 Criterii posibile:
Perioada acoperit de meta-analiz
Definirea operaional a variabilelor
Tipul de studiu (experiment; quasi-experiment; corelaional)
Calitatea studiilor
Rigoarea modelului de cercetare
Raportarea indicilor de mrime a efectului sau a valorilor necesare pentru acestea

Publicate/nepublicate
Reviste peer-review

Etc.

Obiectivitatea alegerii
Evaluatori diferii, pentru a garanta aplicarea concordant a criteriilor de includere
Pentru aprofundarea problemei alegerii studiilor recomandm cap. 7 din:
Sava, A. F. (2013). Psihologia validat tiinific. Ghid practic de cercetare n psihologie. Iai: Polirom.
3/4/2014

16

 Meta-analiza vizeaz un anumit indice de mrime a afectului

Dac studiile alese raporteaz indici diferii de mrime a efectului
Se alege indicele preferat
Se transform toi indicii n indicele ales
Indici eligibili
r Pearson
d Cohen
delta Glass
g Hodges
raportul de ans (odds-ratio)
Alii: proporii, raportul de risc, rata de inciden etc.
Fiecare indice reprezint acelai lucru: o expresie standardizat a efectului
observat
3/4/2014

17

Formule pentru obinerea coeficientului de corelaie

Pentru tabele
de contingen 2x2

Transformarea d Cohen
n r Pearson

Transformarea r n d

Pentru ANOVA Two Way

Pentru ANOVA One Way

3/4/2014

18

Mrimea efectului pe tabele de contingen de tip 2x2

Frecvena
SUCCES

EEC

GRUP EXPERIMENTAL

GRUP DE CONTROL

RAPORTUL DE RISC

RAPORTUL DE ANS

Raportul dintre cota de succes n grupul

experimental i cota de succes n
grupul de control

ad
ES
bc

Raportul dintre probabilitatea de succes

(eec) a fiecrui grup

a / ( a b)
ES
c / (c d )
19

 http://www.campbellcollaboration.org/escalc/html/EffectSizeCalculator-Home.php

3/4/2014

20

Modele de meta-analiz
Modelul efectului fix
Ia n considerare doar

variana intra-studiu
(eroarea de stimare a
fiecrui efect n raport cu
un efect global, considerat
unic pentru toate
cercetrile)

Modelul efectelor aleatorii

Ia n considerare i

variana dintre studii

(eroarea de estimare a
fiecrui studiu prin
raportare la celelalte)

Presupune c fiecare

studiu descrie un efect

diferit de celelalte, care
ns, mpreun, descriu un
super-efect comun
3/4/2014

21

 Exist un efect comun, unic

Fiecare studiu descrie acest efect
Diferenele dintre studii sunt expresia erorii
de eantionare

Variana intra studiu

=0.37
1
r=0.30

Studiul 1

r=0.35

r=0.40

Studiul 2

Studiul 3

r=0.43

Studiul 4
3/4/2014

22

 Fiecare studiu descrie un efect diferit,

determinat de condiii specifice: vrsta
participanilor, nivelul de educaie, starea de
sntate, natura interveniei etc.

Superpopulaia
tuturor studiilor

Distribuia efectelor diferite este expresia

unei super-distribuii, care descrie efectul
adevrat
Eroarea total este compus
din dou erori

=0.37
2

r=0.29

r=0.35

r=0.40

r=0.44

Populaiile
fiecrui
studiu

r=0.27

r=0.41

r=0.37

r=0.43

Studiul 1

Studiul 2

Studiul 3

Studiul 4
3/4/2014

23

 Fiecare din cele dou modele poate produce rezultate i concluzii diferite
Alegerea modelului este crucial:
Afecteaz procedurile de calcul
Definete obiectivele meta-analizei
Orienteaz interpretarea rezultatelor

Modelul efectului fix

Este mai uor de efectuat

Conduce la supraevaluarea efectului
Probabilitate mai mare pentru eroarea de tip I
Se estimeaz c un procent n jur de 50% dintre studiile de meta-analiz care utilizeaz modelul efectelor fixe, concluzioneaz greit

cu privire la existena unui efect

procentul erorii de tip I este cu att mai mare cu ct N mediu este mai mic

Nu permite generalizarea concluziilor dincolo de studiile analizate

Recomandabil atunci cnd numrul studiilor este mic (k<20)
Totui, majoritatea meta-analizelor publicate se bazeaz pe metoda efectelor fixe (!!!)

Modelul efectelor aleatorii

Presupune calcule mai laborioase

Ofer concluzii mai sigure
Concluziile sunt generalizabile n afara studiilor analizate (validitate extern mai mare)
Este mai recomandabil
NU se va efectua atunci cnd numrul studiilor este mai mic de 20 (dar ar trebui s fie mai mare de att)

3/4/2014

24

Hunter & Schmidt

Hedges & colleagues

Media mrimii efectelor

Variana efectelor
Variana erorii de

eantionare

Variana populaiei de

corelaii

Testul semnificaiei efectului mediu

95% CI

Testul omogenitii

3/4/2014

25

Hedges & colleagues

Media mrimii efectelor

Eroarea standard a efectului mediu

Variana erorii de eantionare

Variana populaiei de corelaii

95% CI

Testul omogenitii

26

3/4/2014

Hunter & Schmidt

Media mrimii efectelor

Eroarea standard a efectului mediu

Variana erorii de eantionare

Variana populaiei de corelaii

Testul semnificaiei
efectului mediu

95% CI

Testul omogenitii

3/4/2014

Fiierul meta-corr_m_popa.xlsx
Exemplu de calcul realizat dup: Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo
comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.

3/4/2014

28

Funnel plot (Light and Pillemer, 1984)

Scatter-plot pentru corelaia dintre mrimea

efectului i mrimea eantionului

Ideal trebuie s aib forma de mai jos

Forrest plot
Graficul comparativ al intervalelor de

ncredere pentru efectele analizate

Dac este asimetric, este posibil eroare de

publicare

Efecte fixe

A
B
C
D
E
F
G
H

3/4/2014

29

Meta-analiza efectelor acupuncturii n

recuperarea dup atacuri de cord

3/4/2014

30

Date care includ cercetri

Date care exclud

publicate i nepublicate

lucrrile nepublicate

3/4/2014

31

L'Abb Plot
scatter-plot pentru rezultatele studiilor

individuale (grup experimental/de control)

rata evenimentului din grupul experimental

pe axa Oy
rata evenimentului pentru grupul de control
pe axa Ox

3/4/2014

32

 Raportarea suportului teoretic

Definirea problemei
Enunarea ipotezei
Descrierea rezultatului care va fi analizat
Tipul de intervenie utilizat

Tipul modelului de cercetare

Populaia vizat

Strategia de cutare a studiilor

Bazele de date analizate
Cuvinte cheie de cutare
Softul utilizat
Traducerea articolelor din alt limb

3/4/2014

33

 Metoda utilizat
Relevana studiilor selectate
Tehnica de codificare a studiilor
Evaluarea calitii studiilor
Evaluarea eterogenitii

Metodele statistice utilizate (model, tehnic)

Rezultate
Tabele i grafice adecvate

Rezultatele analizei de senzitivitate

Discuii
Evaluarea posibilelor surse de eroare
Justificare eventualelor excluderi

Concluzii i generalizarea lor

Sugestii pentru viitoare meta-analize
3/4/2014

34

 Evidenierea efectelor unor variabile moderatoare

Categorii de vrst, gen, ocupaie
Condiii de cercetare (experiment. Non-experiment)
Etc.
Nu sunt abordate n aceast prezentare

3/4/2014

35

 Ofer posibilitatea analizei obiective,

sistematice a rezultatelor obinute n

cercetri diferite

Meta-analiza este o metod de

cercetare foarte utilizat

Pune ordine n haosul cercetrii tiinifice

Permite concluzii i generalizri pe care

studiile individuale nu i le pot permite

Are o putere statistic mai mare dect

studiile individuale

Poate include moderatori n procesul

explicaiei

Frecvena meta-analizelor n bazele de date EBSCO

Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39

3/4/2014

36

 Putem avea ncredere n meta-analiz?

Meta-analiza este vzut ca salvatoarea sintezei literaturii de cercetare, dar poate n mod nejustificat. La fel ca i n cazul
altor proceduri statistice, rezultatele sunt att de bune pe ct de bune sunt datele utilizate i persoana care efectueaz
analiza: dac modelul efectelor fixe va continua s fie utilizat n mod rutinier, riscm s obinem concluzii care
supraliciteaz mrimea efectelor
(Field, A. P., 2001. Can Meta-Analysis Be Trusted? Psychologist, 16(12), p. 11)
Eroarea de publicare
Sunt publicate cu precdere studiile care confirm existena unui efect
Meta-analizele tind supraestimeze mrimea efectului efectul
Soluii: cutarea literaturii gri nepublicat sau publicat pe internet
Rezultatele meta-analizei depind de:
calitatea procesului de identificare i alegere a studiilor
deciziile cu privire la modelul i tehnica de calcul
Dac obiectivul principal este estimarea unui efect, metoda Hunter-Schmidt este mai puin avantajoas

dect metoda Hedges & Co

Dac obiectivul este semnificaia statistic i avem >80 de studii, ambele metode sunt la fel de bune
ntre 20-40 de studii, metoda Hedges & Co este preferabil
Pentru mai puin de 20 de studii testul de semnificaie nu are relevan
3/4/2014

37

 Impactul artefactelor statistice

Fidelitatea
Restricia de amplitudine

Pentru corecia lor, vezi:

http://www.mpopa.ro/miscellanea/Marian_Popa_Cronbach_alfa.pdf
http://www.mpopa.ro/miscellanea/M_Popa_restrictie_amplitudine_PRU.pdf
Alegerea formulelor de calcul
Hedges & Olkin i Rosenthal and Rubin: calcularea efectului mediu CU transformarea in Zr
Hunter & Schmidt: calculare efectului mediu FARA transformarea in Zr
Exist soluii diferite pentru calcularea erorii standard (Hunter i Schmidt versus Rosenthal)

Fiecare soluie conduce la rezultate diferite!

3/4/2014

38

 Obiective bine definite

Definiie precis a variabilelor i rezultatelor
Un proces adecvat de identificare i selecie a studiilor
Descrierea i evaluarea eterogenitii
Justificarea tehnicilor de analiz
Validarea concluziilor prin analiza de senzitivitate:
a) utilizarea n paralel a mai multor tehnici de calcul

b) analiza repetat, cu scoaterea unor studii

Dac rezultatele se modific vizibil, atunci credibilitatea este compromis

3/4/2014

39

 Practical Meta-Analysis Effect Size Calculator

David B. Wilson, Ph.D., George Mason University

http://www.campbellcollaboration.org/resources/effect_size_input.php
Computer Programs for Meta-Analysis

http://commfaculty.fullerton.edu/jreinard/meta-analysis_programs.htm
MetaEasy: A Meta-Analysis Add-In for Microsoft Excel
http://www.jstatsoft.org/v30/i07

Comprehensive meta-analysis
http://www.meta-analysis.com/index.php

3/4/2014

40

 Ce este meta-analiza?
Care sunt obiectivele meta-analizei?
Care sunt erorile posibile n faza de documentare i alegere a studiilor pentru meta-analiz?
Care este fundamentul teoretic al modelului efectelor fixe?
Care este fundamentul teoretic al modelului efectelor aleatorii?
Care sunt punctele slabe ale meta-analizei?
Care sunt punctele tari ale meta-analizei?
Care sunt condiiile de baz ale unei meta-analize bune?

3/4/2014

41

Borenstein, M., Hedgesb, L. V., Higginsc, J. P. T., & Rothsteind, H. R. (2010). A basic introduction to fixed-effect and random-effects models for meta-analysis. Rsesearch Synthesis
Methods, Published online in Wiley Online Library. doi: 10.1002/jrsm.12

Field, A. P. (2001). Can Meta-Analysis Be Trusted? Psychologist, 16(12), 642-645.

Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.

Field, A. P. (2003). The Problem in Using Fixed-Effects Models of Meta-Analysis on Real-World Data. Understanding Statistics, 2(2), 105-124.

Field, A. P. (2005). A Bluffers Guide to Meta-Analysis. Psy-Pag Quarterly, 58, 9-23.

Field, A. P. (2005). Is the Meta-Analysis of Correlation Coefficients Accurate when Population Correlations Vary? Psychological Methods, 10(4), 444-467.

Glass, G. V. (1976). Primary, Secondary, and Meta-Analysis Research. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco.
http://www.gvglass.info/papers/primary.pdf

Glass, G. V. (2000). Meta-Analysis at 25. 2013, from http://www.gvglass.info/papers/meta25.html

Hedges, L. V., Cooper, H., & Bushman, B. J. (1992). Testing the Null Hypothesis in Meta-Analysis: A Comparison of Combined Probability and Confidence Interval Procedures.
Psychological Bulletin, 111(1), 188-194 (http://www-personal.umich.edu/~bbushman/hcb192.pdf)

Howell, D. C. (2013). Statistical Methods for Psychology (8th ed.). Wadsworth: Cengage Learning

Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis (2nd ed.). Thousand Oaks: Sage.

Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39 (http://www.tim.tuberlin.de/fileadmin/fg101/TIM_Working_Paper_Series/Volume_102/TIM_WPS_Kock_2009.pdf)

Lyons, L. C. (2003). Meta - Analysis: Methods of Accumulating Results Across Research Domains (http://www.lyonsmorris.com/METAA/index.htm)

Mricuoiu, L. P. (2008). Introducere n metaanaliz. Metaanaliza corelaiilor. Psihologia Resurselor Umane, 6(2), 112-127.

Means, B., Toyama, Y., Murphy, R., Bakia, M., & Jones, K. (2010). Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning
Studies: U.S. Department of Education: Office of Planning, Evaluation, and Policy Development Policy and Program Studies Service

Rosenthal, R., & DiMatteo, M. R. (2001). META-ANALYSIS: Recent Developments in QuantitativeMethods for Literature Reviews. Annual Revue of Psychology(52), 59-82.

Sava, A. F. (2013). Psihologia validat tiinific. Ghid practic de cercetare n psihologie. Iai: Polirom.

Schmidt, F. (2008). Meta-Analysis : A Constantly Evolving Research Integration Tool. Organizational Research Methods, 11(1), 96-113

Schmidt, F. L., & Hunter, J. E. (2005). Meta-Analysis. In N. Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Eds.), Handbook of Industrial, Work & Organizational Psychology
(Vol. 1 - Personnel Psychology, pp. 51-70). London
3/4/2014
42