Sunteți pe pagina 1din 35

M.

Popa

2013

A. Ce este meta-analiza?
B. Obiectivele meta-analizei C. Etapele procesului de meta-analiz

D. Puncte tari ale meta-analizei


E. Puncte slabe ale meta-analizei F. Resurse

G. ntrebri recapitulative

Referine bibliografice

3/11/2013

numeroase studii numeroase teme de cercetare

aceeai tem este abordat de mai

muli autori:

n condiii diferite
pe populaii diferite

Meta-analiza se refer la analiza analizelor analiza statistic a unei largi colecii de rezultate obinute n studii individuale, cu scopul de a integra concluziile acestora. Este o alternativ riguroas la analiza cauzal, narativ, a studiilor de cercetare, care susine efortul de a da un sens expansiunii rapide a cercetrii tiinifice Glass, G. (1976). Primary, secondary and meta-analysis of research, p.3

Rezultatele pot fi variate


care este adevrul?

(concordante sau discordante)


cum se poate trage o concluzie din

analiza rezultatelor mai multor studii?


Narativ (tradiional) Statistic (ncepnd din deceniul, 9 sec. XX)
3/11/2013

Soluii pentru sinteza lucrrilor tiinifice:

Schmidt, F. L., & Hunter, J. E. (2003, p. 533): Meta-analiza integreaz rezultatele mai multor studii care trateaz acelai subiect, pentru a descoperi modelele simple ale relaiilor evideniate n aceste cercetri, ca baz pentru dezvoltarea teoriilor psihologice.
Meta-analiza se refer la analiza analizelor analiza statistic a unei largi colecii de rezultate obinute n studii individuale, cu scopul de a integra concluziile acestora. Este o alternativ riguroas la analiza cauzal, narativ, a studiilor de cercetare, care susine efortul de a da un sens expansiunii rapide a cercetrii tiinifice
Glass, G. (1976). Primary, secondary and meta-analysis of research, p.3

3/11/2013

Abordarea statistic tradiional:

testarea ipotezelor i decizia cu privire la H0 nu este potrivit integrrii rezultatelor din studii diferite

Semnificaia statistic depinde de N (care este diferit de la studiu la studiu)


Admiterea H0 nu are aceeai greutate ca respingerea H0

statistic semnificativ este o concluzie puternic


statistic nesemnificativ este o concluzie slab

Meta-analiza

orientat cu precdere pe mrimea efectului

directia i magnitudinea mrimii efectului n studii dedicate aceluiai subiect

3/11/2013

(Kanfer & Kantrowitz, 2002)

3/11/2013

3/11/2013

ntrebri la care meta-analiza ncearc s ofere rspuns:


Care este mrimea medie a efectului n studiile analizate? Este efectul respectiv statistic semnificativ? ( dei acest aspect nu

este neaprat important) Care sunt limitele intervalului de ncredere pentru efectul mediu?

Distribuia efectelor individuale este omogen sau neomogen? dac rezultatele nu difer n urma artefactelor studiilor n mai mare msur dect este de ateptat, ele sunt considerate a fi omogene (Hox, 1995)
Exist influene moderatoare asupra efectului? (variaz acesta n

funcie de valorile altor variabile?)

3/11/2013

1) Alegerea temei cercetrii


2) Gsirea studiilor 3) Alegerea studiilor

4) Calcularea indicelui de mrime a efectului


5) Efectuarea meta-analizei 6) Raportarea rezultatelor meta-analizei

3/11/2013

O meta-analiz se efectueaz: pe teme tem de interes larg printre cercettori pentru perioade de timp care nu au mai fost acoperite de mate-analize
Spring (2007): ntrebarea fundamental
P population
I intervention C comparison

(Kanfer & Kantrowitz, 2002)

O outcome

Exemplu: Compararea eficienei (O)


Murphy, R., Bakia, M., & Jones, K. (2010)

nvrii online (I) cu nvarea tradiional (C), la elevii de liceu (P), Means, B., Toyama,Y.,

3/11/2013

10

Volume de proceedings i rezumate


Dizertaii interne externe Baze de date electronice Psych Info, APA online SSCI, Web of Science ERIC Altele

Articole de sintez (review articles)


Manuscrise nepublicate (sau n curs de publicare) Documente oficiale (guvernamentale, agenii etc.)
3/11/2013

11

Criterii posibile: Perioada acoperit de meta-analiz Definirea operaional a variabilelor Tipul de studiu (experiment; quasi-experiment; corelaional) Calitatea studiilor
Rigoarea modelului de cercetare Raportarea indicilor de mrime a efectului sau a valorilor necesare pentru acestea

Publicate/nepublicate
Reviste peer-review

Etc.

Obiectivitatea alegerii Evaluatori diferii, pentru a garanta aplicarea concordant a criteriilor de includere
Pentru aprofundarea problemei alegerii studiilor recomandm cap. 7 din: Sava, A. F. (2013). Psihologia validat tiinific. Ghid practic de cercetare n psihologie . Iai: Polirom.
3/11/2013

12

Meta-analiza vizeaz un anumit indice de mrime a afectului


Dac studiile alese raporteaz indici diferii de mrime a efectului Se alege indicele preferat Se transform toi indicii n indicele ales Indici eligibili r Pearson d Cohen delta Glass g Hodges raportul de ans (odds-ratio) Alii: proporii, raportul de risc, rata de inciden etc.
3/11/2013

13

Formule pentru obinerea coeficientului de corelaie


Pentru tabele de contingen 2x2 Transformarea d Cohen n r Pearson

Transformarea r n d

Pentru ANOVA Two Way

Pentru ANOVA One Way

3/11/2013

14

Mrimea efectului pe tabele de contingen de tip 2x2


Frecvena
SUCCES GRUP EXPERIMENTAL a EEC b

GRUP DE CONTROL

RAPORTUL DE ANS

RAPORTUL DE RISC

Raportul dintre cota de succes n grupul experimental i cota de succes n grupul de control

Raportul dintre probabilitatea de succes (eec) a fiecrui grup

ad ES bc

a / (a b) ES c / (c d )
15

Modele de meta-analiz
Modelul efectelor fixe
Ia n considerare doar

Modelul efectelor aleatorii


Ia n considerare i

variana intra-studiu (eroarea de stimare a fiecrui efect n raport cu un efect global, considerat unic pentru toate cercetrile)

variana dintre studii (eroarea de estimare a fiecrui studiu prin raportare la celelalte) studiu descrie un efect diferit de celelalte, care ns, mpreun, descriu un super-efect comun
3/11/2013

Presupune c fiecare

16

Variana intra studiu

Exist un efect comun, unic Fiecare studiu descrie acest efect Diferenele dintre studii sunt expresia erorii de eantionare

=0.37 1 r=0.30 2 r=0.35

3
r=0.40

4
r=0.43

Studiul 1

Studiul 2

Studiul 3

Studiul 4
3/11/2013

17

Fiecare studiu descrie un efect diferit, determinat de condiii specifice: vrsta Superpopulaia tuturor studiilor
participanilor, nivelul de educaie, starea de sntate, natura interveniei etc.

Distribuia efectelor diferite este expresia unei super-distribuii, care descrie efectul adevrat Eroarea total este compus din dou erori 4 r=0.40 r=0.44 Populaiile fiecrui studiu

=0.37 1 r=0.29 r=0.35 2 3

1 r=0.27 Studiul 1

2 r=0.41

3 r=0.37 Studiul 3

4 r=0.43 Studiul 4
3/11/2013

Studiul 2

18

Fiecare din cele dou modele poate produce rezultate i concluzii diferite
Alegerea modelului este crucial:
Afecteaz procedurile de calcul Definete obiectivele meta-analizei Orienteaz interpretarea rezultatelor

Modelul efectelor fixe

Este mai uor de efectuat Conduce la supraevaluarea efectului Probabilitate mai mare pentru eroarea de tip I
Se estimeaz c un procent n jur de 50% dintre studiile de meta-analiz care utilizeaz modelul efectelor fixe, concluzioneaz greit

cu privire la existena unui efect procentul erorii de tip I este cu att mai mare cu ct N mediu este mai mic

Nu permite generalizarea concluziilor dincolo de studiile analizate Recomandabil atunci cnd numrul studiilor este mic (k<20) Totui, majoritatea meta-analizelor publicate se bazeaz pe metoda efectelor fixe (!!!)

Modelul efectelor aleatorii


Presupune calcule mai laborioase Ofer concluzii mai sigure Concluziile sunt generalizabile n afara studiilor analizate (validitate extern mai mare) Este mai recomandabil Dar nu se va efectua atunci cnd numrul studiilor este mai mic de 20 (dar ar trebui s fie mai mare de att)

3/11/2013

19

Hunter & Schmidt


Media mrimii efectelor Variana efectelor Variana erorii de

Hedges & colleagues

eantionare corelaii

Variana populaiei de
Testul semnificaiei efectului mediu

95% CI

Testul omogenitii

3/11/2013

20

Hedges & colleagues


Media mrimii efectelor

Eroarea standard a efectului mediu Variana erorii de eantionare


Variana populaiei de corelaii

95% CI

21

Testul omogenitii

3/11/2013

Hunter & Schmidt


Media mrimii efectelor

Eroarea standard a efectului mediu Variana erorii de eantionare


Variana populaiei de corelaii Testul semnificaiei efectului mediu

95% CI

Testul omogenitii

3/11/2013

Fiierul meta-corr_final.xlsx
Exemplu de calcul realizat dup: Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.

3/11/2013

23

Funnel plot (Light and Pillemer, 1984)


Scatter-plot pentru corelaia dintre mrimea

Forrest plot
Graficul comparativ al intervalelor de

efectului i mrimea eantionului

Ideal trebuie s aib forma de mai jos

ncredere pentru efectele analizate

Dac este asimetric, este posibil eroare de

publicare

3/11/2013

24

L'Abb Plot
scatter-plot pentru rezultatele studiilor

individuale (grup experimental/de control)


rata evenimentului din grupul experimental

pe axa Oy rata evenimentului pentru grupul de control pe axa Ox

3/11/2013

25

Raportarea suportului teoretic


Definirea problemei Enunarea ipotezei

Descrierea rezultatului care va fi analizat


Tipul de intervenie utilizat

Tipul modelului de cercetare


Populaia vizat

Strategia de cutare a studiilor


Bazele de date analizate

Cuvinte cheie de cutare


Softul utilizat

Traducerea articolelor din alt limb

3/11/2013

26

Metoda utilizat
Relevana studiilor selectate Tehnica de codificare a studiilor

Evaluarea calitii studiilor


Evaluarea eterogentii

Metodele statistice utilizate (model, tehnic)

Rezultate
Tabele i grafice adecvate
Rezultatele analizei de senzitivitate

Discuii
Evaluarea posibilelor surse de eroare

Justificare eventualelor excluderi


Concluzii i generalizarea lor

Sugestii pentru viitoare meta-analize


3/11/2013

27

Evidenierea efectelor unor variabile moderatoare


Categorii de vrst, gen, ocupaie
Condiii de cercetare (experiment. Non-experiment) Etc.
Nu sunt abordate n aceast prezentare

3/11/2013

28

Ofer posibilitatea analizei obiective,

sistematice a rezultatelor obinute n cercetri diferite

Meta-analiza este o metod de cercetare foarte utilizat

Pune ordine n haosul cercetrii tiinifice Permite concluzii i generalizri pe care

studiile individuale nu i le pot permite

Are o putere statistic mai mare dect

studiile individuale explicaiei

Poate include moderatori n procesul

Frecvena meta-analizelor n bazele de date EBSCO


Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39

3/11/2013

29

Putem avea ncredere n meta-analiz? Meta-analiza este vzut ca salvatoarea sintezei literaturii de cercetare, dar poate n mod nejustificat. La fel ca i n cazul altor proceduri statistice, rezultatele sunt att de bune pe ct de bune sunt datele utilizate i persoana care efectueaz analiza: dac modelul efectelor fixe va continua s fie utilizat n mod rutinier, riscm s obinem concluzii care supraliciteaz mrimea efectelor (Field, A. P., 2001. Can Meta-Analysis Be Trusted? Psychologist, 16(12), p. 11)
Eroarea de publicare Sunt publicate cu precdere studiile care confirm existena unui efect Meta-analizele tind supraestimeze mrimea efectului efectul Soluii: cutarea literaturii gri nepublicat sau publicat pe internet Rezultatele meta-analizei depind de: calitatea procesului de identificare i alegere a studiilor
deciziile cu privire la modelul i tehnica de calcul

Dac obiectivul principal este estimarea unui efect, metoda Hunter -Schmidt este mai puin avantajoas

dect metoda Hedges & Co

Dac obiectivul este semnificaia statistic i avem >80 de studii, ambele metode sunt la fel de bune ntre 20-40 de studii, metoda Hedges & Co este preferabil

Pentru mai puin de 20 de studii testul de semnifica ie nu are relevan


3/11/2013

30

Impactul artefactelor statistice


Fidelitatea
Restricia de amplitudine

Pentru corecia lor, vezi: http://www.mpopa.ro/miscellanea/Marian_Popa_Cronbach_alfa.pdf http://www.mpopa.ro/miscellanea/M_Popa_restrictie_amplitudine_PRU.pdf


Alegerea formulelor de calcul
Hedges & Olkin i Rosenthal and Rubin: calcularea efectului mediu CU transformarea in Zr Hunter & Schmidt: calculare efectului mediu FARA transformarea in Zr Exist soluii diferite pentru calcularea erorii standard (Hunter i Schmidt versus Rosenthal) Fiecare soluie conduce la rezultate diferite!

3/11/2013

31

Obiective bine definite Definiie precis a variabilelor i rezultatelor

Un proces adecvat de identificare i selecie a studiilor


Descrierea i evaluarea eterogenitii Justificarea tehnicilor de analiz Validarea concluziilor prin analiza de senzitivitate:
a) utilizarea n paralel a mai multor tehnici de calcul b) analiza repetat, cu scoaterea unor studii

Dac rezultatele se modific vizibil, atunci credibilitatea este compromis

3/11/2013

32

Practical Meta-Analysis Effect Size Calculator

David B. Wilson, Ph.D., George Mason University

http://www.campbellcollaboration.org/resources/effect_size_input.php
Computer Programs for Meta-Analysis

http://commfaculty.fullerton.edu/jreinard/meta-analysis_programs.htm
MetaEasy: A Meta-Analysis Add-In for Microsoft Excel
http://www.jstatsoft.org/v30/i07

3/11/2013

33

Ce este meta-analiza? Care sunt obiectivele meta-analizei?

Care sunt erorile posibile n faza de documentare i alegere a studiilor pentru meta-analiz?
Care este fundamentul teoretic al modelului efectelor fixe? Care este fundamentul teoretic al modelului efectelor aleatorii? Care sunt punctele slabe ale meta-analizei? Care sunt punctele tari ale meta-analizei?

Care sunt condiiile de baz ale unei meta-analize bune?

3/11/2013

34

Borenstein, M., Hedgesb, L. V., Higginsc, J. P. T., & Rothsteind, H. R. (2010). A basic introduction to fixed-effect and random-effects models for meta-analysis. Rsesearch Synthesis Methods, Published online in Wiley Online Library. doi: 10.1002/jrsm.12

Field, A. P. (2001). Can Meta-Analysis Be Trusted? Psychologist, 16(12), 642-645.


Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180. Field, A. P. (2003). The Problem in Using Fixed-Effects Models of Meta-Analysis on Real-World Data. Understanding Statistics, 2(2), 105-124. Field, A. P. (2005). A Bluffers Guide to Meta-Analysis. Psy-Pag Quarterly, 58, 9-23. Field, A. P. (2005). Is the Meta-Analysis of Correlation Coefficients Accurate when Population Correlations Vary? Psychological Methods, 10(4), 444-467.

Glass, G. V. (1976). Primary, Secondary, and Meta-Analysis Research. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco. http://www.gvglass.info/papers/primary.pdf
Glass, G. V. (2000). Meta-Analysis at 25. 2013, from http://www.gvglass.info/papers/meta25.html

Hedges, L. V., Cooper, H., & Bushman, B. J. (1992). Testing the Null Hypothesis in Meta-Analysis: A Comparison of Combined Probability and Confidence Interval Procedures. Psychological Bulletin, 111(1), 188-194 (http://www-personal.umich.edu/~bbushman/hcb192.pdf)
Howell, D. C. (2013). Statistical Methods for Psychology (8th ed.). Wadsworth: Cengage Learning Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis (2nd ed.). Thousand Oaks: Sage. Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39 (http://www.tim.tuberlin.de/fileadmin/fg101/TIM_Working_Paper_Series/Volume_102/TIM_WPS_Kock_2009.pdf) Lyons, L. C. (2003). Meta - Analysis: Methods of Accumulating Results Across Research Domains (http://www.lyonsmorris.com/METAA/index.htm) Mricuoiu, L. P. (2008). Introducere n metaanaliz. Metaanaliza corelaiilor. Psihologia Resurselor Umane, 6(2), 112-127. Means, B., Toyama, Y., Murphy, R., Bakia, M., & Jones, K. (2010). Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning Studies: U.S. Department of Education: Office of Planning, Evaluation, and Policy Development Policy and Program Studies Service

Rosenthal, R., & DiMatteo, M. R. (2001). META-ANALYSIS: Recent Developments in QuantitativeMethods for Literature Reviews. Annual Revue of Psychology(52), 59-82.
Sava, A. F. (2013). Psihologia validat tiinific. Ghid practic de cercetare n psihologie. Iai: Polirom. Schmidt, F. (2008). Meta-Analysis : A Constantly Evolving Research Integration Tool. Organizational Research Methods, 11(1), 96-113 Schmidt, F. L., & Hunter, J. E. (2005). Meta-Analysis. In N. Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Eds.), Handbook of Industrial, Work & Organizational Psychology (Vol. 1 - Personnel Psychology, pp. 51-70). London 3/11/2013

35