UNIVERSITATEA BABE-BOLYAI CLUJ-NAPOCA FACULTATEA DE PSIHOLOGIE I TIINE ALE EDUCAIEI Catedra de Psihologie Clinic i Psihoterapie

INTRODUCERE N METAANALIZ
(III)

CS III dr. Sebastian Pintea

Etape n efectuarea unei meta-analize (reluare) 1. 2. Formularea problemei studiate (variabilele, relaia dintre ele) Colectarea studiilor care ofer rezultate privind relaia vizat (precizarea clar a criteriilor de includere) 3.1. Codarea studiilor i 3.2. Calcularea mrimii efectelor Inspecia distribuiei mrimii efectelor i analiza variabilelor moderatoare

3. 4.

5.

Interpretarea rezultatelor i raportarea acestora

Analiza variabilelor moderatoare

Studiul relaiei ntre moderatori

Ca i n cercetarea primar, n relaia moderatorilor cu mrimea efectelor pot aprea variabile confundate (ex. grupuri de cercetare instrumente de msur, anul publicaiei o nou sarcin experimental)
Aceste distorsiuni pot fi limitate prin studiul relaiei ntre moderatori

Aceast relaie poate fi studiat prin:

proceduri parametrice pentru variabile moderatoare continue Proceduri neparametrice pentru variabile moderatoare categoriale Prin artificii statistice (transformarea scalelor) Ex. M1-pregtirea medical/nonmedical M2-afilierea la instituie medical/nonmedical Tabel de contingen 2X2 (hi ptrat sau fi) Corelaie parametric pe variabile dummy (M1: 0/1, M2: 0/1 corelaie Pearson) Alte Ex: experiena de cercettor a autorului (ani), titlu tiinific (PhD vs non-PhD), nr de trepte ale scalei pt var dependent

Atenie: dac exist corelaie ntre moderatori:

Se alege moderatorul proximal

Testarea unui moderator categorial

Se face cu ajutorul unei proceduri similare ANOVA Ex. studii randomizate vs. non-randomizate, eantion de tineri vs eantion de vrstnici, tratament pe termen scurt vs lung etc.

QB - variabilitatea explicat de moderator (wj inversul varianei sau nr de

subieci)

QW variabilitatea neexplicat de moderator

Cei doi indicatori urmeaz o distribuie de tip hi ptrat

QB (df=k-1) (k nr de modaliti ale moderatorului) QW (df=n-k) (n nr de mrimi ale efectului incluse n metaanaliz)

Testarea unui moderator continuu

Urmeaz o procedur similar regresiei liniare Valorile variabilei criteriu (mrimile efectelor) se pondereaz cu wi Pentru a vedea dac coeficientul de regresie obinut este semnificativ statistic, se calculeaz pt acesta o valoare Z astfel: Unde:
b1: coeficientul de regresie sb1: eroarea standard corectat a coeficientului b1 ub1: eroarea standard necorectat a coeficientului b1 MSE: eroarea standard a modelului

Alte utilizri:
Testarea unor modele cu mai mult de un moderator (regresie liniar multipl) Testarea efectelor de interaciune ntre moderatori (regresie liniar multipl)

Redactarea meta-analizei
Introducerea (conine):
Definirea clar a problematicii studiate i integrarea acesteia ntr-un context teoretic mai larg Prezentarea literaturii n domeniul studiat, n mod similar unui studiu primar Un argument pentru care este nevoie de o metaanaliz n domeniul vizat O prezentare a dezabaterii existente n domeniu Explicarea oricrui termen nou ce va fi introdus n studiu Definirea clar a efectului ce va fi urmrit n studiu Delimitarea teoretic a studiului (graniele lui teoretice) Descrierea fiecrui subgrup de studii ce va fi analizat Fundamentul teoretic al oricrui model statistic ce va fi testat ulterior

Redactarea meta-analizei
Metoda (conine):
Descrierea procedurii de cutare Toate bazele de date care au fost utilizate pentru cutare Toi termenii cheie care au fost utilizai n cutare Anii pentru care s-a fcut cutarea Review-urile din bibliografia crora s-au extras studii Numele i volumele/numerele revistelor tiinifice n care s-a fcut cutarea manual O descriere a tuturor tentativelor de contactare a unor autori pentru a gsi studii nepublicate ATENIE: descrierea procedurilor de cutare trebuie s fie att de detaliat nct s permit replicarea studiului metaanalitic Criteriile dup care au fost incluse/excluse studiile din analiz

Redactarea meta-analizei
Metoda (conine continuare 1):
Descrierea modului de codare a variabilelor moderatoare Procedura general de codare Cte persoane pentru codare s-au folosit Ct de familiare erau acestea cu literatura vizat Dac s-a codat unul sau mai multe efecte din acelai studiu (dac s-au codat mai multe cum s-a fcut) Cum s-au soluionat diferenele ntre persoanele care au codat Descrierea fiecrui moderator codat Cum s-a decis ca acel moderator s fie inclus n analiz Care au fost unitile (pt scale continue) sau categoriile (scale categoriale) alese Regulile dup care s-a fcut codarea moderatorilor Concordana inter-codificatori

Redactarea meta-analizei
Metoda (conine continuare 2):
Descrierea modului n care s-au calculat mrimile efectelor Definirea variabilelor care au intrat n compunerea mrimii efectelor O descriere a modului n care au fost operaionalizate variabilele n literatur Care a fost procedura de calcul a mrimii efectelor; de ce s-a ales acea procedur i nu alta Orice alt aspect relevant legat de metod

Redactarea meta-analizei
Rezultate (conine): Se descrie distribuia mrimilor efectelor Histograma mrimii efectelor Discuia posibililor outliers Studiul tipic (valorile modale ale moderatorilor) Indicatori statistici descriptivi (nr studiilor incluse, nr total de subieci, media ponderat a mrimii efectului i intervalul de ncredere, amplitudinea mrimii efectelor, valoarea QT i valoarea p corespunztoare acesteia)

Redactarea meta-analizei
Rezultate (conine):
Se descriu moderatorii
Moderatorii categoriali
Numrul de mrimi ale efectelor incluse n fiecare modalitate a moderatorului Numrul de subieci inclui n fiecare modalitate a moderatorului Media ponderat a mrimii efectului n fiecare modalitate

QWj omogenitatea n fiecare modalitate i valorile p aferente QB i valoarea p corespunztoare acesteia QW i valoarea p corespunztoare acesteia
Testele de semnificaie pentru compararea grupelor de contrast Moderatorii variabile continue
Coeficientul de regresie b1 Eroarea standard a coeficientului de regresie Testul de semnificaie pentru coeficientul de regresie

Redactarea meta-analizei
Discuii i concluzii (conine):
Interpretarea calitativ a mediei mrimilor efectelor Explicarea fiecrui moderator gsit ca fiind semnificativ n urma analizei Descrierea performanei fiecrui model predictiv al mrimilor efectelor Discuie asupra diversitii studiilor incluse n metaanaliz Relevana teoretic a rezultatelor obinute n urma metaanalizei pentru domeniul vizat Menionarea acelor caracteristici ale analizei care limiteaz generalizarea rezultatelor ei Trasarea direciei unor viitoare studii similare

O gril de evaluare a metaanalizelor

Validitatea intern a metaanalizei
Validitatea intern a meta-analizei se afl n strns legtur cu validitatea intern a studiilor pe care le sintetizeaz Metaanaliza trebuie s includ suficient de multe studii pentru a avea putere statistic suficient Dac studiul testeaz i moderatori, trebuie prezentat i studiul relaiei ntre moderatori n codare sunt folosite cel puin dou persoane i se prezint concordana intercodificatori (preferabil peste 0.7)

O gril de evaluare a metaanalizelor

Validitatea extern a metaanalizei
Dat de reprezentativitatea eantionului de studii utilizat Graniele teoretice ale metaanalizei (omogenitatea si heterogenitatea studiilor) Caracterul exhaustiv al procesului de cutare a studiilor (keywords, alte proceduri) S-a cutat i n cadrul unor discipline conexe? S-au inclus i studii nepublicate? Ct de riguros s-a fcut cutarea acestora? Efectele calculate pentru fiecare studiu trebuie s reprezinte acelai construct teoretic (Ex. self-eficacy vs miscalibration)

O gril de evaluare a metaanalizelor

Contribuia teoretic a metaanalizei
Metaanaliza nu trebuie s fac doar o sintez cantitativ a literaturii ci s interpreteze i s integreze teoretic rezultatele obinute S arate factori iinifici (Ex. tip de design, amplitudinea scalelor) i non-tiinifici (Ex. background tiinific al autorilor, gen) care modereaz efectele obinute n cercetarea primar S ncurajeze studii viitoare, sugernd arii teoretice care mai trebuie investigate i soluii metodologice cu potenial ridicat de evideniere a efectelor