Sunteți pe pagina 1din 16

Introducere în metaanaliză.

Metaanaliza corelaŃiilor
1
LaurenŃiu P. MaricuŃoiu
Universitatea de Vest din Timișoara

Abstract

The present paper discusses the fundamental principles of meta-analysis, as a statistical method
for summarising results of correlational studies. We approach fundamental issues such as: the
finality of meta-analysis and the problems associated with study artefacts. The paper also contains
recommendations for: selecting the studies for meta-analysis, identifying the relevant information
within these studies, computing mean effect sizes, confidence intervals and heterogeneity indexes
of the mean effect size. Finally, we present indications for reporting meta-analysis results.

Key words: meta-analysis, correlations, statistical methods

Résumé

Cet article pressente les principes fondamentales du meta-analyse, un méthode statistique de


rassembler et de réanalyser les résultats d’études comparables qui ont utiliser la corrélation.
L’article pressente problèmes fondamentaux dans l’étude meta-analytique : la finalité de cette type
d’étude et les problèmes associe avec les artefacts de la recherche sociale. Nous pressentons des
recommandations pour : la sélection d’études pour la meta-analyse, l’identification des information
relevante contenu dans les études analyse, la moyenne de calcul de la magnitude d’effets, les
confiance intervalles et les indices l'hétérogénéité des résultats des études individuelles.
Finalement, on pressente les standards de rapporter les résultats obtenus dans la meta-analyse.

Mots-clés: meta-analyse, corrélation, méthodes statistiques

1
Introducere Moldovan & Pintea, 2008; Popa, Negoescu,
Pleşea & MaricuŃoiu, 2008) şi doar unul în
Metaanaliza este o metodă care 2006 (Trip, 2006).
„permite revizuirea unui domeniu de cercetare Articolul de faŃă se doreşte a fi o
şi determinarea gradului în care un rezultat introducere în tehnica metaanalizei corelaŃiilor.
particular a fost replicat cu succes de diverse Vom prezenta principalele elemente
cercetări” (Eden 2002, p.841). Deşi metodologice prezente în orice demers
dezvoltarea acestei metode nu a fost lipsită de metaanalitic, precum şi etapele ce trebuie
critici, metaanaliza s-a impus ca tehnică de urmate în planificarea şi derularea unui astfel
analiză cantitativă a rezultatelor obŃinute de de demers.
studiile derulate într-un anumit domeniu de
cercetare. Problema comparării studiilor
În România, metaanaliza este încă la
început. În ciuda prezentării principiilor Problema principală a metaanalizei
metodei în capitole precum „Metaanaliza” este de a transforma rezultatele statistice
(Miclea, 1994) sau „Metaanaliza şi validitatea obŃinute în studii cu design experimental diferit
generalizată” (Hohn, Vârgă & Măruşter, 1999), în indicatori comuni, care să poată fi
marea majoritate a psihologilor nu au decât cel comparaŃi. De exemplu, cum putem compara
mult cunoştinŃe generale legate de această rezultatele obŃinute într-un experiment în care
metodă. De exemplu, în cadrul ConferinŃor s-a recurs la 2 măsurători repetate cu
NaŃionale de Psihologie au fost prezentate rezultatele obŃinute într-un experiment cu 3
două astfel de studii în 2008 (Rusu, Macavei, eşantioane independente? Cum putem
compara un coeficient de corelaŃie obŃinut în
1
Adresa de contact: lmaricutoiu@socio.uvt.ro
urma aplicării testelor la 60 de subiecŃi cu un

112
Despre metodă

coeficient de corelaŃie obŃinut în urma aplicării Tipuri de metaanaliză


aceloraşi teste la 160 de subiecŃi?
Pentru a rezolva această problemă, Problema diferenŃelor dintre rezultatele
rezultatele raportate de studii sunt diferitelor studii a fost abordată în mod diferit
transformate într-o măsură a eficienŃei relaŃiilor de-a lungul timpului. Schimdt şi Hunter (2003,
identificate care să nu fie dependentă de p. 544) analizează retrospectiv aceste
pragul de semnificaŃie înregistrat, iar această abordări, împărŃindu-le în patru mari categorii:
măsură este numită mărimea efectului (Durlak, metaanalize descriptive, metaanalize care
2005; Sava, 2004; Sava & MaricuŃoiu, 2007). analizează eroarea de eşantionare,
Mărimea efectului ar trebui raportată în metaanalize în care sunt eliminate influenŃele
orice cercetare, atât pentru a arăta importanŃa artefactelor de cercetare şi metaanalizele
practică a rezultatului obŃinut cât şi pentru a psihometrice.
facilita includerea acestor rezultate în Metaanalize pur descriptive se
metaanalize. Totuşi, raportarea mărimii limitează la cuantificarea mărimii efectului
efectului nu este o practică curentă, ceea ce pentru studii diferite şi a variaŃiei acesteia.
obligă autorii metaanalizelor să calculeze Această perspectivă afirmă că variaŃia mărimii
aceşti indicatori pentru fiecare studiu în parte. efectului este normală şi poate fi explicată prin
Calcularea mărimii efectului poate fi realizată calcularea corelaŃiilor dintre caracteristicile
atât manual cât şi utilizând software-uri studiilor şi mărimea efectului înregistrată de
specializate în acest sens (G-Power – Faul & acestea. Un astfel de demers ridică însă mai
Erdfelder, 1992; Power and Precision – multe probleme: cum înregistrăm
Borestein, Rothstein & Cohen, 2001; caracteristicile studiilor, dacă putem înregistra
PowerStaTim – MaricuŃoiu & Sava, 2007). aceste caracteristici pentru toate studiile şi, nu
în ultimul rând, ce se întâmplă dacă aceste
Finalitatea metaanalizei caracteristici nu corelează cu mărimea
efectului. În plus, această abordare nu este
Scopul metaanalizei este de a ajunge interesată de calcularea indicelui de
la un „super-rezultat” care să descrie omogenitate despre care aminteam în
intensitatea fenomenului studiat la nivelul rândurile anterioare.
populaŃiei generale (de Leeuw & Hox, 2003). Metaanalizele care analizează eroarea
Acest „super-rezultat” este compus din de eşantionare pleacă de la constatarea
trei elemente: o medie a mărimii efectelor faptului că cel mai important aspect care
înregistrate de studiile introduse în produce variaŃia mărimii efectului este eroarea
metaanaliză, un interval de încredere al de eşantionare. Există două mari metode de
acestei medii şi o estimare a omogenităŃii analiză a erorii de eşantionare: metaanaliza
rezultatelor analizate. Astfel, „super-rezultatul” „oaselor goale” (bare-bones meta-analysis)
ideal este caracterizat de un efect mediu propusă de Hunter şi Schmidt (2004) şi
puternic, un interval de încredere care nu se metaanaliza axată pe testarea heterogenităŃii
apropie sau nu include valoarea „0” şi un studiilor (Rosenthal, Jhoyt, Ferrin, Miller &
indice de omogenitate cât mai ridicat. Cohen, 2006; Rosenthal & DiMatteo 2001).
Omogenitatea rezultatelor nu se referă DiferenŃa dintre aceste două perspective
la utilizarea aceleiaşi metode statistice, ci la o constă în faptul că în metaanaliza „oaselor
varianŃă moderată a pragurilor de semnificaŃie goale” se calculează un coeficient de
sau a indicatorilor de mărime a efectului. Cu omogenitate, pe când în cealaltă variantă se
alte cuvinte, dacă rezultatele nu diferă în urma calculează un coeficient de eterogenitate
artefactelor studiilor în mai mare măsură decât (testul Q). Aceste două abordări duc de obicei
este de aşteptat, ele sunt considerate a fi la rezultate relativ similare.
omogene (Hox, 1995, p.67). Heterogenitatea Metaanaliza artefactelor analizează
rezultatelor analizate este o surpriză oarecum atât eroarea de eşantionare cât şi erorile de
neplăcută pentru cercetătorul care realizează o măsurare. Termenul de artefact de cercetare
metaanaliză deoarece această situaŃie indică este utilizat în literatura de specialitate pentru
faptul că studiile analizate raportează variaŃii a desemna acea caracteristică a studiului care
mult prea mari pentru a se trage o concluzie poate duce la influenŃarea rezultatelor obŃinute
general valabilă. (Hunter & Schmidt, 2004). Această categorie
de metaanalize reprezintă o dezvoltare a
metaanalizei „oaselor goale” prin ajustarea
rezultatelor individuale ale studiilor în scopul
eliminării influenŃelor artefactelor.

113
Metaanalizele psihometrice sunt cele diferenŃelor dintre studii. Deşi autorii citaŃi
mai avansate, încercând să identifice anterior enumeră 11 astfel de artefacte, am
variabilele moderatoare care duc la apariŃia preferat gruparea lor în 6 clase, pentru a evita
unor rezultate eterogene. În literatura de repetiŃia explicaŃiilor (de exemplu, Hunter şi
specialitate, acestea sunt relativ rare deoarece Schmidt menŃionează eroarea de măsurare a
în marea majoritate a cazurilor rezultatele sunt VI sau VD ca reprezentând două artefacte
omogene, ceea ce nu justifică utilizarea diferite, oferind aceeaşi explicaŃie asupra
acestor tehnici. În plus, deoarece efectului acestora asupra rezultatelor
metaanalizele psihometrice solicită un număr studiului).
mare de rezultate (şi implicit de studii
analizate), foarte puŃine demersuri Eroarea de măsurare a variabilei
metaanalitice au posibilitatea aplicării lor. dependente sau independente

Validitatea studiului va fi în mod


VariaŃia rezultatelor studiilor. sistematic mai scăzută decât validitatea reală
Problematica artefactelor de datorită faptului că măsurarea variabilelor
cercetare studiului nu este perfectă. În mod tradiŃional,
psihologii utilizează coeficienŃi ai consistenŃei
Ca demers statistic, metaanaliza interne, ca modalitate de a verifica fidelitatea
pleacă de la constatarea diferenŃelor între instrumentelor pe care le utilizează (Cronbach
rezultatele obŃinute de studii diferite. După cum & Shavelson, 2004).
am afirmat anterior, termenul de artefact de În teoria item-test, răspunsul fiecărui
cercetare se referă la acea caracteristică a individ la un test este rezultatul sumei dintre
studiului care poate influenŃa rezultatele scorul real al subiectului şi eroarea de
obŃinute. măsurare a instrumentului (Stan, 2002 p.141).
Totuşi, nu toate artefactele de Coeficientul alfa al lui Cronbach nu este nimic
cercetare acŃionează în acelaşi fel. Hunter şi altceva decât pătratul corelaŃiei dintre scorurile
Schmidt (2004) afirmă că erorile care duc la reale şi cele măsurate (Cronbach &
obŃinerea unor rezultate diferite pot fi aleatoare Shavelson, 2004, p. 400). În Figura 1, valoarea
sau sistematice. Principala diferenŃă dintre lui alfa Cronbach este reprezentată de
aceste două tipuri de erori constă în faptul că suprafaŃa de interacŃiune dintre scorul real şi
erorile sistematice pot fi corectate iar erorile cel măsurat (marcată cu litera B). SuprafaŃa
aleatoare pot fi doar diagnosticate. „A” reprezintă acel aspect al variabilei de
Unul dintre cele mai importante interes care nu este măsurat de instrument, iar
artefacte de cercetare este eroarea de eroarea de măsurare este reprezentată de
eşantionare: cercetările ajung la rezultate suprafaŃa marcată cu „er”.
diferite deoarece nu au fost derulate pe
întreaga populaŃie, ci pe eşantioane extrase
din aceasta prin metode aleatoare sau
nealeatoare (Huffcutt, 2007). Datorită tehnicilor
de eşantionare utilizate, rezultatele unui studiu
vor fi diferite de un rezultatul „real” de la nivelul
populaŃiei, ajungându-se astfel în situaŃia de a
avea rezultate variate de la un studiu la altul
chiar dacă acestea sunt derulate pe aceeaşi
populaŃie. Pentru a determina gradul în care
eroarea de eşantionare influenŃează Figura 1. RelaŃia dintre scorul real şi cel măsurat
diferenŃele dintre studii, cercetătorii apelează
la metaanaliza „oaselor goale” (bare-bones Problema este că în situaŃia în care
meta-analysis) propusă de Hunter şi Schmidt dorim să corelăm două variabile, coeficientul
(2004) şi metaanaliza axată pe testarea de corelaŃie obŃinut în urma măsurătorii va fi
heterogenităŃii studiilor (Rosenthal, Jhoyt, mai scăzut decât cel real. Să presupunem că
Ferrin, Miller & Cohen, 2006; Rosenthal & avem două variabile de interes (X şi Y), fiecare
DiMatteo 2001). cu consistenŃe interne considerate bune (α =
Totuşi, tehnica eşantionării nu este .80). Această consistenŃă internă ne indică
singurul element responsabil pentru rezultatele faptul că 20% din varianŃa scorului real al lui X
diferite obŃinute în cercetare. Hunter şi Schimdt şi Y nu este măsurată de instrumentele
(2004) explică mai multe surse posibile ale utilizate de cercetător. În acelaşi timp, un

114
Despre metodă

procent egal (20%) din varianŃa scorului media sub 5 vs. cei cu media 5 şi
obŃinut de subiecŃi nu are nici o legătură cu peste 5 (de trecere);
variabila psihologică pe care dorim să o • diferenŃa dintre introvetiŃi şi extrovertiŃi
măsurăm. În aceste condiŃii, coeficientul de cu privire la performanŃele lor în
corelaŃie obŃinut de cercetător ne va indica vânzări, împărŃirea în cele două
dispersia comună a ceea ce măsurăm din categorii având la bază includerea în
fiecare variabilă şi nu asocierea reală dintre categoria introvertiŃilor pe cei care
acestea două. obŃin performanŃe sub medie la scala
Un aspect important de care de extroversiune şi includerea în
metaanaliza trebuie să Ńină cont este faptul că categoria extravertiŃilor pe cei care
fidelitatea testelor psihologice nu este general obŃin performanŃe peste medie la scala
valabilă. Coeficientul alfa (Cronbach) este un de extroversiune;
indicator al fidelităŃii specific grupului pe care a • diferenŃa între cei cu performanŃă
fost calculat, iar valoarea lui poate varia în ridicată (peste valoarea medianei) şi
funcŃie de compoziŃia grupului testat şi cei cu performanŃă scazută (sub
caracteristicile situaŃionale ale testării (Urbina valoarea medianei), performanŃa fiind
2004, p.120). măsurată numeric în numărul de
răspunsuri corecte la un test de
Dihotomizarea unei variabile continue cunostinŃe.
În cazul împărŃirii subiecŃilor pe baza
Practica cercetătorilor de a împărŃi unei variabile de tip continuu, subiecŃii dintr-o
populaŃia în categorii pe baza unei variabile grupă sunt uneori mai eterogeni între ei decât
continue (de exemplu: scăzut vs. ridicat) se va subiecŃii din cealaltă grupă. De pildă, o
reflecta în rezultatele studiului. persoană din grupa “admis” având media 5,03
Această eroare apare datorită este introdusă în aceeaşi grupă cu o altă
nerespectării algoritmului de formare a persoană admisă cu media 9.24, în timp ce o
grupelor contrastante (pentru mai multe detalii, altă persoană, cu media 4,98 face parte din
vezi Albu, 1998, p.30-35) şi datorită faptului că grupa “respinşi”, deşi diferenŃa este doar de 5
gruparea se face pe baza unei variabile sutimi faŃă de prima persoană. De aceea, unii
psihologice, deci pe baza unor scoruri cercetători recomandă evitarea dihotomizării
măsurate nu pe baza unor scoruri reale. variabilei continue, preferând alte tehnici
Variabila independentă (predictorul) statistice, cum ar fi regresia liniară.
este de tip discret daca ea a fost măsurată de
la început pe o scală de tip nominal. Iată Amplitudinea specifică eşantionului
câteva exemple de situaŃii în care împărŃirea studiat
subiecŃilor în cele două grupe are la bază o
variabilă de tip discret (Sava & MaricuŃoiu, Acest artefact se referă la faptul că,
2007): prin eşantionare, amplitudinea scorurilor
• diferenŃe între bărbaŃi şi femei; subiecŃilor investigaŃi va fi mai mică sau mai
• diferenŃe între grupul experimental şi mare decât cea a populaŃiei generale. De
grupul de control; exemplu, studiile pe inteligenŃă sunt derulate
• diferenŃe între două clase de elevi pe eşantioane de convenienŃă, ceea ce face
paralele; ca amplitudinea acestei variabile la nivelul
• diferenŃe între două grupe eşantionului studiat să fie mai mică decât
infracŃionale: hoŃi vs. criminali etc. amplitudinea populaŃiei, în sensul că din
SituaŃia în care variabila independentă eşantionul respectiv vor lipsi subiecŃi cu scoruri
(predictorul) a fost iniŃial măsurată pe o scala foarte scăzute sau foarte ridicate la variabila
numerică, iar ulterior, pe baza rezultatelor inteligenŃă. În această situaŃie, rezultatele
obŃinute, subiecŃii sunt împărŃiŃi în două grupe raportate vor fi valabile doar pentru segmentul
de subiecŃi este tipică pentru cazul variabilelor de populaŃie investigat şi nu pentru populaŃia
de tip continuu care au fost dihotomizate. Iată generală.
câteva exemple din această situaŃie (Sava &
MaricuŃoiu, 2007): Devierea de la o validitate perfectă de
• diferenŃa dintre cei admişi şi cei construct, în cazul variabilelor
respinşi la examenul de admitere măsurate
(iniŃial aceştia aveau note cuprinse
între 1 şi 10, dar au fost ulterior Structura factorială a unei scale este
împărŃiŃi în două grupe: cei având determinată de patternul de corelaŃii dintre

115
itemii respectivei scale. Acest pattern de Formularea problemei de cercetare
corelaŃii poate varia de la o populaŃie la alta şi
poate duce la structurarea itemilor pe un Ca orice demers ştiinŃific, metaanaliza
număr diferit de factori faŃă de modelul iniŃial al porneşte de la formularea unor ipoteze de
instrumentului. Aplicarea instrumentelor de cercetare. Discutând problema ipotezelor în
măsurarea fără validarea lor factorială (Albu, metaanaliză, Mullen (1989) susŃine că această
1998) poate duce astfel la modificarea etapă este crucială pentru buna desfăşurare a
conŃinutului măsurării, fără ca cercetătorul să întregului demers, implicând decizii ale
fie conştient de acest lucru. cercetătorilor în patru mari aspecte:
(1)variabila dependentă, (2)variabila
Erori de raportare sau de transcriere independentă, (3)eşantionare şi procedură şi
(4)teste statistice utilizate.
Aceste erori Ńin exclusiv de cercetător În ceea ce priveşte variabila
şi pot consta în: greşeli în codificarea datelor, dependentă şi variabilele independente, două
erori de calcul, erori în citirea rezultatelor aspecte sunt importante: definirea conceptuală
oferite de calculator, erori de transcriere etc. şi definirea operaŃională a acestora (Mullen,
1989). Definirea conceptuală se referă la
Erori datorate variabilelor străine suportul teoretic-conceptual al variabilelor şi
reprezintă prima etapă a construirii unui test
Validitatea studiilor va fi diminuată psihologic (Constantin, 2004, p. 74). Pornind
sistematic de variabilele străine care au fost de la această definire a variabilei ce urmează
ignorate. a fi măsurate, autorii testelor construiesc itemi
care descriu (sau operaŃionalizează)
Planificarea metaanalizei comportamente concordante cu definiŃia
conceptuală a constructului ce se doreşte a fi
Dacă ar fi să apelăm la analogia făcută măsurat. În urma analizelor de itemi şi a
de Lipsey şi Wilson (2001) între metaanaliză şi analizelor factoriale utilizate în construcŃia
un sondaj de opinie, am putea spune că testelor se ajunge la un set de itemi
etapele metaanalizei sunt foarte similare cu (comportamente) care reprezintă definiŃia
etapele unui sondaj de opinie. operaŃională a respectivului construct.
În primul rând, atât în sondajele de În selectarea studiilor pentru
opinie cât şi în metaanaliză trebuie delimitată metaanaliză, cercetătorul trebuie să Ńină cont
şi formulată problema care se doreşte a fi de faptul că definiŃiile operaŃionale pot varia de
investigată. Odată ce această etapă a fost la un instrument la altul, chiar dacă în
depăşită, trebuie stabilită o strategie de construcŃie au pornit de la definiŃii conceptuale
eşantionare pentru identificarea subiecŃilor similare sau chiar identice. DiferenŃa la nivelul
(sau a rapoartele de cercetare) relevanŃi definiŃiilor operaŃionale poate face ca legătura
pentru studiu. Cu alte cuvinte, trebuie dintre constructul respectiv şi un alt construct
delimitată populaŃia pe care vrem să o să fie mai intensă sau mai puŃin intensă. Mai
studiem. mult, variante diferite ale aceloraşi instrumente
Odată ce ştim cum ajungem la subiecŃi duc la apariŃia diferenŃelor la nivelul definiŃiilor
sau la rapoartele de cercetare, trebuie culese operaŃionale. Cu alte cuvinte, includerea în
date relevante pentru problema la care aceeaşi metaanaliză a studiilor care măsoară
încercăm să găsim un răspuns. Aşa cum cei acelaşi construct cu instrumente diferite poate
care organizează şi derulează sondaje de duce la rezultate eronate şi din acest motiv
opinie folosesc chestionare, cercetătorii care cercetătorul trebuie să Ńină cont de
fac metaanalize vor utiliza foi de standardizare instrumentul folosit de autorii articolului pentru
a rezultatelor. În strânsă relaŃie cu acest măsurarea variabilelor de interes.
moment, trebuie organizată o bază de date VariaŃia definiŃiei operaŃionale poate
care să permită păstrarea, procesarea şi duce la obŃinerea unor rezultate eterogene
elaborarea de rapoarte. (care variază mai mult decât ne-am aştepta),
Nu în ultimul rând, atât ancheta socială dar acest lucru nu este obligatoriu.
cât şi metaanaliza trebuie să se încheie cu un Recomandarea noastră pentru cei ce-şi
raport de cercetare. propun să realizeze metaanalize este să
includă studii care au utilizat instrumente
diferite, dar să Ńină o evidenŃă strictă a
metodelor de culegere a datelor folosite de
autorii respectivelor studii. În situaŃia în care

116
Despre metodă

rezultatele raportate de studii nu sunt identifice până la 80% din sursele care vor fi
omogene, autorii metaanalizei au mai multe folosite în metaanaliză.
opŃiuni care vor fi menŃionate ulterior în acest
material. Identificarea informaŃiilor relevante în
cadrul studiilor
Identificarea studiilor relevante
Culegerea informaŃiilor relevante
Identificarea studiilor relevante se face pentru metaanaliză se face în funcŃie de
pe baza elementelor discutate anterior în obiectivele cercetării şi în funcŃie de design-ul
secŃiunea despre ipotezele metaanalizei. experimental al studiilor care sunt analizate
Căutarea articolelor se poate face utilizând (studii corelaŃionale, studii experimentale etc.).
baze de date online. În această etapă este important ca problema
Pentru localizarea studiilor relevante, ce se doreşte a fi studiată să fie cât mai bine
Mullen (1989) propune apelul la două strategii delimitată din cele patru puncte de vedere
de căutare: discutate anterior.
• strategia surselor (ancestry strategy) – Fiecare studiu conŃine mai multe tipuri
presupune căutarea noilor articole de informaŃii, fiecare cu utilitatea ei în
pornind de la bibliografia celor pe care demersul metaanalitic:
le deŃinem deja. Rezultatul căutării va • informaŃii de identificare a studiului;
fi un set de articole mai vechi decât • informaŃii privind potenŃiale variabile
cele pe care le deŃinem deja, articole moderatoare ale mărimii efectului.;
care la rândul lor pot sta la baza unei • informaŃii pentru calcularea mărimii
noi căutări pentru a identifica articole efectului.
şi mai vechi; Datele prezentate în tabelul 1 nu se
• strategia descendenŃei (descendancy doresc a fi exhaustive sau obligatorii. În funcŃie
approach) – cercetătorul poate porni de specificul temei de cercetare lista de mai
de la un articol sau o referinŃa sus poate fi completată.
bibliografică foarte des citată, În acelaşi timp, culegerea tuturor
focalizându-şi căutarea pe noi acestor date nu garantează că toate vor fi utile
manuscrise care au în bibliografie cercetătorului deoarece este posibil ca relaŃia
respectiva referinŃă. O astfel de studiată să fie una omogenă, ceea ce exclude
strategie este foarte eficientă atunci analiza variabilelor moderatoare. Chiar şi în
când se porneşte de la referinŃe în situaŃii de eterogenitate a rezultatelor, este
care sunt prezentate pentru prima puŃin probabil ca toate aceste date să fie utile
oară probe psihologice consacrate în explicarea ei. Totuşi, omiterea unei
deoarece asigură atât o stabilitate a informaŃii în momentul culegerii datelor poate
instrumentelor de evaluare cât şi obliga cercetătorul să reia toate articolele
posibilitatea identificării unor articole pentru a introduce respectiva informaŃie.
care nu au ca principal obiectiv studiul
variabilelor care ne interesează pentru Derularea metaanalizei. Metaanaliza
metaanaliză. De exemplu, dacă corelaŃiilor
efectuăm o căutare după articolul în
care Bennet şi Robinson (2000) Materialul de faŃă îşi propune
descriu chestionarul de evaluare a prezentarea principalelor principii de analiză a
comportamentelor contraproductive, omogenităŃii studiilor care raportează
vom obŃine numai acele articole care coeficienŃi de corelaŃie. În cazul studiilor care
au utilizat acest chestionar şi nu apelează la analize statistice ce implică
articole care au apelat la probe comparaŃii, principiile sunt relativ aceleaşi dar
paralele (Spector, Fox, Penney, formulele de calcul sunt uşor diferite.
Bruusema, Goh & Kessler, 2006, de În cadrul acestui articol vom folosi ca
exemplu). O astfel de abordare poate exemplu un set de date reale culese din 31 de
duce la creşterea rigurozităŃii articole de specialitate, care raportează 42 de
metaanalizei prin faptul că menŃine coeficienŃi de corelaŃie obŃinuŃi în urma testării
constantă definiŃia operaŃională a unor eşantioane independente. Obiectivul
variabilei dependente. metaanalizei exemplificate este de a clarifica
În urma unei analize comparative a relaŃia dintre scalele Extraversiune şi
eficienŃei acestor strategii, Durlak (2005) Neuroticism din modelul Big Five.
afirmă că ele pot ajuta cercetătorul să

117
Tabelul 1. Tipuri de informaŃii relevante şi utilitatea lor

Tip informaŃie Date necesare Utilitate


-autor(i);
Aceste date sunt utile în păstrarea unei evidenŃe a studiilor introduse în
Date de -titlu;
metaanaliză. Ele sunt utile în verificarea datelor culese, scrierea
identificare a -jurnal;
bibliografiei şi în situaŃia în care obiectivele şi ipotezele metaanalizei sunt
studiului -număr;
completate sau modificate.
-pagina.
N este o informaŃie centrală în calcularea indicatorilor de mărimea efectului
-volumul eşantionului
şi în calcularea rezultatelor metaanalizei. În absenŃa acestei informaŃii,
(N)
rezultatele studiului nu pot fi utilizate.
Cum o teorie nu poate fi valabilă doar pentru bărbaŃi sau doar pentru femei,
este important ca pentru fiecare rezultat inclus în metaanaliză să ştim
-distribuŃia de gen
distribuŃia de gen a eşantionului deoarece aceasta ar putea fi o importantă
variabilă moderatoare.
-media de vârstă a
Media şi abaterea standard a vârstei subiecŃilor sunt două variabile
subiecŃilor;
importante deoarece ne permite identificarea şi izolarea studiilor care au
-abaterea standard a
utilizat eşantioane omogene sau eterogene din punctul de vedere al vârstei
Caracteristici ale mediei de vârstă;
eşantionului Apelul la rezultatele cercetărilor derulate în Ńări diferite poate duce la
-naŃionalitatea formularea unor concluzii cu un grad ridicat de generalitate. De Leeuw şi
subiecŃilor Hox (2003) consideră chiar că luarea în considerare a acestor aspecte
poate clarifica o serie de variaŃii interculturale ale efectului studiat.
Foarte multe dintre studii (în special cele realizate în Statele Unite) au
-distribuŃia etnică a eşantioane multi-etnice. Acest lucru poate influenŃa variabile sensibile la
subiecŃilor statutul de majoritate sau minoritate etnică şi cercetătorul trebuie să Ńină
cont de acest aspect.
-date specifice Pentru domeniul organizaŃional, potenŃiale variabile moderatoare sunt:
domeniului de vechimea în muncă, tipul de angajaŃi (full-time sau part-time), specificul
cercetare activităŃii organizaŃiei (producŃie, servicii etc.);
Înregistrarea acestor informaŃii dă posibilitatea cercetătorului să menŃină
- probe utilizate
constantă variaŃia definiŃiilor operaŃionale a constructelor analizate, variaŃie
(autori, variantă)
indusă de utilizarea unor probe diferite.
Caracteristici ale
-indicatori descriptivi
variabilelor de
(medie, abatere
interes
standard, valoare Aceşti indicatori vor fi folosiŃi în metaanaliza artefactelor.
(VI şi VD)
minimă, valoare
maximă)
-consistenŃa internă Aceşti indicatori vor fi folosiŃi în metaanaliza artefactelor.
-numărul de condiŃii
experimentale
-modul de formare a Variabilă discretă/dihotomizare
condiŃiilor Aleatoare/non-aleatoare
experimentale Test/retest
Caracteristici ale
-numărul de subiecŃi
design-ului
din fiecare grupă
experimental
experimentală
-procedura
experimentală
Ex.: materiale folosite (texte, desene, grafice etc.), sarcini date subiecŃilor
-alte caracteristici
(calcul numeric, completare formulare etc.).
-indicatori ai mărimii
efectului;
sau
Datele necesare pentru calcularea mărimii efectului variază în funcŃie de
Rezultate obŃinute -valoarea şi gradele
indicatorul calculat şi în funcŃie de design-ul experimental.
de libertate ale
testelor statistice
folosite

118
Despre metodă

Datele culese sunt prezentate în standard a mediei de vârstă, naŃionalitatea


Tabelul 2. După cum se poate observa, au fost subiecŃilor, proba utilizată pentru măsurarea
înregistrate informaŃii privind numărul de variabilelor din modelul Big Five, valoarea
subiecŃi, procentul de subiecŃi de gen feminin, coeficientului de corelaŃie.
media de vârstă a subiecŃilor, abaterea

Tabelul 2. Baza de date utilizată

medie AS Tip Proba


STUDIU N %F NaŃionalitate r
vârsta vârsta subiecŃi Big Five
Antonioni (1998) 120 45.00 manageri SUA Costa & McCrae 1985 -.45
Antonioni (1998) 351 58.00 studenŃi SUA Costa & McRae 1985 -.30
Avery (2003) 96 67.00 studenŃi SUA Goldberg 1992 .02
Aziz & Jackson (2001) 160 32.50 23.09 1.93 studenŃi Pakistan John et el 1991 -.27
Bartone & Snook (2002) 855 12.00 18.61 .88 studenŃi SUA Costa & McCrae 1985 -.37
Becker (1999) 113 72.00 24.20 6.60 studenŃi Germania Andersen 1995 -.30
Becker (1999) 113 72.00 24.20 6.60 studenŃi Germania Costa & McCrae 1985 .17
Becker (1999) 113 72.00 24.20 6.60 studenŃi Germania Ostendorf 1990 -.42
Bernard et al (2002) 111 100.00 19.70 3.40 studenŃi SUA Costa & McCrae 1992 -.32
Bernard et al (2002) 79 0 19.70 3.40 studenŃi SUA Costa & McCrae 1992 -.39
Chapman, Hayslip (2005) 292 74.30 19.68 2.77 studenŃi SUA Costa & McCrae 1992 -.39
Conte si Jacobs (2003) 181 14.00 42.60 7.67 studenŃi SUA Hogan 1990 .28
De Young et al (2002) 222 64.00 24.50 7.00 Canada Goldberg 1992 -.07
De Young et al (2002) 245 69.00 21.00 3.10 studenŃi Canada Costa & McCrae 1992 -.37
De Young et al (2002) 245 69.00 21.00 3.10 studenŃi Canada Goldberg 1992 -.27
Dwight et al (1998) 437 67.00 21.37 4.49 studenŃi SUA Goldberg 1992 -.35
Ebert et al (2002) 202 70.00 20.70 4.60 studenŃi SUA Costa & McCrae 1985 -.33
Gelade (2002) 82 35.00 33.70 9.50 angajaŃi UK Costa & McCrae 1992 -.13
Graziano Tobin (2002) 316 40.00 studenŃi SUA Goldberg 1992 -.30
Kelly & Pulver (2003) 566 51.00 studenŃi SUA Costa & McCrae 1992 -.33
Kwapil (2002) 858 73.00 studenŃi SUA Costa & McCrae 1992 -.28
Lievent & Fruit (2001) 403 46.00 33.00 7.25 Belgia Hofstee et al 1992 .02
Lounsbury et al (2003) 646 53.00 liceu SUA Lounsbury et al -.14
Lounsbury et al (2003) 355 49.00 studenŃi SUA Costa & McCrae 1992 -.38
Mak & Tran (2001) 124 37.00 22.70 4.74 studenŃi Vietnam Costa & McCrae 1992 -.11
Meyer (2002) 212 43.00 24.75 3.26 studenŃi Germania Costa & McCrae 1989 -.39
OBrien (1996) 270 63.00 21.00 studenŃi UK Costa & McCrae 1989 -.34
Penley & Tomaka (2002) 97 34.00 21.02 4.79 studenŃi SUA Costa & McCrae 1985 -.25
Robins (2001) 270 59.00 18.00 studenŃi SUA Costa & McCrae 1992 -.37
Robins (2001) 270 59.00 22.00 studenŃi SUA Costa & McCrae 1992 -.37
Rose et al (2002) 96 50.00 19.30 studenŃi SUA Costa & McCrae 1992 -.11
Sadowsky et al (1997) 85 60.00 19.72 1.31 studenŃi SUA Costa & McCrae 1992 -.45
Shafer (2001) 374 63.00 20.00 2.70 studenŃi SUA Shafer 1999 -.30
Thompson et al. (2002) 106 86.00 34.70 studenŃi SUA Costa & McCrae 1992 -.22
Thoms & Moore (1996) 126 9.00 42.00 angajaŃi SUA Costa & McCrae 1992 -.40
Trull & Geary (1997) 198 52.00 20.00 1.30 studenŃi China Goldberg 1992 -.52
Trull & Geary (1997) 303 66.00 20.00 3.10 studenŃi SUA Goldberg 1992 -.63
Tsaousis (2001) 225 57.00 angajaŃi Grecia Tsaousis 1998 -.33
Tsaousis (2001) 561 64.90 26.80 4.35 şomeri Grecia Tsaousis 1998 -.33
Tsaousis (2001) 1054 61.00 19.90 4.32 studenŃi Grecia Tsaousis 1998 -.35
Tuten & Bosnjak (2001) 400 51.00 studenŃi SUA Goldberg 1992 -.31
Wilsonsi colab (2004) 883 69.10 75.10 7.10 bătrâni SUA Costa & McCrae 1992 -.39

119
Pe baza unei simple inspecŃie vizuale
a acestei baze de date putem face mai multe
observaŃii, după cum urmează: m=
∑ nota × nr.credite (Formula 1)
• numărul subiecŃilor din fiecare studiu ∑ nr.credite
variază foarte mult (între N=79 şi
N=1054); Astfel, notele obŃinute la discipline cu
• distribuŃia de gen în cadrul un număr mai mare de credite vor ”atârna mai
eşantioanelor analizate variază între 0 greu” în cazul mediei generale a studentului
şi 100% subiecŃi de gen feminin; respectiv.
• vârsta medie a subiecŃilor variază între În mod similar, în derularea
18 şi 75 de ani; metaanalizei vom identifica studii care sunt
• 34 dintre cele 42 de eşantioane au fost mai importante şi studii care sunt mai puŃin
de studenŃi; importante. Autori clasici în domeniul
• aproximativ jumătate dintre studii sunt metaanalizei (Hedges, Rosenthal, Hunter şi
derulate pe eşantioane din Statele Schmidt) recomandă ca gradul de importanŃă a
Unite; studiilor în calcularea mediei ponderate să fie
• au fost folosite instrumente diferite dat de inversul varianŃei mărimii efectului
pentru măsurarea factorilor modelului raportate de studiu (1/ varstudiu ). Argumentul
Big Five; acestui criteriu de ponderare este relativ
• există studii care raportează rezultate simplu: sunt mai importante acele studii care
obŃinute utilizând aceeaşi probă pe raportează efecte al căror interval de încredere
eşantioane diferite (de exemplu este mai scăzut (au o varianŃă mai mică),
Antonioni, 1998) şi studii care au comparativ cu studiile care raportează efecte
aplicat mai multe probe paralele la cu interval de încredere mare.
acelaşi eşantion, oferind mai multe În funcŃie de mărimea efectului luată în
rezultate ale aceluiaşi eşantion (de considerare în metaanaliză, această varianŃă
exemplu Becker, 1999). se calculează diferit (pentru mai multe detalii,
vezi Durlak, 2005; Kirk, 2005). În cazul
Principii de calcul în metaanaliză coeficientului de corelaŃie r (Pearson) varianŃa
mărimii efectului este 1/(N-3), unde N este
După cum am afirmat anterior, numărul de subiecŃi testaŃi.
metaanaliza îşi propune identificarea unui
efect mediu şi stabilirea unui interval de Testarea heterogenităŃii studiilor
încredere al acestui efect. Principala diferenŃă
dintre calculele statistice cu care suntem Testarea heterogenităŃii studiilor
obişnuiŃi şi calculele necesare pentru derularea reprezintă, alături de metaanaliza ”oaselor
unei metaanalize constă în faptul că acestea goale”, o formă de metaanaliză care are ca
din urmă sunt statistici ponderate. obiectiv identificarea impactului erorii de
În mod normal, calculul mediei unui şir eşantionare asupra efectelor obŃinute de studii
de numere este relativ simplu: media este diferite. Metodologia testării heterogenităŃii
suma acestora împărŃită la numărul de studiilor este prezentată pe larg în Miclea
elemente care compun suma (N). În această (1994) şi Hohn şi colab. (1999).
situaŃie, ponderile elementelor sunt egale Testarea heterogenităŃii studiilor are la
(fiecare element are ponderea 1). Un exemplu bază testul χ², care testează existenŃa
de medie neponderată este media anilor de diferenŃelor dintre valorile observate şi valorile
liceu, în care nota la purtare este egală ca aşteptate (Sava, 2004). Într-un studiu
pondere cu nota la engleză, matematică, metaanalitic, se utilizează χ² pentru a testa
română etc. diferenŃele dintre valorile obŃinute de studii
Calculul mediei ponderate se face prin diferite şi valoarea mediei ponderate a acestor
modificarea importanŃei fiecărui element în studii.
calcularea acestui indicator. Dacă în exemplul Calcularea mediei mărimii efectului
anterior ponderea fiecărui element care intră în reprezintă primul pas al oricărei metaanalize.
calcul este 1, în cazul mediei ponderate fiecare Această medie este denumită „medie
element are o importanŃă diferită. Un exemplu observată” şi se obŃine Ńinându-se cont de
în acest sens este media anuală a unui numărul de subiecŃi ai fiecărui studiu, astfel
student, care se calculează Ńinând cont de încât studiile cu un număr mare de subiecŃi
numărul de credite al fiecărei discipline. Media (deci cu o eroare de eşantionare mai mică) să
anuală ponderată se va calcula după formula: aibă o pondere mai mare în această medie

120
Despre metodă

(Formula 2). De asemenea, este important de influenŃa erorii de eşantionare. Rezultatul unei
menŃionat faptul că, pentru calcularea mediei astfel de analize este o estimare a variaŃiei
mărimii efectului, s-a folosit transformata z mărimii efectului de la un studiu la altul, în
(Fisher) a coeficienŃilor de corelaŃie. absenŃa oricărei influenŃe din partea erorii de
eşantionare.
Teoria ce stă în spatele acestui tip de

z mediu.observat =
∑ [z × (N − 3)] = −0,3192
studiu studiu metaanaliză este relativ simplă: dispersia
2
rezultatelor raportate de studii ( S total ) este
∑ ( N − 3)
studiu
suma influenŃei artefactelor de cercetare
(Formula 2)
descrise anterior. DiferenŃele datorate erorii de
2
Odată calculată media ponderată a eşantionare ( S1 ), diferenŃele datorate
2
mărimii efectului, se poate calcula valoarea variaŃiilor de consistenŃă internă ( S 2 ) şi
testului χ² pentru a vedea dacă diferenŃele diferenŃele datorate restricŃiilor de amplitudine
2
existente între mărimile efectului raportate de ( S 3 ) contribuie în mod cumulativ la diferenŃele
studii (valori observate) şi media calculată pe care ajungem să le observăm atunci când
(valoarea aşteptată) sunt semnificative. În dorim să derulăm o metaanaliză (vezi Formula
literatura de specialitate, testul folosit pentru 4).
evaluarea eterogenităŃii este notat cu Q
(Rosenthal şi colab. 2006). Formula de calcul 2
S total = S12 + S 22 + S 32 + S necunoscut
2
este următoarea:
(Formula 4)
Q = ∑ [(N studiu − 3) × ( z studiu − z mediu.observat ) ] = 299,87
2

Abordarea propusă de Hunter şi


(Formula 3)
Schmidt (2004) constă în calcularea puterii
Aflarea pragului de semnificaŃie a explicative a fiecărui artefact. De exemplu,
2 2
testului de omogenitate se face cu ajutorul dacă ajungem să cunoaştem S total şi S1
tabelelor lui χ², la un grad de libertate egal cu (dispersia datorată erorii de eşantionare),
numărul de eşantioane (notat în mod uzual cu putem calcula în ce măsură eroarea de
litera k) minus 1. În situaŃia noastră eşantionare joacă un rol mai mult sau mai
Q(41)=299,87 are un prag de semnificaŃie mai puŃin important în explicarea diferenŃelor
2 2
mic de .0001, ceea ce indică faptul că observate între studii ( S1 / S total ).
diferenŃele dintre studiile incluse în Prima etapă a oricărui demers
metaanaliză se datorează şi altor factori în metaanalitic constă în calcularea indicatorului
afara erorii de eşantionare. de mărimea efectului pentru coeficienŃii de
Principala problemă a acestui rezultat corelaŃie. Deşi iniŃial pentru metaanalizele
este eterogenitatea mare a studiilor incluse în corelaŃiilor indicatorul de mărimea efectului
metaanaliză, deoarece calcularea unui interval general acceptat a fost coeficientul z(Fisher),
de încredere a mediei observate a efectelor ulterior Hunter şi Schmidt (2004) au constatat
raportate este condiŃionată de omogenitatea că această transformare nu este decât în mică
acestora. măsură eficientă, în sensul că nu corectează
Un astfel de rezultat impune suficient de mult distribuŃia de frecvenŃă a
identificarea variabilelor moderatoare coeficienŃilor de corelaŃie. Deci în cazul nostru
(artefacte de cercetare) care duc la apariŃia nu vom efectua nicio transformare a
sistematică a unor rezultate diferite. coeficienŃilor de corelaŃie. În cazul de faŃă, în
Principalele modalităŃi de identificare a acestor urma aplicării Formulei 2, obŃinem un
artefacte şi de evidenŃiere a efectelor lor vor fi coeficient de corelaŃie mediu egal cu -.3036.
însă obiectul unui articol viitor.
Odată calculată valoarea medie
Metaanaliza „oaselor goale”* observată a mărimii efectului, se poate calcula
Denumirea de metaanaliza a „oaselor varianŃa acesteia în eşantionul de studii
goale” (bare-bones meta-analysis – Hunter & 2
( S total ). Acest indicator ne indică gradul în care
Schmidt, 2004) provine de la încercarea
rezultatele diferitelor studii sunt asemănătoare
acestui demers de a cuantifica şi de a evalua
sau diferite de media calculată prin Formula 2.
*
această prezentare este un rezumat al
metodologiei descrisă de Hunter şi Schmidt (2004,
p.81-88)

121
2
S total =
∑ [(rstudiu − rmediu.observat ) × ( N studiu − 3)
2
] = 0,0197 În faŃa unui astfel de rezultat,
cercetătorul trebuie să încerce să reducă
∑ (N studiu − 3)
proporŃia varianŃei neexplicate, ceea ce
(Formula 5) presupune reducerea influenŃei artefactelor
prezentate anterior astfel încât se se ajungă la
2
O valoare crescută a S total indicator un procent cât mai mic de varianŃă
neexplicată. Dacă cercetătorul nu are
nu ne spune nimic despre omogenitatea
suficiente informaŃii pentru a detecta influenŃa
mărimii efectului deoarece dispersia datorată
2
variabilelor moderatoare sau a artefactelor de
erorii de eşantionare ( S1 ) nu a fost calculată cercetare, el va calcula intervalul de încredere
încă. Formula de calcul a lui S12 este al lui
rmediu .observat
.
prezentată mai jos (Formula 6).
rmin = rmediu.observat − 1,96 × S total
2
− S12 = −0.536
(1 − rmediu .observat ) 2
S 12 = = 0,0055
N mediu − 1
rmin = rmediu.observat + 1,96 × S total
2
− S12 = −0.070
(Formula 6)

După cum se poate observa, în Analiza prezentată până în acest


moment a identificat o corelaŃie negativă
această formulă se utilizează mediu , care
N
medie între Extraversiune şi Neuroticism,
reprezintă media numărului de subiecŃi din corelaŃie care poate varia între r = -.070 şi r = -
studiile incluse în metaanaliză. .536. Acest rezultat este unul relevant
DiferenŃa dintre varianŃa observată (deoarece intervalul de încredere nu include
2
( S total ) şi varianŃa datorată erorii de valoarea ”0”), dar în acelaşi timp nu este un
2 rezultat foarte bun deoarece ponderea
eşantionare ( S ) reflectă „varianŃa reală” a
1 varianŃei neexplicate din varianŃa totală este
mărimii efectului la nivelul populaŃiei (Hunter & încă foarte mare.
Schmidt, 2004; Huffcutt, 2007). Dacă varianŃa Chiar dacă metoda propusă de Hunter
reală a mărimii efectului este mare, putem şi Schmidt (2004) permite calcularea
vorbi de o situaŃie de eterogenitate a intervalului de încredere în situaŃii de
rezultatelor diferitelor studii şi ar trebui să eterogenitate prin eliminarea dispersiei
încercăm să explicăm această variabilitate pe generată de eroarea de eşantionare, rezultatul
baza caracteristicilor studiilor. Pentru în sine nu este unul valoros pentru cercetările
identificarea situaŃiei de eterogenitate a
viitoare deoarece intervalul de încredere al
rezultatelor studiilor incluse în metaanaliză,
mediei efectului studiilor incluse în analiză este
Hunter şi Schmidt (2004) recomandă
totuşi unul foarte mare.
raportarea varianŃei de eşantionare la varianŃa
observată a mărimii efectului. Eterogenitatea rezultatelor studiilor
introduse în metaanaliză obligă cercetătorul să
încerce să explice acest rezultat. Rezultatele
S12 0,0055
2
= = 0,2836 (Formula 7) obŃinute în exemplul prezentat în acest
S total 0,0197 material sunt eterogene atât din punctul de
vedere al testului de eterogenitate
În situaŃia în care raportul de mai sus (Q(41)=299,87, p<.0001), cât şi din punctul de
este mai mic de .75 putem vorbi de rezultate vedere al metaanalizei ”oaselor goale”
eterogene deoarece un astfel de rezultat ne (varianŃa neexplicată este de aproximativ
indică faptul că peste 25% din varianŃa 70%).
rezultatelor studiilor se datorează unor Huffcut (2007) descrie mai multe
variabile care nu au fost luate în calcul. În modalităŃi de reducere a varianŃei neexplicate,
cazul datelor noastre, se poate observa faptul după cum urmează:
că erorile de eşantionare joacă un rol foarte • izolarea studiilor pe baza unui criteriu
mic în explicarea diferenŃelor dintre studii. Din stabilit de cercetător sau prin analiză
varianŃa totală de 0,0197, doar o mică parte de cluster;
poate fi atribuită erorilor de eşantionare • eliminarea influenŃelor artefactelor de
(0,0055), adică aproximativ 28%. Restul de cercetare;
până la 100% poate fi atribuit unor diferenŃe • introducerea rezultatelor într-o analiză
între studiile incluse în metaanaliză, diferenŃe statistică (analiză de regresie sau
despre care nu ştim nimic. analiză de varianŃă), în încercarea de

122
Despre metodă

a explica variaŃiile acestora pe baza • selectarea studiilor care au folosit doar


caracteristicilor studiilor. un anumit instrument – în cazul nostru,
Din considerente legate de spaŃiul avut am fi putut include în metaanaliză doar
la dispoziŃie, fiecare dintre aceste metode vor fi studii care au utilizat un anumit
analizate într-un material viitor. chestionar de măsurare a
dimensiunilor modelului Big Five. O
Raportarea rezultatelor obŃinute astfel de decizie poate fi justificată de
încercarea de a menŃine constantă
Ca orice demers ştiinŃific, rezultatele definiŃia operaŃională a unei variabile
obŃinute în urma derulării unei metaanalize relevante;
trebuie raportate într-o formă standardizată • selectarea studiilor care au apelat doar
care să cuprindă (Huffcut, 2007; Durlak, 2005): la o anumită teorie – în cazul nostru, în
• modalitatea de căutare a studiilor studierea relaŃiei Extraversiune-
incluse în metaanaliză; Neuroticism am fi putut include şi
• principalele decizii luate pe parcursul studii care au utilizat teoria lui Eysenck
selecŃiei studiilor; asupra personalităŃii. Decizia de a nu
• principalele rezultate obŃinute. include astfel de studi poate fi
În ceea ce priveşte modalitatea de justificată de încercarea de a menŃine
căutare a studiilor incluse în metaanaliză, de constantă definiŃia conceptuală a
obicei se raportează bazele de date variabilelor relevante;
internaŃionale în care s-a realizat căutarea şi • selectarea studiilor care au apelat doar
cuvintele cheie utilizate în această căutare. În la un anumit tip de subiecŃi – în cazul
situaŃia în care s-au utilizat şi alte strategii, nostru, am fi putut include în
acestea trebuiesc raportate (vezi Caseta 1). metaanaliză doar acele studii care au
Deciziile luate pe parcursul selecŃiei apelat la subiecŃi studenŃi.
studiilor se referă la includerea unor criterii în
selecŃie, criterii care se pot referi la:

Caseta 1. Exemplu de raportare a selecŃiei studiilor şi a deciziilor luate în această etapă

Căutarea articolelor s-a realizat prin folosirea unor cuvinte cheie în baza Baze de date
de date PsychInfo, ProQuest, Ebsco, Science Direct, PsychArticles, internaŃionale şi cuvinte
JSTOR, ScienceDirect (folosind cuvinte cheie: workplace deviance, cheie folosite.
counterproductive work behavior, organizational misbehavior,
interpersonal workplace deviance, organizational workplace deviance,
antisocial behavior at work, employee deviance). Au fost căutate în
special articolele care au folosit scala lui Bennett şi Robinson (2000) sau Decizii luate în căutarea
Robinson şi Bennett (1995) şi au fost luate în considerare doar articolele articolelor
care au folosit aceste scale sau scale care au la bază acest model
bidimensional – al devianŃei organizaŃionale şi interpersonale. De
asemenea, au fost identificate şi lucrările prezentate la diferite conferinŃe
în domeniul psihologiei organizaŃionale. O altă modalitate de căutare a Alte metode de
articolelor a fost reprezentată de analiza bibliografiei metaanalizelor identificare a
anterioare. cercetărilor relevante.

Exemplu preluat din Pitariu, Sulea, Zaborilă şi MaricuŃoiu (2008).

În raportarea rezultatelor obŃinute, rezultatelor raportate de studiile incluse în


trebuie incluse informaŃii precum: numărul de analiză (Q sau varianŃa explicată de eroarea
eşantioane analizate (k), numărul total al de eşantionare, în funcŃie de metoda utilizată
subiecŃilor testaŃi în aceste eşantioane (N), în metaanaliză).
valoarea medie observată a mărimii efectului,
abaterea standard a mediei mărimii efectului,
intervalul de încredere al acestei valori medii şi
indici statistici privind omogenitatea

123
Tabelul 3. Exemplu de raportare a rezultatelor metaanalizei

RelaŃie N k r(obs) SD(r.aj) r(min) r(max) % er.esant.


E-N 12815 42 -0,3036 0,140 -0,536 -0,070 28,36%
Legendă: N=numărul cumulat de subiecŃi din toate studiile luate în considerare; k=numărul de studii luate în
considerare; r(obs)=media ponderată a coeficienŃilor de corelaŃie; SD(r.aj)=abaterea standard a lui r(aj);
r(min)=limita inferioară a intervalului de încredere al coeficientului de corelaŃie (α=.05); r(max)=limita superioară a
intervalului de încredere al coeficientului de corelaŃie (α=.05); %er.eşant.=procentul de varianŃă observată care
poate fi atribuit erorilor de eşantionare.

Un tabel precum cel prezentat anterior psihologice. Aceste aspecte trebuie evaluate,
permite raportarea într-o manieră sintetică a iar pe baza acestei evaluări se ia decizia
metaanalizei mai multor relaŃii, prin includerii studiului în metaanaliză. Unii autori
introducerea unor rânduri suplimentare. (Hunter & Schmidt, 2004; Lipsey & Wilson,
Evident, pentru fiecare relaŃie analizată, 2001) recomandă folosirea de experŃi care, în
cercetătorul trebuie să parcurgă toate etapele baza unei grile, să evalueze calitatea studiilor.
de calcul descrise în acest articol, pentru a Indicii de calitate astfel obŃinuŃi vor fi utilizaŃi în
putea obŃine indicatorii necesari pentru ponderarea rezultatelor studiilor, rezultatul
formularea unei concluzii. mediu obŃinut fiind astfel dublu ponderat: în
baza varianŃei mărimii efectului şi în baza
Calitatea metaanalizei derulate acestor indici de calitate.
Numărul articolelor necesare pentru a
O întrebare frecventă care apare în derula o metaanaliză de calitate este un
momentul în care ne propunem să începem o aspect incert în literatura de specialitate. Pe de
metaanaliză se referă la modalitatea de a o parte, acesta ar trebui să fie cât mai mare
realiza o metaanaliză de calitate asupra relaŃiei pentru a asigura un nivel mai ridicat de
care ne interesează. Răspunsul la această generalizare a rezultatului. Pe de altă parte,
întrebare depinde de mai mulŃi factori, după metaanalizele publicate sunt derulate în
cum urmează: gradul de standardizare a frecvent pe un număr relativ redus de studii: de
metodologiei folosite în studiile care exemplu, Rosenthal şi DiMatteo (2001)
analizează relaŃia pe care dorim să o prezintă un tabel sintetic cu studii care au
investigăm, calitatea acestor studii şi numărul apelat la metaanaliza prin testarea
de studii disponibile (k). eterogenităŃii, iar parametrul k (numarul de
În primul rând, o trecere în revistă a eşantioane independente luate în considerare)
metodologiei folosite în literatura de variază 5 eşantioane şi 76 de eşantioane. În
specialitate ar trebui să ofere răspunsul la mod curent, revistele de specialitate publică
întrebări de genul: care sunt metodele de metaanalize care raportează rezultate medii
culegere a datelor? sunt aceste metode înregistrate prin cumularea a 4-7 studii.
echivalente astfel încât să poată fi combinate? La începuturile metodei, cercetătorii
Un grad înalt de standardizare a metodologiei calculau un indicator al gradului de adecvare al
folosite asigură replicabilitatea rezultatelor numărului de studii: N-adiŃional (Miclea, 1994,
obŃinute, ceea ce constituie o premisă a p. 333). În momentul apariŃiei acestui indicator,
demersului metaanalitic. Folosirea unor tehnicile metaanalitice porneau de la premiza
metode variate de culegere a datelor poate că studiile reflectă variaŃia unui efect fix, care
reprezenta un artefact care influenŃează nu variază (fixed effects meta-analysis –
eterogenitatea rezultatelor raportate de studii Hunter & Schmidt, 2000). Astăzi acest
diferite, ducând astfel la un rezultat indicator nu este considerat relevant în toate
neconcludent (Hunter & Schmidt, 2004). situaŃiile deoarece marea majoritate a
Calitatea studiilor incluse în tehnicilor metaanalitice pornesc de la premiza
metaanaliză reprezintă încă un aspect că efectul mediu variază de la un studiu la altul
dezbătut în literatura de specialitate deoarece (random effects meta-analysis– Hunter &
nu există o definiŃie formală a acesteia Schmidt, 2000). Cum în metaanaliza ”oaselor
(Greenland & O’Rourke, 2001). Calitatea goale” se calculează un indicator al dispersiei
2
studiilor este legată în special de validitatea lor mărimii medii a efectului ( S1 ) cercetătorul se
internă, de folosirea unor metode statistice aşteaptă ca acest efect să varieze de la un
adecvate design-ului experimental sau de studiu la altul, ceea ce contrazice premizele de
nerespectarea condiŃiilor de utilizare a testelor utilizare ale indicatorul N-adiŃional ca reper

124
Despre metodă

pentru evaluarea gradului de adecvare a Avery, D.R. (2003). Personality as a Predictor of the
studiilor incluse în metaanaliză (Hunter & Value of Voice. The Journal of Psychology,
Schmidt, 2004). 137, 435-446.
RelaŃia dintre numărul de eşantioane Aziz, S. & Jackson, C.J. (2001). A comparison
incluse în metaanaliză (k) şi calitatea acesteia between three and five factor models of
depinde în primul rând de cei doi parametri Pakistani personality data. Personality and
discutaŃi anterior: studiile trebuie să fie de Individual Differences, 31, 1311-1319.
calitate şi să aibă metodologii similare (de dorit Bartone, P.T., Snook, S.A. & Tremble, T.R. (2002).
ar fi ca metodele folosite să fie identice, dar Cognitive and Personality Predictors of
acest lucru nu este întotdeauna posibil). În al Leader Performance in West Point Cadets.
doilea rând, rezultatul metaanalizei trebuie să Military Psychology, 14, 321-338.
fie unul omogen. În situaŃia în care cercetătorul Becker, P. (1999). Beyond the Big Five. Personality
ajunge la un rezultat eterogen în baza unui and Individual Differences, 26, 511-530.
număr relativ mic de studii (4-7 studii) el nu va Bennett, R.J. & Robinson, S.L. (2000). Development
mai avea posibilitatea de a studia sursa of a measure of workplace deviance. Journal
acestei eterogenităŃi, ceea ce implică of Applied Psychology, 85 (3), 349-360.
neatingerea unui obiectiv important al Bernard, N.S., Dollinger, S.J. & Ramaniah, N.V.
cercetării metaanalitice. (2002). Applying the Big Five Personality
În concluzie, o metaanaliză de calitate Factors to the Impostor Phenomenon.
este un demers care sintetizează cercetări de Journal of Personality Assessment, 78, 321-
calitate (sintagma garbage in-garbage out este 333.
cât se poate de potrivită în acest context), cu Borenstein, M., Rothstein, H., & Cohen, J. (2001)
metodologii similare sau identice şi ajunge la Power and Precision. Disponibil la:
un rezultat omogen. După cum se poate www.poweranalysis.com.
observa, am exclus criteriul numărului de studii Chapman, B.P. & Hayslip, B. (2005). Incremental
tocmai datorită faptului că între acesta şi Validy of a Measure of Emotional
omogenitatea rezultatului metaanalizei nu Intelligence. Journal of Personality
există o relaŃie. Assessment, 85, 154-169.
Constantin, T. (2004). Evaluarea psihologică a
Rezumat personalului. Iaşi: Polirom.
Conte, J.M. & Jacobs, R.R. (2003). Validity
În articolul de faŃă sunt discutate principiile Evidence Linking Polychromicity and Big Five
fundamentale ale metaanalizei, ca tehnică statistică Personality Dimensions to Absence,
de sumarizare a rezultatelor obŃinute în studii Lateness, and Supervisory Performance
corelaŃionale. Sunt abordate probleme Ratings. Human Performance, 16, 107-129.
fundamentale precum: finalitatea metaanalizei şi Cronbach, L.J. & Shavelson, R.J. (2004). My
problematica artefactelor de cercetare. Articolul Current Thoughts on Coefficient Alpha and
conŃine o serie de recomandări privind: selectarea Successor Procedures. Educational and
studiilor pentru a fi incluse în metaanaliză, Psychological Measurement, 64, 391-418.
identificarea informaŃiilor relevante existente în De Leeuw, E.D. & Hox, J.J. (2003). The Use of
aceste studii, calcularea efectului mediu al studiilor, Meta-Analysis In Cross-National Studies. în
al intervalului de încredere şi al indicilor de Harkness, J.A., van de Vijver, F.J.R. &
eterogenitate a rezultatului obŃinut. În final, sunt Mohler, P.Ph. (coord.) Cross-Cultural Survey
prezentate modalităŃile de raportare a rezultatelor Methods, New York: Wiley.
metaanalizei. DeYoung, C.G., Peterson, J.B. & Higgins, D.M.
(2002). Higher-order factors of the Big Five
Cuvinte cheie: metaanaliză, corelaŃii, metode predict conformity: Are there neuroses of
statistice health? Personality and Individual
Differences, 33, 533-552.
Bibliografie Durlak, J.A. (2005). Basic Principles of Meta-
analysis. în Roberts, M.C. & Ilardi, S.S.
Albu, M. (1998). Construirea şi utilizarea testelor (coord.): Handbook of research methods in
psihologice. Cluj Napoca: Clusium. Clinical Psychology, Blackwell Publishing
Antonioni, D. (1998). Relationship between the big House.
five personality factors and conflict Dwight, S.A., Cummings, K.M. & Glenar, J.L.(1998).
management styles. International Journal of Comparison of Criterion-Related Validity
Conflict Management, 9, 336-355. Coefficients for the Mini-Markers and
Goldberg’s Markers of the Big Five

125
Personality Factors. Journal of Personality Lievens, F., DeFruyt, F. & VanDam, K. (2001).
Assessment, 70, 541-550. Assessors’ use of personality traits in
Ebert, S.A., Tucker, D.C. & Roth, D.L. (2002). descriptions of assessment centre
Psychological resistance factors as candidates: A five-factor model perspective.
predictors of general health status and Journal of Occupational and Organizational
physical symptom reporting. Pychology, Psychology, 74, 623-636.
Health and Medicine, 7, 363-375. Lipsey, M.W. & Wilson, D.B. (2001). Practical Meta-
Eden, D. (2002). Replication, Meta-Analysis, analysis. Sage.
Scientific Progress and AMJ’s Publication Lounsbury, J.W., Loveland, J.M. & Gibson, L.W.
Policy. Academy of Management Journal, 45, (2003). An Investigation of Psychological
841-846. Sense of Community in Relation to Big Five
Faul, F. & Erdfelder, E. (1992). GPOWER: A priori, Personality Traits. Journal of Community
post hoc, and compromise power analyses Psychology, 31, 531-541.
for MS-DOS [Computer program]. Bonn Mak, A.S., Tran, C. (2001). Big five personality and
University, Dept. of Psychology, Bonn. cultural relocation factors in Vietnamese
Gelade, G.A. (2002). Creative Style, Personality, Australian student’s intercultural social self-
and Artistic Endeavor. Genetic, Social, and efficacy. International Journal of Intercultural
General Psychology Monographs, 128, 213- Relations, 25, 181-201.
234. MaricuŃoiu, L.P & Sava, F.A. (2007). PowerStaTim
Graziano, W.G. & Tobin, R.M. (2002). 1.0 – Analiza puterii statistice şi a mărimii
Agreableness: Dimension of Personality or efectului. Disponibil la: www.psihologietm.ro
Social Desirability Artifact? Journal of începând cu data de 1.07.2008.
Personality, 70, 695-728. Meyer, T.D. (2002). The Hypomanic Personality
Greenland, S., O’Rourke, K. (2001). On the bias Scale, the Big Five, and their relationship to
produced by quality scores in meta-analysis, depression and mania. Personality and
and a hierarchical view of proposed Individual Differences, 32, 649-660.
solutions. Biostatistics, 2, 463-471. Miclea, M. (1994). „Meta-analiza”. în Radu, I.
Hohn, M., Vârgă, D. & Măruşter, L. (1999). Curs de (coord.). Metodologia cercetării şi analiza
statistică aplicată în ştiinŃe sociale. Volumul datelor, Cluj Napoca, p.309-334.
II, Timişoara: Tipografia UniversităŃii de Vest. Mullen, B. (1989). Basic Advanced Meta-analysis.
Hox, J.J. (1995) Applied Multilevel Analysis, New Jersey: Lawrence Erlbaum.
Amsterdam: TT-Publikaties O’Brien, T.B. & DeLongis, A. (1996). The
Huffcutt, A.I. (2007). Research Perspectives on Interactional Context of Problem-Emotion,
Meta-analyis. în Rogelberg, S.G. (coord.). and Relationship-Focused Coping: The Role
Handbook of Research Methods in Industrial of the Big Five Personality Factors. Journal of
and Organizational Psychology. Blackwell Personality, 64, 775-813.
Publishing House. Penley, J.A. & Tomaka, J. (2002). Associations
Hunter, J.E. & Schmidt, F.L. (2000). Fixed Effects among the Big Five, emotional responses,
vs/ Random Effects Meta-Analysis Models: and coping with acute stress. Personality and
Implications for Cumulative Research Individual Differences, 32, 1215-1228.
Knowledge. International Journal of Selection Pitariu, H.D., Sulea, C., Zaborilă, C., MaricuŃoiu,
and Assessment, 8, 275-292. L.P. (2008). JustiŃie organizaŃională şi
Hunter, J.E. & Schmidt, F.L. (2004). Methods of afectivitate negativă: o metaanaliză a relaŃiei
Meta-Analysis. Correcting Error and Bias in acestora cu comportamentele
Research Findings, Thousand Oaks: Sage contraproductive. Psihologia Resurselor
Publishers. Umane, 6, p.34-46.
Kelly, K.R. & Pulver, C.A. (2003). Refining Popa, R.I., Negoescu, L., Pleşea, S. & MaricuŃoiu,
measurement of career indecision types: A L.P. (2008). Personalitate şi leadership
validity study. Journal of Counseling and transformaŃional: o metaanaliză. Lucrare
Development, 81, 445-454. prezentată în cadrul EdiŃiei a IV-a a
Kirk, R.E. (2005). The Importance of Effect ConferinŃei NaŃionale de Psihologie,
Magnitude. În Davis, S.F. (coord.) Handbook Timişoara 23-25 mai 2008.
of Research Methods in Experimental Robins, R.W., Fraley, R.C., Roberts, B.W. &
Psychology. Blackwell Publishing House. Trzesniewski, K.H. (2004). A Longitudinal
Kwapil, T.R., Wrobel, M.J. & Pope, C.A. (2002). The Study of Personality Change in Young
five-factor personality structure of Adulthood. Journal of Personality, 69, 617-
dissociative experiences. Personality and 640.
Individual Differences, 32, 431-443.

126
Despre metodă

Rose, C.L., Murphy, L.B., Byard, L. & Nikzad, K. dimensionality of counterproductivity: Are all
(2002). The Role of the Big Five Personality counterproductive behaviors created equal?
Factors in Vigilance Performance and Journal of Vocational Behavior, 68, 446-460.
Workload. European Journal of Personality, Stan, A. (2002). Testul psihologic. EvoluŃie,
16, 185-200. construcŃie, aplicaŃii. Iaşi: Polirom.
Rosenthal, D.A., Hoyt, W.T., Ferrin, J.M., Miller, S. Thompson, R.L., Brossart, D.F., Carlozzi, A.F. &
& Cohen, N.D. (2006). Advanced Methods in Miville, M.L. (2002). Five-Factor Model (Big
Meta-Analytic Research: Applications and Five) Personality Traits and Universal-
Implications for Rehabilitation Counseling Diverse Orientation in Counselor Trainees.
Research. Rehabilitation Counseling Bulletin, The Journal of Personality, 136, 561-572.
49, 243-246. Thoms, P., Moore, K.S. & Scott, K.S. (1996). The
Rosenthal, R. & DiMatteo, M.R. (2001). Meta- relationship between self-efficacy for
analysis: Recent Developments in participating in self-managed workgroups and
QuantitativeMethods for Literature Reviews. the big five personality dimensions. Journal
Annual Review of Psychology, 52, 59-82. of Organizational Behavior, 17, 349-361.
Rusu, A., Macavei, B., Moldovan, R. & Pintea, S. Trip, S. (2006). Metaanalysis of rational emotive
(2008). Încorporarea terapiei asistate pe education studies with children and
animale în tratamentul psihoterapeutic al adolescents. Lucrare prezentată în cadrul
depresiei: investigaŃie meta-analitică. Lucrare EdiŃiei a III-a a ConferinŃei NaŃionale de
prezentată în cadrul EdiŃiei a IV-a a Psihologie, Cluj Napoca, 18-21 mai 2006.
ConferinŃei NaŃionale de Psihologie, Trull, T.J. & Geary, D.C. (1997). Comparison of the
Timişoara 23-25 mai 2008. Big Five Factor Structure Across Samples of
Sadowski, C.J. & Cogburn, H.E. (1997). Need for Chinese and American Adults. Journal of
Cognition in the Big-Five factor structure. Personality Assessment, 69, 324-341.
Journal of Psychology, 131, 307-312. Tsaousis, I. & Nikolaou, I.E.(2001). The Stability of
Sava, F. (2004). Analiza datelor în cercetarea the Five Factor Model of Personality in
psihologică. Metode statistice Personnel Selection and Assessment in
complementare, Cluj Napoca: A.S.C.R. Greece. International Journal of Selection
Sava, F.A & MaricuŃoiu, L.P. (2007). PowerStaTim and Assessment, 9, 290-301.
1.0. – Manualul utilizatorului. Timişoara: Tute, T.L. & Bosnjak, M. (2001). Understanding
Editura UniversităŃii de Vest. differences in web usage: the role of need for
Schmidt, F.L. & Hunter, J.E. (2003). Meta-analysis. cognition and the five factor model of
în Schinka, J.A.& Velicer, W.F. (coord.) personality. Social Behavior and Personality,
Handbook of Psychology. Volume 2: 29, 391-398.
Research Methods in Psychology, New Urbina, S. (2004). Essential of Psychological
Jersey: John Wiley and Sons Inc. Testing. New Jersey: Wiley.
Shafer, A.B. (2001). The Big Five and Sexuality Wilson, R.S., Mendes de Leon, C.F., Bienias, J.L.,
Trait Terms as Predictors of Relationships Evans, D.A. & Bennett, D.A. (2004).
and Sex. Journal of Research in Personality, Personality and Mortality in Old Age, The
35, 313-338. Journals of Gerontology, 59B, 110-116.
Spector, P.E., Fox, S., Penney, L. M., Bruusema,
K., Goh, A. & Kessler, S. (2006). The

Organizational Diagnosis & Development


Brand Research
Academic & Institutional Evaluation
Organizational Simulation & Gaming

Focus on people and opportunities.


For reliable outcomes
contact@aphorme.ro; www.aphorme.ro

127