Recomandri cu privire la dimensionarea eantioanelor n cercetrile psihologice Conf. dr. M.

Popa

Una dintre cele mai frecvente ntrebri pe care (i) le pun studenii sau tinerii aflai n faza de proiectare a unei lucrri de cercetare este ct de mare trebuie s fie eantionul?. Din pacate, nu exist un rspuns simplu i nici foarte precis la aceast ntrebare. Mrimea eantionului decurge, nainte de toate, din constrngerile situaiei de cercetare. Atunci cnd tema cercetrii vizeaz situaii rare (de exemplu, studii pe gemeni univitelini; modificri neuropsihice la pacieni cu leziuni cerebrale cu o anumit localizare; subieci care practic profesii speciale etc.) volumul eantionului este n mod inevitabil mic, ceea ce nu nseamn c trebuie s renunm la cercetare. Excluznd situaiile n care suntem constrni de raritatea subiecilor care ntrunesc condiiile de studiu, dimensionarea eantionului se face pe baza a dou criterii fundamentale: tipul testului statistic ce urmeaz a fi utilizat i obiectivele analizei statistice.

1. Volumul eantionului recomandat n diferite procedurilor statistice Recomandrile de mai jos au un caracter practic, dar se bazeaz pe dou concepte fundamentale ale statisticii infereniale: mrimea efectului (mrimea diferenei sau intensitatea asocierii dintre variabile) i puterea testului (probabilitatea de a obine un rezultat statistic semnificativ). Tendina actual n cercetarea tiinific este de a se depi optica simplist a deciziei statistice prin limitarea la pragul alfa1. Reputatul statistician i psihometrician Jacob Cohen, ntr-un articol intitulat Things I Have Learnd (So Far) (1990) i aduce aminte cum a nvat, n facultate, c pentru a compara dou grupuri trebuie utilizate eantioane de 30 de subieci, orice eantion mai mic de 30 fiind considerat eantion mic. Mai trziu, cnd a descoperit analiza de putere, a constatat c atunci cnd se compar dou grupuri de cte 30 de subieci fiecare, pentru un prag alfa=0.05, probabilitatea ca o diferen avnd o mrime medie a efectului s ating pragul de semnificaie, este de 0.47! Cu alte cuvinte, din 100 de cercetri, abia n 47 de situaii (mai puin dect dac decizia ar fi luat aleator) s-ar obine un rezultat care s nu fie doar semnificativ, dar s i aib o mrime a efectului (relevan) cel puin medie. Iar dac volumul eantionului este de numai 20 de subieci, atunci probabilitatea respectiv se reduce la 0.33! n mod evident, numrul subiecilor are un impact direct asupra puterii testului, adic asupra capacitii acestuia de a detecta diferene reale. Mrimea efectului, la rndul ei, se refer la intensitatea asocierii (diferenei) dintre variabilele cercetrii (Kraemer & Thiemann, 1987). Ceea ce rezult de aici este faptul c alegerea mrimii eantionului, n contextul diferitelor modele de cercetare, este un fapt care trebuie tratat cu mult atenie, dac dorim s asigurm cercetrilor noastre consisten sub aspectul puterii i al mrimii efectului. Desigur, ar fi de preferat ca aceste dou aspecte s fac obiectul unor evaluri cantitative speciale dar, din pcate, majoritatea pachetelor de programe statistice nu ofer astfel de proceduri. n practic, o modalitate mulumitoare de rezolvare a acestei probleme este dimensionarea corespunztoare a eantioanelor, cu copul de a asigura atingerea unor valori acceptabile pentru puterea testelor statistice. n acest sens, o incursiune n literatura statistic (Wolins, 1982; Kraemer & Thiemann; 1987; Wilkinson, 1999) ne ofer o serie de recomandri utile.

Pentru aprofundarea acestor aspecte teoretice se poate consulta cursul de la adresa: http://popamarian.googlepages.com/sp_06_erori_putere_efect_2006.pdf

a. Volumul celulelor (grupurilor) pentru testele utilizate n detectarea diferenelor dintre medii Toate testele statistice care detecteaz diferenele dintre grupuri se bazeaz pe o anume distribuie de eantionare. Ca urmare, numrul subiecilor din fiecare eantion are o legtur direct cu mprtierea distribuiei de eantionare (eroarea standard). Cu ct mai muli subieci n eantion, cu att mprtierea distribuiei de eantionare este mai mic i ansa de a descoperi o diferen semnificativ este mai mare (ceea ce nseamn i o putere a testului mai mare). Dar puterea nu este legat numai de mrimea eantionului, ci i de mrimea efectului. Pe msur ce mrimea efectului crete, crete i puterea testului. De exemplu, dac dorim s testm efectul unei psihoterapii dup dou edine, cnd efectul este mic, testul statistic va avea putere mic, adic va avea anse mai reduse s releve un efect semnificativ dect, s zicem, dup 12 edine, cnd efectul terapeutic va fi mai pronunat. Testul t pentru eantioane independente, pentru eantioane dependente, analiza de varian (ANOVA one-way sau factorial), la fel ca i analiza de varian multivariat (MANOVA), sunt concepute pentru testa semnificaia diferenelor dintre mediile unor grupuri. Pentru a menine un nivel acceptabil pentru puterea testului, fiecare dintre grupurile comparate trebuie s aib un volum minimal, pentru a avea suficient putere n detectarea diferenelor i, n acelai timp, o nivel mediuridicat al mrimii efectului (VanVoorhis & Morgan, 2001). n acest scop, se consider c 30 de subieci n fiecare celul (definit prin categoriile variabilei independente) sunt suficieni pentru a garanta o putere de 0.8, ceea ce este un nivel minim pentru un studiu obinuit (J. Cohen, 1988). Concret, pentru a avea o putere acceptabil a testului: - Atunci cnd sunt comparate mediile a dou grupuri independente, se vor utiliza cel puin 60 de subieci (minim 30 pentru fiecare grup). Se observ c n cazul unei cercetri bazate pe un model intra-subiect, n care acelai grup este msurat n dou (sau mai multe) situaii diferite, este suficient un eantion de minim 30 de subieci pentru asigurarea unei puteri acceptabile. Acesta este unul dintre avantajele modelului intra-subiect. - Atunci cnd este utilizat testul ANOVA pentru o variabil independent cu trei valori, eantionul cercetrii trebuie s fie compus din cel puin 3x30=90 de subieci. Dac numrul de subieci din fiecare grup se reduce la 7, iar numrul grupurilor este de cel puin trei, atunci puterea testului scade la 0.5, iar mrimea efectului este tot de 0.5. n cazul n care avem 14 subieci n fiecare grup comparat, pentru cel puin trei grupuri i o mrime a efectului de 0.5, ne putem baza pe o putere a testului de 0.8. n legtur cu testele de comparaie a mediilor se atrage atenia, n primul rnd, c atunci cnd sunt comparate mai puine grupuri este mai important s existe mai muli subieci n fiecare grup. n al doilea rnd, cu ct mrimea efectului la care ne putem atepta este mai mic, cu att numrul subiecilor trebuie s creasc, pentru garantarea unei valori corespunztoare a puterii testului (Aron & Aron, 1999). n fine, n cazul analizei de varian multivariate (MANOVA) este important s existe mai multe cazuri dect variabile independente n fiecare celul definit de valorile variabilei independente (Tabachnick & Fidell, 1996).

b. Mrimea eantionului atunci cnd se studiaz asocierea variabilelor Dei calcularea mrimii eantionului n astfel de situaii face obiectul unor formule complexe, regula empiric general este de a nu utiliza eantioane mai mici de 50 de subieci n cazul analizei de corelaie sau de regresie simpl. n cazul corelaiei i regresiei multiple, n care sunt mai multe variabile independente (criteriu), Green (1991) sugereaz ca volumul eantionului cercetrii s fie >50+8m, unde m este numrul variabilelor independente, pentru corelaii multiple i > 104+m, pentru regresia multipl. Concret, pentru o analiz de corelaie multipl cu patru variabile se vor utiliza 50+8x4=82 subieci, iar pentru o regresie cu 4 variabile criteriu, se va asigura un eantion de minim 104+4=108 subieci. Atunci cnd se urmrete att testarea corelaiei ct i a regresiei se recomand eantioane mai mari dect acestea.

n acelai context sunt recomandate i alte reguli empirice, astfel: - Pentru 5 sau mai muli predictori (sau variabile multiplu corelate) numrul participanilor va depi numrul predictorilor cu cel puin 50. Altfel spus, totalul participanilor trebuie s fie mai mare numrul predictorilor cu cel puin 50 (Harris, 1985); - Pentru ecuaiile de regresie cu ase sau mai muli predictori se impune un minim de 10 participani pentru fiecare predictor dar, dac situaia o permite, i mai bine este ca s existe n jur de 30 de subieci pentru fiecare variabil. Cohen i Cohen (1975) demonstreaz c n cazul unei regresii cu un singur predictor care are o corelaie cu variabila predictor de 0.30, sunt necesari 124 subieci pentru a menine o putere de 0.80. Cu cinci predictori i o corelaie multipl de 0.30, aceeai putere este atins pe un eantion de 187 subieci. O atenie special se va acorda simetriei variabilei dependente, deoarece n cazul existenei unei asimetrii, mrimea ateptat a efectului este mic i, implicit, puterea testului este mai mic i ea (Tabachnick & Fidell, 1996). c. Volumul eantionului pentru testul chi-ptrat O regul de siguran este ca n nici una din celulele tabelului de coresponden frecvena teoretic s nu fie mai mic de 5, iar volumul total al eantionului s nu fie mai mic de 20. n cazul testului chi-ptrat, spre deosebire de alte teste statistice, creterea numrului subiecilor nu are un impact asupra valorii critice de respingere a ipotezei de nul. Totui, volumul eantionului are un efect asupra puterii testului. Existena unor frecvene teoretice (ateptate) ntr-una sau mai multe celule ale tabelului de coresponden limiteaz considerabil puterea testului. De asemenea, valori reduse ale frecvenelor ateptate cresc nivelul erorii de tip I. Acesta este i motivul pentru care se recomand un eantion de cel puin 20 de subieci (Howell, 1997). Testul chi-ptrat este utilizat pentru testarea gradului de independen (asociere) dintre variabile categoriale. Ca urmare, nici un subiect nu trebuie s contribuie cu mai mult de o singur valoare. La rndul lor, gradele de libertate au un anumit impact asupra puterii testului. Cu ct numrul celulelor tabelului de coresponden crete (ceea ce conduce la creterea gradelor de libertate), se reduc frecvenele teoretice din celulele tabelului de coresponden i, implicit, are loc o reducere a puterii (Cohen, 1988). i totui, atunci cnd se ateapt o mrime important a efectului, se consider c poate fi tolerat i o valoare mai mic pentru puterea testului, implicit un volum mai redus al eantionului (minim 8).

2. Volumul eantionului n funcie de obiectivele analizei statistice Redm mai jos recomandrile European Federation of Psychological Associations (EFPA, 2006) cu privire la volumul eantioanelor utilizate n evaluarea testelor psihologice ca instrumente profesionale. Aceste recomandri vizeaz armonizarea practicilor de liceniere a testelor psihologice i asigurarea unui standard profesional ct mai ridicat pentru activitatea de evaluare psihologic. Unele dintre situaiile descrise mai jos se regsesc i n situaii de cercetare, atunci cnd sunt utilizate instrumente nou create2.

Recomandri de acelai gen pot fi gsite i n Sistemul de evaluare a metodelor psihologice standardizate adaptat de Comisia Metodologic a Colegiului Psihologilor din Romnia dup modelul olandez (Arne Evers), accesat pe 15.03.2007, la adresa: http://www.copsi.ro/COLEGIU/COMISII/metodologie/DOCUMENTE/Anexa_3_.doc Am preferat recomandrile EFPA deoarece ele sunt asumate de toate rile europene afiliate la EFPA (Romnia urmnd s fie afiliat n perioada urmtoare).

a. Dimensiunile eantionului pentru calcularea etaloanelor psihologice: Not:

Limitele vor fi adaptate n funcie de tipul etalonului. Dac se refer la populaia general atunci volumul eantionului va trebui sa fie mare. Dac etalonul este calculat pe o populaie ocupaional specific, atunci volumul eantionului poate fi adecvat. Pentru cele mai multe scopuri, un ention mai mic de 150 de subieci este prea mic, deoarece frecvena valorilor spre limitele distribuiei va fi foarte mic. Aprecierea eantionului Inadecvat Adecvat Mare Foarte mare Volum eantion mai mic de 150 subieci 150-300 subieci 300-1000 peste 1000 subieci

b. Dimensiunea eantionului pentru studii de validitate de construct Not : Validitatea de construct include crelaii ale scalelor cu instrumente similare. Recomandrile pentru coeficienii de validitate de construct trebuiesc interpretai n mod flexibil. Atunci cnd avem dou nstrumente foarte asemntoare, trebuie s ne ateptm la corelaii de 0.6 sau mai mult, pentru ca validitatea s fie considerat adecvat. Atunci cnd instrumentele vizeaz caracteristici mai puin asemntoare, sau sunt administrate la intervale mari de timp, corelaii mai mici de 0.6 pot fi considerate adecvate. Atunci cnd corelaiile sunt mai mari de 0.90, se va lua n considerare c cele dou instrumente msor acelai construct psihologic i dou constructe diferite, ceea ce ridic problema dac ele aduc informaii diferite n raport cu obiectivul msurrii. Recomandrile pentru dimensiunea eantionului sunt bazate pe analiza de putere a eantioanelor necesare pentru a surprinde mrimi ale efectului moderate. Validitatea predictiv i concurent se refer la studii bazate pe criterii din viaa real (nu pe scoruri obinute cu alte instrumente) care sunt corelate cu scorurile la test. Studiile predictive se refer de obicei la situaii n care evaluarea a fost efectuat ntr-un moment calitativ diferit de momentul msurrii criteriului (de ex., pentru selecia de personal, durata dintre evaluarea criteriului i a predictorului nu este esenial, dac cele dou msurri reflect adecvat caracteristicile msurate). Apreciere inadecvat adecvat mai mult dect adecvat Volumul eantionului mai mic de 100 subieci 100-200 subieci peste 200 subieci

Mediana i amplitudinea corelaiilor dintre test i alte teste similare: Not:

Dac instrumental este compus dintr-o singur scal, valorile de mai jos se aplic acesteia. Daca instrumentul este compus din mai multe scale, valorile de mai jos se refer la mediana distribuiei valorilor tuturor scalelor. Dac mediana nu este posibil s fie calculat, se va lua n considerare cea mai bun estimare a tendinei centrale a valorilor. Valorile foarte mari sau foarte mici vor fi comentate n mod distinct. Limitele sunt orientative.

inadecvat: r < 0.55 adecvat : 0.55 < r < 0.65 bun : 0.65 < r < 0.75 excelent : r > 0.75

c. Dimensiunea eantionului pentru studii de validitate de criteriu (prognostic) Apreciere Inadecvat Adecvat mai mult dect adecvat Volumul eantionului mai mic de 100 subieci 100-200 subieci peste 200 subieci

Mediana i amplitudinea corelaiilor dintre test i alte teste similare: inadecvat: r < 0.2 adecvat : 0.2 < r < 0.35 bun : 0.35 < r < 0.50 excelent : r > 0.50

d. Dimensiunea eantionului pentru studii de fidelitate (consistena intern) Not:

Recomandrile se bazeaz pe necesitatea de a avea un nivel redus al erorii standard a estimrii fidelitii. Recomandrile sunt fcute n legtur cu dou contexte diferite: utilizarea instrumentelor n situaii de decizie (clasificarea subiecilor n categorii); i utilizarea pentru evaluri individuale. n cel de-al doilea caz coeficientul de fidelitate trebuie s fie mai ridicat dect n primul caz. Ali factori trebuiesc, de asemenea, luai n considerare: dac scala se utilizeaz singur sau mpreun cu alte scale (instrument compozit). n cazul scalelor compozite, accentual va fi pus pe scorul compozit i nu pe sub-scalele instrumentului. Apreciere inadecvat adecvat mai mult dect adecvat Volumul eantionului mai mic de 100 subieci 100-200 subieci peste 200 subieci

Mediana coeficienilor inadecvat: r < 0.7 adecvat : 0.7 < r < 0.79 bun : 0.80 < r < 0.89 excelent : r > 0.90 e. Dimensiunea eantionului n studii de stabilitate test-retest Apreciere inadecvat adecvat mai mult dect adecvat Volumul eantionului mai mic de 100 subieci 100-200 subieci peste 200 subieci

Mediana coeficienilor Inadecvat : r < 0.6 Adecvat : 0.6 < r < 0.69 Bun : 0.7 < r < 0.79 Excelent : r > 0.80

f.

Dimensiunea eantionului n studii de fidelitate de echivalen Apreciere inadecvat adecvat mai mult dect adecvat Volumul eantionului mai mic de 100 subieci 100-200 subieci peste 200 subieci

Mediana coeficienilor Inadecvat : r < 0.6 Adecvat : 0.6 < r < 0.69 Bun : 0.7 < r < 0.79 Excelent : r > 0.80 Concluzii Recomandrile sintetizate mai sus ofer un cadru empiric, suficient pentru orientarea n situaiile n care nu apelm la analize cantitative riguroase de dimensionarea eantioanelor. Aa cum se poate observa, nu exist o recomandare unic de fixare a dimensiunii eantionului, potrivit pentru orice situaie i orice tip de test statistic. n toate cazurile, cu ct eantionul este mai mic, cu att scade ansa de a ajunge la un rezultat statistic semnificativ, n condiiile unei mrimi rezonabile a efectului. n acelai timp, ns, nu este de dorit nici utilizarea unor eantioane extrem de mari, deoarece n acest caz, riscm s obinem un rezultat semnificativ statistic, dar total nerelevant din punct de vedere practic sau al mrimii efectului.

Referine bibliografice
Aron, A., & Aron, E. N. (1999). Statistics for psychology (2nd ed.). Upper Saddle River, NJ: Prentice Hall. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale NJ: Erlbaum. Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45, 1304-1312. Cohen, J., & Cohen, P. (1975). Applied multiple regression/correlation analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum. EFPA, 2006, Review Model For The Description And Evaluation Of Psychological Tests, Test Review Form And otes For Reviewers; (www.efpa.be; accesat la 7 nov. 2006) Green, S. B. (1991). How many subjects does it take to do a regression analysis? Multivariate Behavioral Research, 26, 499-510. Howell, D. C. (1997). Statistical methods for psychology (4th ed.). Belmont, CA: Wadsworth. Harris, R. J. (1985). A primer of multivariate statistics (2nd ed.). New York: Academic Press. Kraemer, H. C., & Thiemann, S. (1987). How many subjects? Statistical power analysis in research. Newbury Park, CA: Sage. Tabachnick, B. G., & Fidell, L. S. (1996). Using multivariate statistics (3rd ed.). New York: HarperCollins.Wilkinson, L., & Task Force on Statistical Inference, APA Board of Scientific Affairs. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54, 594-604. VanVoorhis, C. W., & Morgan, B. L. (2001). Statistical Rules of Thumb: What We Don't Want to Forget About Sample Sizes [Electronic Version]. Psi Chi Journal 6. Retrieved 15.03.2007 from http://www.psichi.org/pubs/issue.asp?issue_id=41. Wilkinson, L., & Task Force on Statistical Inference (1999). Statistical Methods in Psychology Journals: Guidelines and Explanations. American Psychologist(54), 594-604. Wolins, L. (1982). Research mistakes in the social and behavioral sciences. Ames: Iowa State University Press