Erori statistice Puterea testului statistic Mrimea efectului

Marian Popa

2013

Enunarea ipotezei cercetrii (H1)

QI mediu al elevilor olimpici este mai mare

Enunarea ipotezei de nul (H0)

QI mediu al elevilor olimpici nu este mai mare (diferit)

Alegerea nivelului de semnificaie (alfa)

0.05; 0.01; 0.001

Colectarea i analiza descriptiv a datelor

Selectarea eantionului, aplicarea unui test de inteligen Raportarea la un criteriu pentru evaluarea rezultatului pe eantion z critic corespunztor lui alfa=0.05 pe curba normal

Adoptarea deciziei statistice

Am respins H0 pentru c valoarea calculat a testului a fost mai mare dect valoarea critic Am fi admis H0 dac valoarea calculat a testului era mai mic dect valoarea critic

 pentru exemplul nostru

Decizie unilateral:
Decizia statistic (unilateral): se respinge H0 Concluzia cercetrii: se confirm H1

0.014

0.05
QI=100 z=0 zcritic=+1.65 QIcalculat=106 zcalculat =+2.18

Decizie bilateral:
Decizia statistic (bilateral): se respinge H0 Concluzia cercetrii: se confirm H1

0.014 0.025
zcritic=-1.96 QI=100 z=0 zcritic=+1.96 QIcalculat=106 zcalculat =+2.18

0.025

... cum nelegem rezultatul?

Fiecare elev olimpic este mai inteligent dect unul ne-olimpic? Elevii olimpici sunt n mod sigur mai inteligeni dect elevii n general?

... ce am testat de fapt?

Posibilitatea ca H1 s fie adevrat?

(olimpicii sunt mai inteligeni) Nu, am testat probabilitatea ca H1 s fie fals

(olimpicii nu sunt mai inteligeni)

Erori statistice
Se refer la eroarea deciziei statistice n raport cu realitatea vieii, nu la aplicarea greit a procedurii de testare. n raport cu realitatea vieii, decizia cu privire la ipoteza de nul poate fi corect sau greit

Cercettorul nu poate ti cu certitudine dac decizia statistic este corect sau este greit (dac ar putea ti, nu ar mai avea nevoie de statistic)

Eroarea statistic de tip I

Adevrul vieii (necunoscut)
H0 este adevrat (olimpicii NU SUNT mai inteligeni) H0 este fals (olimpicii SUNT mai inteligeni)

Decizia statistic

Acceptarea H0 (olimpicii NU SUNT mai inteligeni)

Respingerea H0 (olimpicii SUNT mai inteligeni)

2. eroare de tip I P=alfa

Acceptarea corect a H0
Adevrul vieii (necunoscut)
H0 este adevrat (olimpicii NU SUNT mai inteligeni) H0 este fals (olimpicii SUNT mai inteligeni)

Decizia statistic

Acceptarea H0 (olimpicii NU SUNT mai inteligeni)

1. decizie corect

p=1-alfa

Respingerea H0 (olimpicii SUNT mai inteligeni)

2. eroare de tip I P=alfa

Eroarea de tip I i nivelul de ncredere

n condiiile deciziei bilaterale

Nivelul de ncredere 1-alfa=0.95

Eroarea de tip I fals pozitiv p=0.025 zcalculat =-1.96 z=0

Eroarea de tip I fals pozitiv p=0.025 zcalculat =+1.96

Eroarea statistic de tip II

Adevrul vieii (necunoscut)
H0 este adevrat (olimpicii NU SUNT mai inteligeni) H0 este fals (olimpicii SUNT mai inteligeni)

Decizia statistic

Acceptarea H0 (olimpicii NU SUNT mai inteligeni)

1. decizie corect

p=1-alfa

4. eroare de tip II p=beta

Respingerea H0 (olimpicii SUNT mai inteligeni)

2. eroare de tip I P=alfa

care eroare este mai grav?

societatea (comunitatea tiinific) este interesat s evite respingerea H0 cnd ea este de fapt adevrat
evitarea erorii de tip I Declararea existenei unui zcmnt inexistent

cercettorul este interesat s evite acceptarea H0 cnd ea este de fapt fals

eroarea de tip II Declararea inexistenei unui zcmnt existent

ambele sunt rele

eroare de tip I = se vor consuma resurse pentru exploatarea unui zcmnt nereal (Climani) eroare de tip II = un zcmnt real va rmne neexploatat

Eroarea de tip III

1. Respingerea corect a ipotezei de nul, urmat de atribuirea incorect a cauzei (Raiffa)
interpretare greit a rezultatului. ceva semnificativ se ntmpl, dar nu ceea ce crede cercettorul Exemplul clasic este ilustrat de efectul de noutate Efectul placebo poate fi inclus de asemenea n categoria erorilor de tip III, dar nu toate erorile de tip III sunt de tip placebo Nu exist metode statistice pentru eliminarea erorii de tip III, n aceast accepie Singura protecie vine dinspre calitatea modelului de cercetare Pentru evaluarea efectului placebo studiile medicale prevd protocoale de tip dublu orb

2. Rezultatul cercetrii conduce la confirmarea unui efect sau relaii ntre variabile, dar sensul (direcia) efectului este greit interpretat.
Rezultatele cercetrii susin c efectul noii metode de nvare este superior celei vechi dei, n realitate, situaia st exact invers, concluzia fiind greit. n aceast accepie, probabilitatea erorii de tip III este codificat cu litera (gamma) Unele programe statistice sunt capabile s o estimeze.

Eroarea de tip III se poate manifesta numai n cercetri de tip experimental, singurele care permit concluzii de natur cauzal.

Respingerea corect a H0 PUTEREA TESTULUI

Adevrul vieii (necunoscut)
H0 este adevrat (olimpicii NU SUNT mai inteligeni) H0 este fals (olimpicii SUNT mai inteligeni)

Decizia statistic

Acceptarea H0 (olimpicii NU SUNT mai inteligeni)

1. decizie corect

p=1-alfa

4. eroare de tip II p=beta

Respingerea H0 (olimpicii SUNT mai inteligeni)

2. eroare de tip I P=alfa

3. decizie corect p=1-beta (power)

Metode de cretere a puterii testului

creterea volumului eantionului (N)

Scade eroarea standard

efectul variabilei independente se manifest mai puternic pe grupurile de subieci aflate la extremitile scalei de msurare a variabilei dependente dect pe valorile ntregii scale dac mprtierea datelor de cercetare este mic, atunci puterea testului de a surprinde un efect semnificativ se reduce. utilizarea unor proceduri de investigare adecvate controlul i eliminarea surselor de eroare; tratarea identic a tuturor subiecilor cercetrii; selectarea aleatoare a eantioanelor eliminarea surselor de selecie prtinitoare (bias).

maximizarea variabilitii primare, aceea care decurge ca urmare a efectului unei variabile asupra celeilalte

Reducerea erorilor de msurare

Alegerea modelul de cercetare

Testul bilateral reduce probabilitatea erorii de tip I, dar crete probabilitatea erorii de tip II i, implicit, reduce puterea Testele parametrice prezint o putere statistic mai mare dect cele neparametrice

modelele de cercetare within-subjects (intrasubiect) au mai mult putere dect modelele between-subjects (inter-subiect) ori de cte ori este justificabil, se va opta pentru test unilateral, chiar dac, n practic, testul bilateral este cel uzual
utilizarea acestora din urm se va face doar atunci cnd este absolut necesar (n conformitate cu condiiile de aplicare) nu se va renuna cu uurin la un test parametric, dac datele cercetrii sunt msurate pe scal cantitativ.

ct de mult putere?
prea mult putere este tot att de nedorit ca i prea puin

dac mrim puterea reducem probabilitatea erorii de tip II, dar cretem probabilitatea erorii de tip I
un studiu cu putere mare (cu N foarte mare), are probabilitate mai mare de a respinge ipoteza de nul, chiar dac aceasta este adevrat (eroare de tip I)

Thompson
... testul statistic devine o cutare tautologic pentru suficieni participani n msur s ating semnificaia statistic

utilizarea analizei de putere

n faza premergtoare a unei cercetri
pentru a evalua ansa de a obine un rezultat semnificativ statistic ct de mic poate fi puterea unei cercetri pentru a accepta efectuarea ei? 0.5 este prea puin pentru a investi timp i bani 0.7, care corespunde unei probabiliti de 0.3 pentru eroarea de tip II, este considerat ca fiind minim 0.8 este considerat cel mai bun compromis ntre nivelul puterii i consecinele ei negative

Dup efectuarea unei cercetri

care este probabilitatea ca rezultatul acesteia s indice un efect real al variabilei independente asupra variabilei dependente

GPower... n semestrul 2

Mrimea efectului
semnificaia statistic nu spune nimic despre intensitatea relaiei (efectului) dintre variabile

S considerm c rezultatul testului dintre inteligena olimpicilor i a elevilor n general

Am obinut o diferen de 6 uniti QI Este mult?... este puin?

mrimea efectului rspunde acestei ntrebri

indici de mrime a efectului

indici care se bazeaz pe diferena standardizat dintre medii
d al lui Cohen, delta al lui Glass, g al lui Hedges;

Indici care se bazeaz pe asocierea dintre variabile

r, r2 (coeficient de determinare), eta ptrat, omega ptrat

unii sunt oferii de SPSS, alii de alte programe dar sunt relativ uor de calculat manual

Calcularea indicelui lui d Cohen pentru testul z(t) pentru un singur eantion
106 100 d 0.4 15

m=media eantionului =media populaiei =abaterea standard a populaiei (se poate utiliza s)
d (Cohen)

0.20 mic

0.50 mediu

0.80 mare

Suprapunerea distribuiilor comparate, ca expresie a mrimii efectului

Creterea mrimii efectului reduce suprapunerea distribuiilor

Raportarea mrimii efectului

Testarea ipotezei de nul este supus unor critici puternice
American Psychological Association a organizat un grup de lucru avnd ca obiect elaborarea unor recomandri cu privire la raportarea rezultatelor statistice (Wilkinson&APA Task Force on Statistical Inference, 1999)
raportarea i interpretarea mrimii efectului (...) este esenial pentru o cercetare bun

raportarea i interpretarea mrimii efectului prezint trei avantaje importante:

faciliteaz studiile de meta-analiz (studii care sintetizeaz rezultatele mai multor cercetri pe aceeai tem); faciliteaz formularea unor ipoteze cu un grad mai mare de specificitate de ctre cercettorii care vor studia aceeai tem; faciliteaz integrarea rezultatului unei cercetri n literatura dedicat acelui subiect,

Interdependena erorilor statistice cu puterea testului i mrimea efectului

Distribuia H0

mrimea efectului

Distribuia H1

Nivelul de ncredere (1-alfa)

Puterea (1-beta)

H0 Eroarea de tip II (beta) Pragul de decizie (valoarea critic)

H1 Eroarea de tip I (alfa)

mrimea efectului

Nivelul de ncredere (eroarea de tip II)

(1-alfa)

Puterea (1-beta)

H0

H1 Eroarea de tip I (alfa)

mrimea efectului

Crete

Nivelul de ncredere (eroarea de tip II)

Puterea (1-beta)

(1-alfa)

acelai

H0 Eroarea de tip II scade

H1 Eroarea de tip I (alfa)

aceeai

Important...

La interpretarea rezultatului unei cercetri trebuie s inem cont: de nivelul de semnificaie de puterea testului de mrimea efectului

Rezultat semnificativ statistic? (se respinge H0?)

DA

Volumul eantionului

Concluzii
Rezultat important. Chiar dac puterea testului este mic, din cauza volumului redus al eantionului, existena unui rezultat semnificativ arat o mrime a efectului important. Rezultatul poate fi important sau nu: semnificaia poate rezulta din puterea ridicat a testului, ca urmare a volumului mare al eantionului SAU poate fi expresia unei diferene importante dintre populaiile comparate Rezultatul este neconcludent. Absena semnificaiei statistice se poate datora: faptului c ipoteza cercetrii este fals SAU puterii reduse a testului, ca urmare a eantionului prea mic Ipoteza cercetrii este probabil fals din cauz c, n ciuda puterii ridicate (eantion mare), rezultatul nu a atins nivelul semnificaiei statistice. Mrimea efectului este foarte mic

MIC

DA

MARE

NU

MIC

NU

MARE

Testarea ipotezei de nul - varianta extins 1. Enunarea ipotezei de nul (H0)

2. Enunarea ipotezei cercetrii (H1)

3. Alegerea nivelului de semnificaie (alfa)

5. Colectarea i analiza descriptiv a datelor

6. Raportarea la un criteriu pentru evaluarea rezultatului pe eantion

7. Adoptarea deciziei statistice (reinerea sau respingerea H0)

8. Calcularea mrimii efectului
indicele de intensitate a asocierii (r2, eta2 omega2, ) d Cohen estimarea puterii testului

Concluzii
interpretarea testului statistic nu este complet fr discuia n jurul erorilor statistice, puterii testului i mrimii efectului n ultimii ani, din ce n ce mai mult se atrage atenia asupra faptului c limitarea rezultatelor la raportarea semnificaiei statistice nu este suficient

American Psychological Association (2001)

recoman publicarea, alturi de semnificaia statistic, a mrimii efectului i limitelor de ncredere din ce n ce mai multe reviste de specialitate care se respect pretind includerea acestui indice n completarea semnificaiei statistice