Erori statistice

Puterea testului statistic

Mrimea efectului
Marian Popa
2013
Adoptarea deciziei statistice
Am respins H0 pentru c valoarea calculat a testului
a fost mai mare dect valoarea critic
Am fi admis H0 dac valoarea calculat a testului era
mai mic dect valoarea critic
Raportarea la un criteriu pentru evaluarea rezultatului pe eantion
z critic corespunztor lui alfa=0.05 pe curba normal
Colectarea i analiza descriptiv a datelor
Selectarea eantionului, aplicarea unui test de inteligen
Alegerea nivelului de semnificaie (alfa)
0.05; 0.01; 0.001
Enunarea ipotezei de nul (H0)
QI mediu al elevilor olimpici nu este mai mare (diferit)
Enunarea ipotezei cercetrii (H1)
QI mediu al elevilor olimpici este mai mare
pentru exemplul nostru
QI=100
z=0
QI
calculat
=106
z
calculat
=+2.18
0.014
Decizia statistic (unilateral):
se respinge H0
Concluzia cercetrii:
se confirm H1
0.05
z
critic
=+1.65
Decizie unilateral:
QI=100
z=0 QI
calculat
=106
z
calculat
=+2.18
0.014
Decizia statistic (bilateral):
se respinge H0
Concluzia cercetrii:
se confirm H1
0.025
z
critic
=+1.96
Decizie bilateral:
0.025
z
critic
=-1.96
... cum nelegem rezultatul?
Fiecare elev olimpic este mai
inteligent dect unul ne-olimpic?
Elevii olimpici sunt n mod sigur mai
inteligeni dect elevii n general?
... ce am testat de fapt?
Posibilitatea ca H1 s fie adevrat?
(olimpicii sunt mai inteligeni)
Nu, am testat probabilitatea ca H1 s fie fals
(olimpicii nu sunt mai inteligeni)
Erori statistice
Se refer la eroarea deciziei statistice n raport cu
realitatea vieii, nu la aplicarea greit a
procedurii de testare.
n raport cu realitatea vieii, decizia cu privire la
ipoteza de nul poate fi corect sau greit
Cercettorul nu poate ti cu certitudine dac
decizia statistic este corect sau este greit (dac
ar putea ti, nu ar mai avea nevoie de statistic)
D
e
c
i
z
i
a

s
t
a
t
i
s
t
i
c

Acceptarea H
0
(olimpicii NU SUNT
mai inteligeni)
Adevrul vieii (necunoscut)
H
0
este adevrat
(olimpicii NU SUNT
mai inteligeni)
Respingerea H
0
(olimpicii SUNT mai
inteligeni)
H
0
este fals
(olimpicii SUNT mai
inteligeni)
2. eroare de tip I
P=alfa
Eroarea statistic de tip I
D
e
c
i
z
i
a

s
t
a
t
i
s
t
i
c

Acceptarea H
0
(olimpicii NU SUNT
mai inteligeni)
Adevrul vieii (necunoscut)
1. decizie corect
p=1-alfa
H
0
este adevrat
(olimpicii NU SUNT
mai inteligeni)
Respingerea H
0
(olimpicii SUNT mai
inteligeni)
H
0
este fals
(olimpicii SUNT mai
inteligeni)
2. eroare de tip I
P=alfa
Acceptarea corect a H0
z=0
z
calculat
=+1.96
Eroarea de tip I
fals pozitiv
Nivelul de ncredere
1-alfa=0.95
z
calculat
=-1.96
Eroarea de tip I
fals pozitiv
p=0.025
p=0.025
Eroarea de tip I i nivelul de ncredere
n condiiile deciziei bilaterale
D
e
c
i
z
i
a

s
t
a
t
i
s
t
i
c

Acceptarea H
0
(olimpicii NU SUNT
mai inteligeni)
Adevrul vieii (necunoscut)
1. decizie corect
p=1-alfa
H
0
este adevrat
(olimpicii NU SUNT
mai inteligeni)
Respingerea H
0
(olimpicii SUNT mai
inteligeni)
H
0
este fals
(olimpicii SUNT mai
inteligeni)
2. eroare de tip I
P=alfa
4. eroare de tip II
p=beta
Eroarea statistic de tip II
care eroare este mai grav?
societatea (comunitatea tiinific) este interesat s evite
respingerea H0 cnd ea este de fapt adevrat
evitarea erorii de tip I
Declararea existenei unui zcmnt inexistent
cercettorul este interesat s evite acceptarea H0 cnd ea este de
fapt fals
eroarea de tip II
Declararea inexistenei unui zcmnt existent
ambele sunt rele
eroare de tip I = se vor consuma resurse pentru exploatarea unui zcmnt nereal
(Climani)
eroare de tip II = un zcmnt real va rmne neexploatat
1. Respingerea corect a ipotezei de nul, urmat de atribuirea incorect a cauzei
(Raiffa)
interpretare greit a rezultatului.
ceva semnificativ se ntmpl, dar nu ceea ce crede cercettorul
Exemplul clasic este ilustrat de efectul de noutate
Efectul placebo poate fi inclus de asemenea n categoria erorilor de tip III, dar nu toate erorile de tip
III sunt de tip placebo
Nu exist metode statistice pentru eliminarea erorii de tip III, n aceast accepie
Singura protecie vine dinspre calitatea modelului de cercetare
Pentru evaluarea efectului placebo studiile medicale prevd protocoale de tip dublu orb
2. Rezultatul cercetrii conduce la confirmarea unui efect sau relaii ntre
variabile, dar sensul (direcia) efectului este greit interpretat.
Rezultatele cercetrii susin c efectul noii metode de nvare este superior celei vechi dei, n
realitate, situaia st exact invers, concluzia fiind greit.
n aceast accepie, probabilitatea erorii de tip III este codificat cu litera (gamma)
Unele programe statistice sunt capabile s o estimeze.
Eroarea de tip III se poate manifesta numai n cercetri de tip experimental,
singurele care permit concluzii de natur cauzal.
Eroarea de tip III
D
e
c
i
z
i
a

s
t
a
t
i
s
t
i
c

Acceptarea H
0
(olimpicii NU SUNT
mai inteligeni)
Adevrul vieii (necunoscut)
1. decizie corect
p=1-alfa
H
0
este adevrat
(olimpicii NU SUNT
mai inteligeni)
Respingerea H
0
(olimpicii SUNT mai
inteligeni)
H
0
este fals
(olimpicii SUNT mai
inteligeni)
3. decizie corect
p=1-beta (power)
2. eroare de tip I
P=alfa
4. eroare de tip II
p=beta
Respingerea corect a H0
PUTEREA TESTULUI
Metode de cretere a
puterii testului
Scade eroarea standard creterea volumului eantionului (N)
efectul variabilei independente se manifest mai
puternic pe grupurile de subieci aflate la extremitile
scalei de msurare a variabilei dependente dect pe
valorile ntregii scale
dac mprtierea datelor de cercetare este mic, atunci
puterea testului de a surprinde un efect semnificativ se
reduce.
maximizarea variabilitii primare, aceea care
decurge ca urmare a efectului unei variabile
asupra celeilalte
utilizarea unor proceduri de investigare adecvate
controlul i eliminarea surselor de eroare;
tratarea identic a tuturor subiecilor cercetrii;
selectarea aleatoare a eantioanelor
eliminarea surselor de selecie prtinitoare (bias).
Reducerea erorilor de msurare
modelele de cercetare within-subjects (intra-
subiect) au mai mult putere dect modelele
between-subjects (inter-subiect)
Alegerea modelul de cercetare
ori de cte ori este justificabil, se va opta pentru
test unilateral, chiar dac, n practic, testul
bilateral este cel uzual
Testul bilateral reduce probabilitatea erorii de
tip I, dar crete probabilitatea erorii de tip II i,
implicit, reduce puterea
utilizarea acestora din urm se va face doar atunci cnd
este absolut necesar (n conformitate cu condiiile de
aplicare)
nu se va renuna cu uurin la un test parametric, dac
datele cercetrii sunt msurate pe scal cantitativ.
Testele parametrice prezint o putere statistic
mai mare dect cele neparametrice
ct de mult putere?
prea mult putere este tot att de nedorit ca i prea puin
dac mrim puterea reducem probabilitatea erorii de tip II,
dar cretem probabilitatea erorii de tip I
un studiu cu putere mare (cu N foarte mare), are probabilitate mai mare
de a respinge ipoteza de nul, chiar dac aceasta este adevrat (eroare
de tip I)
Thompson
... testul statistic devine o cutare tautologic pentru suficieni
participani n msur s ating semnificaia statistic
utilizarea analizei de putere
n faza premergtoare a unei cercetri
pentru a evalua ansa de a obine un rezultat semnificativ statistic
ct de mic poate fi puterea unei cercetri pentru a accepta efectuarea
ei?
0.5 este prea puin pentru a investi timp i bani
0.7, care corespunde unei probabiliti de 0.3 pentru eroarea de tip II,
este considerat ca fiind minim
0.8 este considerat cel mai bun compromis ntre nivelul puterii i
consecinele ei negative
Dup efectuarea unei cercetri
care este probabilitatea ca rezultatul acesteia s indice un efect real al
variabilei independente asupra variabilei dependente
GPower... n semestrul 2
Mrimea efectului
semnificaia statistic nu spune nimic despre
intensitatea relaiei (efectului) dintre variabile
S considerm c rezultatul testului dintre
inteligena olimpicilor i a elevilor n general
Am obinut o diferen de 6 uniti QI
Este mult?... este puin?
mrimea efectului rspunde acestei ntrebri
indici de mrime a efectului
indici care se bazeaz pe diferena standardizat dintre
medii
d al lui Cohen, delta al lui Glass, g al lui Hedges;
Indici care se bazeaz pe asocierea dintre variabile
r, r
2
(coeficient de determinare), eta ptrat, omega ptrat
unii sunt oferii de SPSS, alii de alte programe
dar sunt relativ uor de calculat manual
Calcularea indicelui lui d Cohen pentru
testul z(t) pentru un singur eantion
m=media eantionului
=media populaiei
=abaterea standard a
populaiei (se poate utiliza s)

m
d
d (Cohen)
0.20
mic
0.50
mediu
0.80
mare
4 . 0
15
100 106

d
Suprapunerea distribuiilor comparate, ca
expresie a mrimii efectului
Creterea mrimii efectului reduce suprapunerea distribuiilor
Raportarea mrimii efectului
Testarea ipotezei de nul este supus unor critici puternice
American Psychological Association a organizat un grup de lucru avnd ca
obiect elaborarea unor recomandri cu privire la raportarea rezultatelor
statistice (Wilkinson&APA Task Force on Statistical Inference, 1999)
raportarea i interpretarea mrimii efectului (...) este esenial pentru o cercetare bun
raportarea i interpretarea mrimii efectului prezint trei avantaje
importante:
faciliteaz studiile de meta-analiz (studii care sintetizeaz rezultatele mai multor cercetri
pe aceeai tem);
faciliteaz formularea unor ipoteze cu un grad mai mare de specificitate de ctre cercettorii
care vor studia aceeai tem;
faciliteaz integrarea rezultatului unei cercetri n literatura dedicat acelui subiect,
Interdependena erorilor
statistice cu puterea
testului i mrimea
efectului
mrimea efectului
Distribuia
H1
Distribuia
H0
Nivelul de
ncredere
(1-alfa)
Puterea
(1-beta)
Eroarea de tip I
(alfa)
Pragul de decizie
(valoarea critic)
Eroarea de tip II
(beta)
H0 H1
mrimea efectului
=
Nivelul de ncredere
(eroarea de tip II)
(1-alfa)
-
Puterea
(1-beta)
+
Eroarea de tip I
(alfa)
+
H0 H1
mrimea efectului
Crete
Nivelul de ncredere
(eroarea de tip II)
(1-alfa)
acelai
Puterea
(1-beta)
+
Eroarea de tip I
(alfa)
aceeai
H0 H1
Eroarea de
tip II
scade
=
Important...
La interpretarea rezultatului unei
cercetri trebuie s inem cont:
de nivelul de semnificaie
de puterea testului
de mrimea efectului
Rezultat
semnificativ
statistic?
(se respinge H0?)
Volumul
eantionului
Concluzii
DA MIC
Rezultat important.
Chiar dac puterea testului este mic, din cauza
volumului redus al eantionului, existena unui rezultat
semnificativ arat o mrime a efectului important.
DA MARE
Rezultatul poate fi important sau nu:
semnificaia poate rezulta din puterea ridicat a
testului, ca urmare a volumului mare al eantionului
SAU
poate fi expresia unei diferene importante dintre
populaiile comparate
NU MIC
Rezultatul este neconcludent. Absena semnificaiei
statistice se poate datora:
faptului c ipoteza cercetrii este fals
SAU
puterii reduse a testului, ca urmare a eantionului prea
mic
NU MARE
Ipoteza cercetrii este probabil fals din cauz c, n
ciuda puterii ridicate (eantion mare), rezultatul nu a
atins nivelul semnificaiei statistice.
Mrimea efectului este foarte mic
Testarea ipotezei de nul
- varianta extins -
1. Enunarea ipotezei de nul (H0)
2. Enunarea ipotezei cercetrii (H1)
3. Alegerea nivelului de semnificaie (alfa)
5. Colectarea i analiza descriptiv a datelor
6. Raportarea la un criteriu pentru evaluarea rezultatului pe eantion
7. Adoptarea deciziei statistice (reinerea sau respingerea H0)
8. Calcularea mrimii efectului
indicele de intensitate a asocierii (r
2
, eta
2
omega
2
, )
d Cohen
estimarea puterii testului
Concluzii
interpretarea testului statistic nu este complet fr discuia n
jurul erorilor statistice, puterii testului i mrimii efectului
n ultimii ani, din ce n ce mai mult se atrage atenia asupra
faptului c limitarea rezultatelor la raportarea semnificaiei
statistice nu este suficient
American Psychological Association (2001)
recoman publicarea, alturi de semnificaia statistic, a mrimii efectului i
limitelor de ncredere
din ce n ce mai multe reviste de specialitate care se respect pretind
includerea acestui indice n completarea semnificaiei statistice