UNIVERSITATEA ECOLOGICĂ BUCUREŞTI

FACULTATEA DE PSIHOLOGIE

DISCIPLINA:STATISTICA PSIHOLOGICĂ PRELUCRAREA

INFORMATIZATĂ A DATELOR 1

T6.Erori statistice, Puterea testului statistic, Mărimea

efectului

Prof. dr. asociat

Gheorghe Perţea
Tema cercetării: ”Coeficientul de inteligenţă la elevii
olimpici şi neolimpici”- rezolvarea temei în 6 paşi

1. Enunţarea ipotezei cercetării (H1): Ql mediu al elevilor olimpici

este mai mare(decăt QI mediu al elevilor neolimpici)
↓
2. Enunţarea ipotezei de nul (H0): Ql mediu al elevilor olimpici nu
este mai mare (diferit) decât QI mediu al elevilor neolimpici
↓

3. Alegerea nivelului de semnificaţie (alfa-de risc de eroare): 0.05;

0.01; 0.001
Tema cercetării: ”Coeficientul de inteligenţă la elevii
olimpici şi neolimpici”- rezolvarea temei în 6 paşi

4. Colectarea şi analiza descriptivă a datelor: Selectarea

eşantionului, aplicarea unui test de inteligenţă
↓
5. Raportarea la un criteriu pentru evaluarea rezultatului pe
eşantion: z critic corespunzător lui alfa=0.05 pe curba normală
↓
6. Adoptarea deciziei statistice:
6.1. Am respins H0 pentru că valoarea calculată a testului t de
semnificație a fost mai mare decât valoarea critică(tabelară)
6.2. Am fi admis H0 dacă valoarea calculată a testului era mai
mică decât valoarea critică
... cum înţelegem rezultatul?

a) Fiecare elev olimpic este mai inteligent decât unul ne-

olimpic?
Nu, deoarece sunt comparate mediile

b) Elevii olimpici sunt în mod sigur mai inteligenţi decât elevii în

general?
Nu, deoarece pe curba normală (ipoteza de nul) este posibilă o
medie Ql mai mare decât a olimpicilor
... ce am testat de fapt?

a) Posibilitatea ca H1 să fie adevărată? ("olimpicii sunt mai

inteligenţi?")
NU, deoarece testul se referă în mod direct la ipoteza de nul H0

b) Am testat probabilitatea ca H1 să fie falsă ("olimpicii nu sunt

mai inteligenţi")
Decizia privind H1 este derivată din H0
...o analogie: Căutăm aur într-un munte (populaţia)
1. H1=există aur (exploatabil)

2. H0=nu există aur (exploatabil)

3. Fixăm o "valoare critică" corespunzătoare unei

probabilităţi de maxim 0.05 ca o anumită cantitate de aur să
se afle oriunde pe pământ ("concentraţie naturală" – H0)

4. Excavăm o cantitate de pământ (eşantion); măsurăm

cantitatea de aur şi descoperim o anumită concentraţie de
aur
 ...o analogie:: Căutăm aur într-un munte (populaţia:
concentrarea aurului pe unitatea de sol)

5. Facem raportarea la o "valoare critică" corespunzătoare unei

probabilităţi de maxim 0.05 ca o anumită cantitate de aur să
se afle oriunde pe pământ ("concentraţie naturală" – H0)
6.1. Admitem H0 dacă eşantionul are o concentraţie mai mică
decât cea "naturală" (H0):
Dar dacă am avut "ghinion" când am selectat zona de explorare?
6.2. Respingem H0 dacă eşantionul are o concentraţia egală sau
mai mare decât cea "naturală”.
Dar dacă am avut "noroc" când am selectat zona de explorare?
Rezultă că în orice situaţie decizia privind H0 presupune un risc
de eroare.
 Erori statistice

 Se referă la eroarea în raport cu "realitatea vieţii", nu la

aplicarea greşită a procedurii de testare.

 Înraport cu „realitatea vieţii", decizia cu privire la ipoteza de

nul(H0) poate fi corectă sau greşită.

 Cercetătorul nu poate şti cu certitudine dacă decizia pe care o

ia este cu adevărat corectă sau este greşită (dacă ar putea, nu ar
mai avea nevoie de statistică).
 Eroarea statistica de tip I
Respingem H0 deşi în realitate este adevărată
 rezultat fals pozitiv - decidem că olimpicii sunt mai inteligenţi; că
există aur... deşi nu este adevărat
 pE –de tip 1=alfa; Nivelul maxim acceptat pentru E-tip 1=0.05!

Decizia statistică se bazează pe măsura în care eşantionul reprezintă

caracteristicile populaţiei
 un eşantion selectat în condiţii ideale, prezintă o anumită probabilitate
ca valorile sale să se abată de la parametrii populaţiei („adevărul
vieţii").
 chiar şi un eşantion selecţionat aleatoriu poate prezenta valori
neobişnuit de îndepărtate de parametrii populaţiei, fără nici o legătură
cu condiţia cercetării.
 supunându-ne în mod corect regulilor convenţionale ale deciziei
statistice, respingem ipoteza de nul-H0 (deși ea este adevărată),
făcând o eroare de tip I.
Putem reduce probabilitatea erorii de tip I prin asumarea
unei valori mai mici pentru alfa(acceptăm un risc de eroare
mai mic) acceptăm un p=05-bilateral(adică un p=0,025, sau
un p=0,01),
Acest lucru nu este lipsit de consecinţe:
Eroarea de tip I este complementară cu decizia corectă de acceptare a H0
, când aceasta este realmente adevărată.
 (1-alfa) reprezintă "nivelul de încredere“

Dacă am efectua exact acelaşi experiment de 100 ori, cu

alfa=0.05(dar cu un p= 0,05 bilateral?, sau cu un p=0,01):
 în 5% din cazuri respingem eronat H0 (2,5%, 1%)

 în 95%(97,5%, 99%) din cazuri acceptăm corect ipoteza de nul H0

Alfa maxim este impus prin convenţie
 eroarea de tip I maximă=5% (0.05)
 nivelul de încredere minim=95% (0.95)
Eroarea de tip I şi nivelul de încredere în condiţiile deciziei
bilaterale
Eroarea statistica de tip II
Rezultatul testului impune acceptarea H0, deşi în realitate aceasta
este falsă

 Muntele conţine în mod real un zăcământ de aur

 Eşantionul nu conţine dovada acestui fapt şi ne sileşte să admitem
ipoteza de nul H0
 Rezultat fals negativ.
 Ca urmare a hazardului eşantionării, diferenţa dintre media
eşantionului cercetării şi media populaţiei nu atinge pragul
semnificaţiei statistice.
 Aceasta este situaţia în care, deşi elevii olimpici sunt mai
inteligenţi, cercetarea noastră are un rezultat nesemnificativ.
Eroarea de tip II este codificată cu beta, şi nu poate fi mai mare de
0.30-0.40.
Care eroare este mai gravă?
“Societatea" (comunitatea ştiinţifică) este interesată să evite
respingerea H0 când ea este de fapt adevărată
 evitarea erorii de tip I
 declararea existentei unui zăcământ inexistent

Cercetătorul este interesat să evite acceptarea H0 când ea este

de fapt falsă
 eroarea de tip II
 declararea inexistentei unui zăcământ existent

Ambele sunt "rele"

 eroare de tip I = se vor consuma resurse pentru exploatarea unui
zăcământ nereal (Călimani)
 eroare de tip II = un zăcământ real va rămâne neexploatat
 Eroarea de tip III
1. Respingerea corectă a ipotezei de nul, urmată de atribuirea
incorectă a cauzei (Raiffa)
 interpretare greşită a rezultatului.
 „ceva semnificativ se întâmplă" dar nu ceea ce crede cercetătorul
 exemplul clasic este ilustrat de „efectul de noutate"
 efectul placebo poate fi inclus de asemenea în categoria erorilor de
tip III, dar nu toate erorile de tip III sunt de tip placebo
 nu există metode statistice pentru eliminarea erorii de tip III, în
această accepţie
 singura protecţie vine dinspre calitatea modelului de cercetare
 Pentru evaluarea efectului placebo studiile medicale prevăd
protocoale de tip „dublu orb"
 Eroarea de tip III

2. Rezultatul cercetării conduce la confirmarea unui „efect" sau „relaţii între

variabile" dar sensul (direcţia) efectului este greşit interpretat.

 Rezultatele cercetării susţin că efectul noii metode de învăţare este superior celei
vechi deşi, în realitate, situaţia stă exact invers, concluzia fiind greşită.

 În această accepţie, probabilitatea erorii de tip III este codificată cu litera Υ

{gamma)

 Unele programe statistice sunt capabile să o estimeze.

Eroarea de tip III se poate manifesta numai în cercetări de tip

experimental, singurele care permit concluzii de natură cauzală.
 Puterea testului
Să presupunem că datele cercetării ne impun admiterea H0. Ce
poate determina un astfel de rezultat?

1. Ipoteza de nul H0 este de fapt adevărată (ipoteza cercetării este

realmente falsă H1)
 muntele nu conţine aur
 elevii olimpici nu sunt mai inteligenţi decât populaţia elevilor în
general
 Puterea testului

2. Ipoteza de nul(H0) este falsă (ipoteza cercetării este de fapt

adevărată)
 zăcământul de aur există, dar explorarea noastră nu a avut
suficientă „putere" („sensibilitate") pentru a surprinde
existenţa aurului
 olimpicii sunt mai inteligenţi, dar cercetarea nu a fost capabilă
să pună în evidenţă acest lucru
 în acest caz, prin acceptarea ipotezei de nul (respingerea
ipotezei cercetării) am comis o eroare de tip II.
 Puterea testului
Teoretic = „sensibilitatea" unui test statistic (cercetării) de a
detecta un efect real (legătură reală) între variabile
 „Efect real“ →modificări ale valorilor unei variabile se
regăsesc în modificări ale valorilor celeilalte variabile
Practic = exprimă probabilitatea de a respinge ipoteza de nul
atunci când ea este cu adevărat falsă
 Se exprimă ca 1-beta (probabilitatea erorii de tip II)

Situaţia celei mai bune decizii pe care şi-o poate dori un

cercetător
 să dovedească că ceea ce şi-a propus ca ipoteză a cercetării
este realmente adevărată
 Eroarea de tip II şi puterea testului
Eroarea de tip II şi puterea testului sunt invers proporţionale
Cu cât puterea testului este mai mare, cu atât probabilitatea erorii
de tip II (acceptarea nejustificată H0) este mai mică.
 eroarea de tip II: beta=1-puterea testului
Dacă puterea unui experiment este 0.85, rezultă că probabilitatea
erorii de tip II este 1-0.85, adică 0.15

Dacă puterea experimentului (cercetării) ar fi de 0.15, atunci

probabilitatea erorii de tip II s-ar ridică la 1- 0.15, adică 0.85
 Metode de creştere a puterii testului
1. Creşterea volumului eşantionului (N): Scade eroarea standard
2. Maximizarea variabilităţii primare, aceea care decurge ca
urmare a „efectului" unei variabile asupra celeilalte
 „efectul" variabilei independente se manifestă mai puternic pe
grupurile de subiecţi aflate la extremităţile scalei de măsurare a
variabilei dependente decât pe valorile întregii scale
 dacă împrăştierea datelor de cercetare este mică, atunci puterea
testului de a surprinde un efect semnificativ se reduce.
3. Alegerea modelul de cercetare
• modelele de cercetare within-subjects (intra-subiect) au mai multă
putere decât modelele between-subjects (inter-subiect)
 Metode de creştere a puterii testului
4. Testul bilateral reduce probabilitatea erorii de tip 1, dar creşte
probabilitatea erorii de tip II şi, implicit, reduce puterea
• ori de câte ori este justificabil, se va opta pentru test unilateral,
chiar dacă, în practică, testul bilateral este cel uzual
5. Testele parametrice prezintă o putere statistică mai mare
decât cele neparametrice
 utilizarea acestora din urmă se va face doar atunci când este
absolut necesar (în conformitate cu condiţiile de aplicare)

 nu se va renunţa cu uşurinţă la un test parametric, dacă datele

cercetării sunt măsurate pe scală cantitativă.
 Cât mai multă putere?
Prea multă putere este tot atât de nedorit ca şi prea puţină

Dacă mărim puterea reducem probabilitatea erorii de tip II, dar

creştem probabilitatea erorii de tip I
 un studiu cu putere mare (cu N foarte mare), are probabilitate mai
mare de a respinge ipoteza de nul, chiar dacă aceasta este adevărată
(eroare de tip I)

Thompson
 „... testul statistic devine o căutare tautologica pentru suficienţi
participanţi în măsura să atingă semnificaţia statistică"
 Cât mai multă putere?
Calitatea deciziei unei cercetări reprezintă rezultatul unei
„negocieri" între nivelul acceptat pentru erorile de tip I şi II
 cu cât prima este mai mică, cu atât a doua este mai mare, şi invers

Să presupunem că studiul din exemplul nostru este efectuat

identic de doi cercetători
 unul dintre ei îşi fixează nivelul lui alfa la 0.05
 al doilea la 0.01

Dacă rezultatului îi corespunde unui p=0.03

 primul respinge ipoteza de nul H0

 al doilea este nevoit să accepte ipoteza de nul H0 (risc mai mare

pt. eroare de tip II)
Factori care influenţează decizia statistică

1. Un prag alfa mai mic decât cel uzual (0.05) scade puterea
testului, dar reduce în acelaşi timp riscul erorii fals pozitive
(confirmarea ipotezei cercetării atunci când este falsă);

2. Un prag alfa mai mare(la primul prag convenţional de 0,05)

creşte puterea testului, adică probabilitatea de a respinge ipoteza
de nul H0 şi de a consemna confirmarea ipotezei cercetării (din
păcate, nivelul maxim al lui alfa nu poate depăşi pragul
convenţional de 0.05);
 Utilizarea analizei de putere
În faza premergătoare a unei cercetări
Pentru a evalua şansa de a obţine un rezultat semnificativ statistic;
cât de mică poate fi puterea unei cercetări pentru a accepta
efectuarea ei?
 0.5 este prea puţin pentru a investi timp şi bani
 0.7, care corespunde unei probabilităţi de 0.3 pentru eroarea de
tip II, este considerată ca fiind minimă
 0.8 este considerat cel mai bun compromis între nivelul puterii şi
consecinţele ei negative
După efectuarea unei cercetări
Care este probabilitatea ca rezultatul acesteia să indice un „efect
real" al variabilei independente asupra variabilei dependente?
 G Power..
 Mărimea efectului
Semnificaţia statistică nu spune nimic despre intensitatea relaţiei
(efectului) dintre variabile
Să considerăm că rezultatul explorării muntelui presupus
aurifer conduce la respingerea ipotezei de nul H0

 geologii concluzionează că eşantionul conţine aur într-o proporţie

„semnificativă"
 înseamnă oare acest lucru că muntele conţine „mult aur"?
 NU! înseamnă că acea concentraţie de aur din eşantion are o
probabilitate prea mică să fie acolo din întâmplare
 CÂT DE MARE este cantitatea de aur nu putem şti doar pe baza
testului de semnificaţie statistică
”Mărimea efectului" răspunde acestei întrebări
 Raportarea mărimii efectului

Testarea ipotezei de nul este supusă unor critici puternice

American Psychological Association a organizat un grup de lucru

având ca obiect elaborarea unor recomandări cu privire la
raportarea rezultatelor statistice (Wilkinson&APA Task Force
on Statistical Inference, 1999)

 „raportarea şi interpretarea mărimii efectului (...) este esenţiala

pentru o cercetare bună“
 Raportarea mărimii efectului

Raportarea şi interpretarea mărimii efectului prezintă trei

avantaje importante:

1. facilitează studiile de metaanaliză (studii care sintetizează

rezultatele mai multor cercetări pe aceeaşi temă);
2. facilitează formularea unor ipoteze cu un grad mai mare de
specificitate de către cercetătorii care vor studia aceeaşi temă;
3. facilitează integrarea rezultatului unei cercetări în literatura
dedicată acelui subiect
 Indici de mărime a efectului

Indici care se bazează pe diferenţa standardizată dintre medii

 „d" al lui Cohen, „delta" al lui Glass, „g" al lui Hedges;

 r, r2 (coeficientul de determinare), eta pătrat, omega pătrat

 unii sunt oferiţi de SPSS, alţii de alte programe

Calcularea lui d pentru testul z(t) pentru un singur
eşantion:
Suprapunerea distribuţiilor comparate ca expresie a
mărimii efectului
 Important...

La interpretarea rezultatului trebuie să ţinem cont:

 de nivelul de semnificaţie

 de puterea testului

 de mărimea efectului
 Testarea ipotezei de nul H0
-varianta extinsă –
1. Enunţarea ipotezei de nul H0
2. Enunţarea ipotezei cercetării H1
3. Alegerea nivelului de semnificaţie - alfa
4. Colectarea şi analiza descriptivă a datelor
5. Raportarea la un criteriu pentru evaluarea rezultatului pe eşantion
6. Adoptarea deciziei statistice (reţinerea sau respingerea H0 )
7. Calcularea mărimii efectului:
 indicele de intensitate a asocierii (r2, eta2 omega2,)
 d Cohen estimarea puterii testului
 Concluzii
1. Interpretarea testului statistic nu este completă fără discuţia în
jurul erorilor statistice, puterii testului şi mărimii efectului
2. În ultimii ani, din ce în ce mai mult se atrage atenţia asupra
faptului că limitarea rezultatelor la raportarea semnificaţiei
statistice nu este suficientă
3. American Psychological Association (2001):
 recomandă publicarea, alături de:
 1.semnificaţia statistică,
 2.a mărimii efectului şi
 3.limitelor de încredere
 din ce în ce mai multe reviste de specialitate care se respectă pretind
includerea acestui indice în completarea semnificaţiei statistice
 Rezumat(1)
1. Eroarea de tip I este probabilitatea de a respinge o ipoteză de nul
adevărată (se acceptă o ipoteză a cercetării care este falsă) -
rezultat fals pozitiv.
2. Eroarea de tip II este probabilitatea de a se admite o ipoteză de
nul falsă (se respinge o ipoteză a cercetării adevărată) - rezultat
fals negativ.
3. O eroare de tip III apare atunci când rezultatul cercetării, deşi
semnificativ, este greşit atribuit efectului variabilei independente,
sau este în opoziţie cu sensul real.
4. Erorile de tip I şi II sunt în egală măsură negative dar, de regulă,
acordăm mai multă atenţie erorii de tip I, încercând să ţinem
alfa la o valoare cât mai mică.
5. Puterea testului este o mărime probabilistă care indică şansa de a
obţine un rezultat semnificativ statistic.
 Rezumat(2)

6. Puterea variază în funcţie de nivelul pragului alfa (eroarea de tip

I); cu cât alfa este mai mic, cu atât puterea testului scade.

7. Dacă reducem alfa de la 0.05 la 0.01, reducem probabilitatea de a

face o eroare de tip I dar, în acelaşi timp, facem mai dificilă
respingerea ipotezei de nul H0 şi, în egală măsură, creştem
probabilitatea de a face o eroare de tip II.

8. Puterea testului este complementară erorii de tip II (suma lor este

1).
 Rezumat(3)

9. Mărimea efectului este o valoare care indică intensitatea relaţiei

dintre variabila independentă şi variabila dependentă.
10. Mărimea efectului este în legătură cu puterea testului şi cu
volumul eşantionului; cu cât puterea este mai mare şi eşantionul
este mai mic, cu atât mărimea efectului este mai ridicată.
11. Calcularea mărimii efectului, alături de semnificaţia statistică,
este o exigenţă actuală în cercetarea ştiinţifică psihologică.
TEMA PENTRU ACASĂ

 Calculaţi mărimea efectului pentru exerciţiile din tema pentru

acasă a cursului 5 şi apreciaţi rezultatul prin prisma grilei lui
Cohen (utilizând abaterea standard a eşantionului drept
estimare a abaterii standard a populaţiei, acolo unde nu este
dată).
 Care este eroarea de tip II (β) atunci când puterea este: 0.64;
0.93?
 Care este puterea testului dacă eroarea de tip II (β) este: 0.15;
0.46?