Sunteți pe pagina 1din 43

CURS 4

TESTE DE SEMNIFICAIE
STATISTIC

TESTE DE SEMNIFICAIE
STATISTIC
Fenomen nou detectarea cauzelor se avanseaz ipoteze
Observaii ale fenomenului - unor ipoteze le creste, altora le scade
veridicitatea, fiind posibil chiar sa se renunte la ele (plauzibilitatea
fiecrei ipoteze explicative este reevaluat)

Testarea statistic de semnificaie - metod de stabilire a gradului de


plauzibilitate (veridicitate).
se refer la un anumit tip special de ipoteze (ipoteze statistice).

TESTE DE SEMNIFICAIE
STATISTIC
Testarea unei presupuneri (ipotez creia i acordm crezare)
Admitem c ipoteza ar fi adevrata - comparm observaiile (datele
obinute din lumea real) cu consecinele logice ale ipotezei noastre.
Dac observaiile compatibile cu ateptrile continum/ne ntrim
credina n pp noastr
Dac observaiile incompatibile cu ateptrile credina noastr n
validitatea presupunerii va scdea/vom respinge presupunerea fcut
n logica clasica nu putem demonstra o ipotez (ca fiind adevrat), dar o
putem exclude. Din acest punct de vedere clasic, un adevr tiinific este
o afirmaie care are o foarte mica probabilitate de a fi dovedita ca incorect
n viitor (Karl Popper, The Logic of Scientific Discovery ,1959).

TESTE DE SEMNIFICAIE
STATISTIC

Ipoteza statistic va servi ca alternativ la o alt ipotez aa-numita


ipotez nul care este luat n considerare doar pentru a fi
respins. Prin acceptarea adevrului ipotezei nule vor rezulta anumite
consecine statistice, iar acestea vor fi confruntate cu datele
observate.
Orice dovad aflat n contradicie cu ipoteza nul va servi ca
justificare a alternativei

TESTE DE SEMNIFICAIE STATISTIC: TESTUL SEMNELOR


Scorurile cunotinelor (de la -18 la +18) pentru 10 asistente care particip la un curs de medicin bazat pe dovezi

Se poate afirma c exist dovezi suficiente pentru a concluziona c, n general, asistentele


medicale din aceast populaie i vor mbunti cunotinele n urma participrii la curs?

TESTE DE SEMNIFICAIE STATISTIC: TESTUL SEMNELOR

- scorul cunotinelor crete i cele mai multe diferene sunt n aceeai direcie. Majoritatea asistentelor
au un scor mai mare dup curs!!!
- ntrebare: ct de multe diferene negative ne-ar permite s concluzionm c nu exist dovezi referitoare
la creterea nivelului de cunotine n urma cursului?
- Raspuns - test de semnificaie

TESTE DE SEMNIFICAIE STATISTIC: TESTUL SEMNELOR


Pentru a efectua testul de semnificaie vom presupune c n populaie
nu exist nici o diferen ntre cunotinele asistentelor, nainte i
dup participarea la curs
Ipoteza referitoare la "nici o diferen" sau "nici un efect" n populaie
se numete ipoteza nul
Vom compara aceasta cu o alt ipotez, denumit ipotez alternativ
care exprim faptul c exist o diferen ntre scorurile aferente
cunotinelor, msurate nainte i dup curs.
Vom determina ct de probabil ar fi apariia unor date extreme n
comparaie cu cele observate, dac ipoteza nul ar fi adevrat

TESTE DE SEMNIFICAIE STATISTIC: TESTUL SEMNELOR


Dac aceast probabilitate este mare, atunci datele sunt n
concordan cu ipoteza nul
Dac aceast probabilitate este mic, atunci este puin probabil ca
astfel de date s fi aprut dac ipoteza nul era adevrat i dovezile
sunt n favoarea ipotezei alternative
Pentru aceast analiz vom folosi un test de semnificaie foarte
simplu - testul semnelor
Acesta folosete numai direcia diferenelor, iar n eantionul studiat
exist o diferen negativ i nou diferene pozitive

TESTE DE SEMNIFICAIE STATISTIC: TESTUL SEMNELOR


Considerm diferenele dintre scorul cunotinelor nainte i dup
curs pentru fiecare asistent medical n parte

Dac ipoteza nul ar fi adevrat, diferenele de scor al cunotinelor,


sunt la fel de probabil s fie pozitive sau negative - vor fi aleatorii
Probabilitatea de a obine o diferen negativ ar fi egal cu
probabilitatea de a obine o diferen pozitiv

TESTE DE SEMNIFICAIE STATISTIC: TESTUL SEMNELOR


Dac ipoteza nul este adevrat atunci diferene negative i pozitive
sunt la fel de probabile i ne ateptm ca jumtate dintre diferene s
fie negative
n cazul mai multor repetri ale cursului, numrul mediu de diferene
negative ar trebui s fie de cinci, dar numrul de diferene negative
observate este doar de 1
ntrebarea care apare este: Care este probabilitatea de a obine o
valoare att de deprtat/diferit de ceea ce ne-am fi ateptat s
observm?

TESTE DE SEMNIFICAIE STATISTIC: TESTUL SEMNELOR


Numrul de steme sau de
diferene negative
0

Probabilitatea
0.0009766

0.0097656

0.0439453

0.1171875

0.2050781

0.2460938

0.2050781

0.1171875

0.0439453

0.0097656

10

0.0009766

Numrul de diferene negative s-ar


comporta exact la fel ca i n cazul
aruncrii simultane a 10 monezi pentru
care ne intereseaz numrul de aruncri
cu apariia de steme.
Acest lucru este destul de uor de
investigat din punct de vedere
matematic
Vom folosi o distribuie cunoscut sub
numele de distribuie binomial cu
parametrii n=10, p=0,5

Probabilitatea asociat unui numr de apariii de steme (de la 1 la 10) pentru 10 monede aruncate simultan sau pentru
numrul de diferene negative din 10 diferene pozitive sau negative egal probabile (Distribuia binomial, n=10, p=0.5)

Distribuia numrului de apariii de steme pentru 10 monede


aruncate simultan sau pentru numrul de diferene negative din
10 diferene pozitive sau negative egal probabile (Distribuia
binomial, n=10, p=0.5

Numerele posibile de diferene negative care sunt la fel de deprtate


de cinci (sau chiar mai mult), aa cum este valoarea observat de noi
sunt zero, unu, nou, i zece

Estimm ca nr mediu de diferene


negative s fie de 5
Nr de diferene negative observate este
doar de 1
Care este probabilitatea de a obine o
valoare att de deprtat/diferit de
ceea ce ne-am fi ateptat s observm?

Probabilitatea de a obine o valoare


extrem ca i cea observat, fr a
conta direcia aleas este de
0,0214844

Total

0,0214844

In situaia veridicitii ipotezei nule


vom avea un eantion pentru care
probabilitatea de apariie prin ans
a unei valori extreme (precum cea
observat) va fi de 0.02, adic de doi
din o sut de ncercri

Dac ipoteza nul ar fi fost adevrat, nu am fi observat un eveniment att de puin probabil, iar
datele obinute nu sunt n concordan cu ipoteza nul: n consecin, putem concluziona c
exist dovezi n favoarea unei diferene ntre perioadele de tratament

PRINCIPII GENERALE PENTRU TESTELE DE SEMNIFICAIE


Testul semnelor este un exemplu de test de semnificaie. Exist multe
teste de semnificaie i ele urmeaz toate acelai model general:
1. Stabilirea ipotezei nule i a ipotezei alternative.
2. Verificarea ipotezelor de testare (presupunerilor referitoare la test).
3. Calculul valorii statisticii testului.
4. Compararea valorii statisticii testului cu valoarea cunoscut a
distribuiei care ar fi urmat, n cazul n care ipoteza nul ar fi fost
adevrat.
5. Determinarea probabilitii asociate unei valori a statisticii testului
care se obine n cazul n care sunt observate una sau mai multe
valori extreme, n cazul n care ipoteza nul ar fi fost adevrat.
6. Concluzionarea c datele sunt n concordan sau n contradicie cu
ipoteza nul.

1. Stabilirea ipotezei nule i a ipotezei


alternative
Ipoteza nul:
"n populaia de asistente medicale, nu exist nici
o diferen ntre scorurile de cunotine nainte i
dup curs" sau "n populaia de asistente
medicale, probabilitatea de obinere a unei
diferene ntr-o anumit direcie n scorul de
cunotine obinute n urma cursului este egal cu
probabilitatea de obinere a unei diferene de
Ipoteza alternativ:
scor n direcia opus
"n populaia de asistente medicale, exist o
diferen ntre scorurile de cunotine nainte
i dup curs" sau "n populaia de asistente
medicale, probabilitatea de obinere a unei
diferene ntr-o anumit direcie n scorul de
cunotine obinute n urma cursului nu este
egal cu probabilitatea de obinere a unei
diferene de scor n direcia opus".

2. Verificarea ipotezelor de testare


n exemplul studiat, pentru testul semnelor, singura ipotez de testare este
faptul c observaiile trebuie s fie independente ntre ele.
Faptul c exist o observaie nu furnizeaz nici o informaie referitor la
celelalte observaii (deoarece observaiile sunt fcute pe zece persoane
diferite)
NOT:
Condiia nu ar fi adevrat dac pentru fiecare ntrebare din scala celor 18
ntrebri am fi analizat la care dintre subieci s-a obinut o mbuntire a
rspunsurilor dup curs, analiznd ulterior datele ca formnd 180 de
observaii.
n aceast situaie, observaiile furnizate de acelai subiect nu ar fi n mod
clar independente ntre ele

3. Calculul valorii statisticii testului.


Statistica testului se calculeaz pe baza datelor care sunt folosite n
testarea ipotezei nule.
Pentru testul semnelor, statistica testului este reprezentat de
numrul de schimbri negative, fiind egal cu unu n exemplul studiat

4. Compararea valorii statisticii testului cu valoarea cunoscut a


distribuiei care ar fi urmat, n cazul n care ipoteza nul ar fi fost
adevrat.
Comparm valoarea furnizat de statistica testului cu valoarea care
provine dintr-o distribuie cunoscut, distribuie care ar fi urmat n
cazul n care ipoteza nul ar fi fost adevrat
Pentru testul semnelor, distribuia cunoscut care este urmat este
cea care se obine prin aruncarea simultan a zece monede, adic
distribuia binomial cu n = 10 i p = 0.5

5. Determinarea probabilitii asociate unei valori a statisticii testului care


se obine n cazul n care sunt observate una sau mai multe valori extreme,
n situaia n care ipoteza nul ar fi fost adevrat
n testul semnelor, aceasta a fost egal cu 0.02

6. Concluzionarea c datele sunt n concordan sau n contradicie cu


ipoteza nul
probabilitatea de obinere a unor date extreme a fost destul de mic
suntem n msur s concluzionm c datele au fost n contradicie cu ipoteza
nul
TAKING HOME MESSAGE:

Exist mai multe teste de semnificaie concepute pentru a rspunde la diverse


ntrebri pentru diferite tipuri de date, ns toate urmeaz acest model

SEMNIFICAIE I NESEMNIFICAIE
n cazul n care datele nu sunt n concordan cu ipoteza nul,
diferena este declarat a fi statistic semnificativ
n cazul n care datele sunt n concordan cu ipoteza nul, diferena
se spune c nu este semnificativ statistic
Putem aprecia probabilitatea asociat testului de semnificaie ca un
index de putere a dovezii mpotriva ipotezei nule
Probabilitatea asociat unei valori extreme a statisticii testului, care
apare n cazul n care ipoteza nul este adevrat este adesea numit
valoare p

ATENIE:
Valoarea p nu este probabilitatea ca ipoteza nul s fie adevrat.
Ipoteza nul poate s fie adevrat sau nu, ea este aleatoare i nu are
o probabilitate asociat
Valoarea p reprezint probabilitatea ca, n cazul n care ipoteza nul ar
fi adevrat, s obinem date deprtate de cele ateptate similar
datelor observate

Valoarea p=puterea evidenei/dovada pentru a respinge ipoteza nul

Nivele de semnificaie i
tipuri de erori
presupunem c avem o probabilitate de 0.01
sau mai mic care constituie o dovad
(eviden) rezonabil pentru a respinge ipoteza
nul
Dac ipoteza nul este adevrat, vom lua o
decizie greit ntr-o sut de situaii (1 din 100)
Decizia de a respinge ipoteza nul atunci cnd
aceasta este adevrat se numete eroare de
primul tip, eroare de tipul I, sau eroarea
(alfa)
Dac decidem n favoarea ipotezei nule care
este, de fapt fals - eroare de al doilea tip,
eroare de tipul al II-lea, sau eroare (beta)

Cu ct probabilitatea cerut pentru de decide


mpotriva ipotezei nule este mai mic, cu att mai
mare va trebui s fie diferena observat i, n acest
fel, este mai puin probabil s ratm o diferen
real
Prin reducerea riscului de a face o eroare de tip I
crete ns riscul de a face o eroare de-al doilea tip
Prin convenie se face compromisul de a considera
diferenele ca semnificative, dac probabilitatea
este mai mic de 0.05
Acesta este o convenie rezonabil, dar nu ar trebui
s fie luat drept limit absolut, ntruct, n unele
situaii se dorete o probabilitate mai mic, ca
valoare critic, precum 0.01

Interpretarea valorii p

n cazul n care o diferen nu este semnificativ statistic, ea poate fi


totui real.

Aceasta se poate ntmpla, de exemplu, atunci cnd dimensiunea


eantionului este prea mic pentru a arta c exist o diferen. n
plus, diferena poate fi important.
Afirmaia "Nu exist semnificaie" nu nseamn ns c nu exist nici
un efect. "Nu exist semnificaie" nseamn c nu s-a reuit s
demonstreze existena dovezii (evidenei).

Prezentarea valorilor p
Programele de analiz statistic determin valorile p exacte pentru
majoritatea testelor statistice
Valorile p trebuie raportate ("p = 0.0215"), nu nlocuite cu p<0.05
Valori de "p = 0.3294" sunt raportate superficial ca "nesemnificativ",
"NS" sau "p> 0.05", pierzndu-se astfel informaii valoroase
Nu este ns necesar s se reproduc toate cifrele calculate. Valoarea
"p = 0.0215" este furnizat cu patru zecimale, ceea ce nseamn c
exist patru cifre dup virgul, 0, 2, 1 i 5. Corect p=0.02. De
notat ns, c termenul de "cifre semnificative" nu are nici o legtur
cu semnificaia statistic
Aceste metode de prezentare a datelor s-au pstrat din perioada n
care calculele se fceau manual, iar valorile p raportate erau gsite n
tabele

TESTE DE SEMNIFICAIE I INTERVALE DE NCREDERE


Testele de semnificaie i intervalele de ncredere implic deseori
calcule similare, existnd astfel o legtur strns ntre ele
n cazul unei ipoteze nule referitoare la o anumit valoare din
populaie (diferena ntre dou medii sau dou proporii) se poate
folosi un interval de ncredere ca test de semnificaie
Dac intervalul de 95% ncredere nu include valoarea la care se refer
ipoteza nul, atunci diferena este semnificativ
Exemplu: pentru diferena ntre dou proporii valoarea ipotezei nule
este 0. Dac intervalul de 95% ncredere conine valoarea zero,
diferena nu este semnificativ. Dac intervalul de 95% ncredere nu
conine valoarea zero, atunci diferena este semnificativ

TESTE DE SEMNIFICAIE MULTIPLE


Dac se testeaz o ipotez nul, care este de fapt adevrat, folosind
ca nivel de semnificaie critic valoarea de 0.05, probabilitatea de a
obine concluzia c "nu este semnificativ" (adic corect), este de
1.00 - 0.05 = 0.95
Probabilitatea de a obine concluzia c "este semnificativ" (adic
fals) este de 0.05. Aceasta este probabilitatea de a obine erori de tip I
Dac vom testa dou ipoteze nule adevrate, independente una de
cealalt, probabilitatea ca testul s nu fie semnificativ este de 0.95
0.95 = 0.90. Probabilitatea ca cel puin una dintre acestea s fi
semnificative este 1.00 - 0.90 = 0.10
Dac vom testa trei ipoteze nule adevrate, independente una de
alta, probabilitatea ca nici una dintre ele s fie semnificative este de
0.95 0.95 0.95 = 0.953 = 0.86. Probabilitatea ca cel puin una
dintre acestea s fie semnificativ este 1.00 - 0.86 = 0.16

TESTE DE SEMNIFICAIE MULTIPLE


Dac vom testa douzeci de ipoteze nule, probabilitatea ca nici una
dintre ele s nu fie semnificativ este de 0.95 0.95 0.95 0.95 ...
de douzeci de ori, sau de (0.95)20 = 0.36. Probabilitatea de a obine
cel puin un rezultat semnificativ este 1.00 - 0.36 = 0.64. Deci exist o
probabilitate aproape egal de a obine un rezultat semnificativ sau
nu.
n medie, se va obtine un rezultat semnificativ, adic vom face o
eroare de tip I de fiecare dat cnd vom face 20 de testri de ipoteze
nule care sunt adevrate
Dac vom testa suficient de multe ipoteze, este posibil s se gseasc
un element care este "semnificativ", chiar i n situaia n care toate
ipotezele nule testate sunt adevrate

TESTE DE SEMNIFICAIE MULTIPLE


Multe studii de cercetare din domeniul sntii sunt publicate cu un
numr mare de teste de semnificaie. Astfel, este necesar mult
atenie n ceea ce privete acordarea unei importane prea mari unui
singur rezultat semnificativ ntr-o mulime de rezultate
nesemnificative, acesta putnd fi unul din cele douzeci care este dat
numai de ansa (ntmplare)
O modalitate prin care se pot genera mai multe teste de semnificaie
este de a testa aceeai ipotez separat pe mai multe subgrupuri de
subieci aflai n studiu

TESTE DE SEMNIFICAIE MULTIPLE


- MAI MULTE SUBGRUPURI Studiu - Williams et al. (1992) - a alocat aleatoriu pacienii vrstnici
internai ntr-un spital n dou grupuri:
pacieni vizitai constant de ctre asistenii sociali
pacieni care nu primeau vizite dect atunci cnd era absolut necesar
Parametrii evaluai pentru fiecare pacient au fost (folosindu-se scala
unui chestionar):
starea fizic
prezena handicapului
starea mental
Nu au existat diferene semnificative generale ntre grupul de pacieni
vizitai constant i grupul de control

TESTE DE SEMNIFICAIE MULTIPLE


- MAI MULTE SUBGRUPURI Totui, autorii au raportat c n rndul femeilor cu vrsta de 75-79 din
grupul de control s-a obinut o deteriorare semnificativ mai mare la
scorul fizic n comparaie cu grupul vizitat (p = 0.04), iar n rndul
brbailor de peste 80 de ani din grupul de control s-a obinut o
deteriorare semnificativ mai mare n scorul referitor la handicap dect
n grupul vizitat (p = 0.03)
Autorii au declarat: "Dou mici subgrupuri de pacieni au artat un
posibil beneficiu al interveniei asistenilor sociali. Aceste beneficii
trebuie, totui, s fie tratate cu pruden, deoarece se pot datora
unor factori de ans (adic din ntmplare)"

Rezolvarea problemei?
Folosirea coreciei Bonferroni: vom nmuli
toate valorile p obinute cu numrul de
teste
Dac, dup obinerea noilor valori p, oricare
dintre testele intermediare de semnificaie
rmne semnificativ n continuare, testul
general pentru ipoteza nul este
semnificativ

TESTE DE SEMNIFICAIE MULTIPLE


- MAI MULTE SUBGRUPURI Dac putem gsi n orice subgrup n care se face comparaia o
valoare p nmulit cu numrul de teste comparative mai mic
dect 0.05, atunci avem dovezi c exist o diferen ntre
grupul cu intervenie i grupul de control n populaia din care
au fost extrase aceste eantioane
n studiul de Williams et al. (1992) au fost cel puin opt
subgrupuri
Chiar dac am lua n considerare cele trei scale separat,
valorile reale pentru p sunt de 8 0.04 = 0.32 i 8 0.03 =
0.24, ambele mai mari dect valoarea de 0.05.
Astfel, nu exist dovezi c tratamentele pentru grupul cu
intervenie i grupul de control au avut rezultate diferite n
aceast populaie

TESTE DE SEMNIFICAIE MULTIPLE


- MAI MULTE SUBGRUPURI reinem c metoda Bonferroni este folosit pentru a testa o ipotez
nul compus referitoare la faptul c exist o diferen semnificativ
ntre tratamente pentru cel puin un grup de subieci

VARIABILA REZULTAT PRINCIPAL I ANALIZA


PRIMAR A EI
n unele studii, n special studii clinice problema testrilor multiple,
poate fi evitat prin specificarea unei variabile rezultat principale n
avans.
Se va stabili iniial, de preferin nainte de colectarea datelor, o
variabil special care reprezint rezultatul principal.
Dac se obine un efect semnificativ pentru aceast variabil, exist
dovezi asupra efectului, iar n caz contrar, nu exist dovezi referitoare
la efect, indiferent de ceea ce se ntmpl cu restul variabilelor

TESTE UNILATERALE I BILATERALE


n testul semnelor pentru datele referitoare la asistente medicale,
ipoteza nul formulat a fost: n cadrul populaiei, scorul iniial al
cunotinelor este egal cu scorul final.
Ipoteza alternativ a fost: n cadrul populaiei scorul iniial al
cunotinelor este diferit de scorul final, i anume c a existat o
diferen ntr-o direcie sau alta.
Acesta se numete test bilateral pentru c am folosit probabilitile
valorilor extreme n ambele direcii (de exemplu, scorul final poate fi
mai mare sau mai mic dect scorul iniial)

TESTE UNILATERALE I BILATERALE


Test unilateral - n cazul n care se ia n considerare doar posibilitatea
ca diferenele s apar doar ntr-o direcie predefinit.
n acest caz, ipoteza alternativ pentru exemplul menionat ar fi: n
cadrul populaiei, scorul final va fi mai mare dect scorul de iniial.
Pentru a exista potrivire, ipoteza nul trebuie reformulat astfel: n
populaie, scorul final al cunotinelor va fi egal sau mai mic dect
scorul iniial
Se va obine o probabilitate mai mic i, desigur, un nivel de
semnificaie mai mare dect n cazul testului bilateral

TESTE UNILATERALE I BILATERALE


Ipoteza nul unilateral: n populaie
scorul final al cunotinelor va fi egal sau
mai mic dect scorul iniial
Ipoteza alternativ unilateral: n cadrul
populaiei scorul final va fi mai mare dect
scorul iniial

Probabilitile pentru teste ale semnelor unilaterale i


bilaterale pentru datele referitoare la asistente

Ipoteza nul bilateral: n populaie scorul


final al cunotinelor va fi egal cu scorul
iniial
Ipoteza alternativ bilateral: n cadrul
populaiei scorul final va fi diferit de scorul
iniial