Analiza de Regresie Simpla

STATISTICA
C8. Analiza de regresie simpl

1. 2. 3. 4. 5. 6. 7.
C.8. Analiza de regresie simpl

Modele economice Modelul de regresie simpl liniar Ipoteze asupra modelului de regresie Estimarea punctual a parametrilor de regresie, i Estimarea prin interval de ncredere a parametrilor i Testarea parametrilor modelului de regresie Regresia simpl liniar n SPSS
Bibliografie: 1. Elisabeta Jaba, Statistica. Ediia a 3-a. Editura Economica, Bucureti, 2002, pp. 371-389. 2. Elisabeta Jaba, Ana Grama, Analiza statistic cu SPSS sub Windows, Editura Polirom, Iai, 2004, pp. 243-257.
Profesor univ. dr. Elisabeta Jaba 1 Profesor univ. dr. Elisabeta Jaba 2
8.1. Modele economice

Economitii construiesc modele pentru a descrie mediul economic si dezvoltarea sa. Exemplul 1. Un economist ar dori s examineze efectele pregtirii profesionale asupra productivitii muncii. n acest caz, un simplu raionament economic este suficient pentru a realiza c factori precum educaia, experiena i pregtirea afecteaz productivitatea muncii. Acest raionament conduce la un model de tipul: Salariu = f (educ, exper, pregtire)

Exemplul 2. n microeconomie, deciziile de consum individual, n condiiile unei constrngeri bugetare, sunt descrise prin modele. Premisa de baz pentru nelegerea acestor modele este maximizarea utilitii (ipoteza c indivizii fac alegeri pentru a maximiza bunstarea lor). n acest context, deciziile de consum, prin prisma utilitii maxime, conduc la un set de ecuaii ale cererii.
Profesor univ. dr. Elisabeta Jaba

Ecuaia care descrie nivelul cererii este o funcie de diveri factori: y = f(xi)
unde: y = cantitatea cerut dintr-un produs xi = factori de influen (preul produsului, preul substitutelor i bunurilor complementare, venitul consumatorilor i caracteristicile individuale care afecteaz preferinele)
8.2. Modelul de regresie simpl liniar

Modelul de regresie simpl este cea mai simpl schem explicativ a dependenei dintre dou variabile. Conine o variabil dependent (Y) i o variabil independent (X) ntre care poate exista o legtur de tip liniar sau neliniar. n economie exist situaii n care un rezultat sau un fenomen poate fi explicat ntr-o proporie ridicat doar de influena unui singur factor. Acest factor apare n modelul de regresie drept variabil independent, iar restul influenelor este preluat de variabila rezidual ( ).
Profesor univ. dr. Elisabeta Jaba 6
n afar de factorii specificai, exist i ali factori afecteaz decizia de consum, dar s-au reinut doar cei reprezentativi ntr-o analiz economic formal.
8.2. Modelul de regresie simpl liniar

Modelul de regresie liniar simpl exprim legtura dintre dou variabile i are forma:
8.3. Ipoteze asupra modelului de regresie

Ipotezele modelului de regresie vizeaz: variabila rezidual i variabila independent. Cele mai importante ipoteze sunt: 2 normalitatea erorilor: i ~ N ( 0 , ) adic variabila rezidual urmeaz o lege de repartiie 2 normal de medie zero i varian homoscedasticitatea: V ( i ) = M ( i ) = adic variana erorilor este constant la nivelul distribuiilor condiionate de tipul: Yi X = xi
2 2
Y = + X +
Relaia de mai sus se numete ecuaie de regresie i reprezint funcia liniar plus eroarea . Variabilele din ecuaie sunt:
Y - variabila dependent, aleatoare; X - variabila independent nonaleatoare; - variabila aleatoare eroare sau reziduu.
8.3. Ipoteze asupra modelului de regresie

necorelarea erorilor:
8.4. Estimarea punctual a parametrilor de regresie, i

Parametrii ecuaiei de regresie sunt: - ordonata la origine[1] arat valoarea variabilei Y cnd X = 0; - panta dreptei, numit i coeficient de regresie. n ecuaia de regresie i sunt parametri necunoscui.
[1]
cov( i , j ) = 0
adic erorile nu se influeneaz reciproc; lipsa corelaiei dintre variabila independent i variabila eroare:
cov( i , xi ) = 0
Simbolul utilizat aici nu trebuie confundat cu simbolul ce desemneaz pragul de semnificaie al unui test.
10
8.4. Estimarea punctual a parametrilor de regresie, i

Semnul parametrului de regresie indic direcia legturii dintre cele dou variabile corelate: > 0 legtur direct (pozitiv); = 0 nu exist legtur; < 0 legtur invers (negativ). Parametrul de regresie arat gradul de dependen dintre variabile, respectiv cu ct crete sau scade n medie Y la o cretere sau la o scdere a variabilei X cu o unitate.
Legi condiionate ale variabilei Y de X

Variabila Y condiionat de X este de medie
y = + X
O valoare yi a variabilei condiionate se poate scrie:
Y/ X=xi ,i =1n ,
yi = + xi + i
11
12
Estimarea parametrilor modelului

n practic, determinarea parametrilor la nivelul populaiei totale nu este posibil de realizat, fapt care impune estimarea parametrilor. Valoarea parametrilor de regresie se estimeaz pe baza estimatorilor i . Folosind date nregistrate asupra unui eantion de n perechi de observaii asupra variabilelor X i Y, se calculeaz estimaiile a i b ale parametrilor i .
Estimarea punctual a parametrilor ecuaiei de regresie

La nivelul unui eantion, modelul de regresie ia forma:
Y = a +bX + e
n relaia de mai sus, notm prin
Y x = a + bX
funcia liniar a lui Y n funcie de X, unde a i b reprezint valori ale estimatorilor i , respectiv estimaii ale parametrilor i , calculate la nivelul unui eantion de volum n.
13
14
Estimarea punctual a parametrilor ecuaiei de regresie

Se consider acei estimatori i ai parametrilor i pentru care valoarea ei a variabilei eroare s fie ct mai mic.
Valoarea ei reprezint distana dintre o valoare observat ( yi ) i o valoare estimat a ecuaiei de regresie la nivelul eantionului ( y x = a + bxi ).
i
Criterii de estimare a parametrilor

1.
min { | ei | }
1i n
2.
| e i |: minim
( e i )2 : minim
Adic: e i = y i y x i = y i - ( a + bx i ) s fie minim pentru orice valoare "i" a variabilei X.
3.
De regul, n practic se utilizeaz ultimul criteriu, care definete metoda celor mai mici ptrate (MCMMP)
Metoda celor mai mici ptrate (MCMMP)

Aplicarea MCMMP presupune minimizarea expresiei:
Aplicarea MCMMP
1. Derivatele pariale de ordinul nti:
S = ei2 = ( yi y xi )2 = min im
nlocuind valoarea , obinem:
S = ( yi a bxi )2 = minim
Rezolvarea problemei de minim impune dou condiii:
anularea derivatelor pariale de ordinul nti ale lui S n raport cu a i b; matricea derivatelor pariale de ordinul doi s fie definit pozitiv.
S = 2 ( y i a bxi )( 1 ) = 0 a S = 2 ( y i a bxi )( xi ) = 0 , b
i = 1, n
Obinem un sistem de ecuaii normale:
na + b xi = yi , i = 1,n
a xi + b xi2 = xi yi
Aplicarea MCMMP
2. Derivatele pariale de ordinul doi:
Aplicarea MCMMP
2 S = 2 xi2 2 b
Folosind metoda determinanilor se obtin relaii de calcul pentru a i b:
2S = 2n a 2
n xi
2 S = 2 xi ab
b=
a=
Matricea derivatelor pariale de ordinul doi:
b n x i y i - x i y i = , i = 1, n n xi2 - ( xi )2
a y i x i2 - x i x i y i = n x i2 - ( x i )2
xi x i2
a = y - bx
este pozitiv definit, deoarece:
n xi2 ( xi )2 = n 2 > 0
a i b reprezint valori de sondaj, estimaii ale parametrilor i , calculate la nivelul unui eantion prin aplicarea metodei celor mai mici ptrate
Exemplu
ngrm. (ha) (X) 1 2 3 4 5 Producia (ha) (Y) 10 15 20 30 40
Exemplu Coeficienii i ecuaia de regresie
Legtura dintre X si Y
Ecuaia estimat este:
y x = a + bx = 0.5 + 7,5 x
22
21
8.5. Estimarea prin interval de ncredere a parametrilor i

Estimarea prin interval de ncredere se bazeaz pe distribuiile de selecie ale estimatorilor parametrilor i . Pentru modelul liniar simplu, se poate demonstra c estimatorii parametrilor urmeaz o lege de distribuie normal i sunt nedeplasai:
2 ~ N ( , )

Estimaii: pentru variana erorilor :
s =
2 e
ei2 ( yi a bxi )2
i
n2
n2
M ( ) =
2 V( ) =
2 , =
2
X i2
i
n ( X i X )2
i
pentru variana estimatorului : 2 xi 2 i s = se2 n ( xi x ) 2

i
~ N ( , )
2
M( ) =
V( ) =
, =
( X i X )2
i
pentru variana estimatorului se2 2 s = ( xi x ) 2

i
23
24

Intervalul de ncredere pentru coeficientul de regresie estimat pentru un eantion observat este definit de relaia:
ExempluEstimare interval de ncredere

Estimatii: Estimaiile parametrilor: a=0,5; b=7,5 Estimaia varianei erorii: ei2 = 17 ,5 = 5 ,83 se2 = n2 52 Estimaia varianei estimatorului :
2 s =
Calculul erorii
(ei=yi-yxi)
b t / 2 s
Analog, pentru parametrul
, se determin intervalul:
a t / 2 s
se2
( xi x ) 2
i =1
5 ,83 = 0 ,583 10
s = 0 ,76376

Intervalul de incredere Intervalul de ncredere pentru coeficientul de regresie , considernd un risc / 2 , este definit de:

Putem spune c ne asumm un risc de 5% ca valoarea adevrat a coeficientului de regresie s nu fie acoperit de intervalul [5,07; 9,93].
1-
1-
b t / 2 s
Folosind datele din exemplul anterior, pentru un risc =0,05, gsim intervalul de ncredere:
Li
Ls
Li
Ls
Interval de incredere
5,07
9,93
( 7 ,5 0 ,76376 3,182 )
Fig. Distribuia de selecie a estimatorului i intervalul de incredere

27
b t / 2 s = ( 7 ,5 0 , 76376 3 ,182 )
8.6. Testarea parametrilor modelului de regresie

Formularea ipotezelor

Test. Pentru testarea semnificaiei coeficientului regresie se folosete statistica definit de raportul t: de
H0 : = 0 H1 : 0
Dac respingem ipoteza H0, cu un prag de semnificaie ales ( ), atunci legtura dintre cele dou variabile X i Y este semnificativ. n practica economic se consider, de regul, un = 0,05 , adic se consider un risc de 5% de a respinge pe nedrept ipoteza H0 atunci cnd aceasta ar fi adevrat.
t=
care
0 t= = pentru ipoteza H0 devine
t urmeaza o lege de repartiie Student de (n-2) grade de libertate b la nivelul unui eantion observat, t se scrie: t =
Estimaia varianei estimatorului parametrului de regresie , la nivelul unui eantion observat, se calculeaz dup relaia: s e2 2
s =
( xi
i
x )2
30
29

Regula de decizie: Pentru un risc = 0 ,05, dac
Exemplu-Testarea parametrilor modelului de regresie

Calculul raportului Student: pentru b=7,5; raportul t este:
t calc > t 2;n2

se respinge ipoteza H0 : =0, adic coeficientul de regresie este considerat semnificativ diferit de 0. (se accept H 1 : 0)
s = 0 ,76376
t calc =
Regiunea de acceptare H0 Figura. Regiunea de acceptare si regiunile de respingere H0
b s
7 ,5 = 9 ,8198 0 ,76376
31
32
Exemplu-Testarea parametrilor modelului de regresie

Decizia In exemplul considerat tcalc=9,82. Din tabelul Student, pentru n-2=3, citim t0,025;3=3,182. Ca urmare, pentru tcalc>t0,025;3, coeficientul de regresie este semnificativ diferit de 0, adic variabila X explic variabila Y. Dac intervalul de ncredere pentru ar conine valoarea 0 atunci nu s-ar respinge ipoteza H0 , ceea ce nu este cazul n exemplul nostru, deci factorul X influeneaz semnificativ variabila Y.
8.7. Regresia liniar simpl n SPSS

Procesul de estimare a parametrilor unui model de regresie n SPSS este cunoscut ca fitting the model Demers: meniul Analyze comanda Regression opiunea Linear, prin care se deschide fereastra de dialog Linear Regression
/ 2=0,025
33
34
8.7. Regresia liniar simpl n SPSS 8.7. Regresia liniar simpl n SPSS
n fereastra dialog Linear Regression selectm variabilele considerate i le mutm n zonele de lucru corespunztoare. n exemplul nostru selectm variabila rezultativ prod i o mutm n zona Dependent, iar variabila factorial ingras n zona Independent. n zona Case Labels mutm firma. Alegem din lista Method, ca metod de lucru, opiunea Enter; Activm butonul de comand Statistics care deschide fereastra de dialog Linear Regression: Statistics n care bifm casetele de validare: Estimates, Confidence intervals, Model fit i Descriptives Ferestra Statistics pentru un model de regresie
35 Profesor univ. dr. Elisabeta Jaba 36
Valori inregistrate pe un esantion de 5 firme

Butonul de comand Continue determin revenirea n fereastra Linear Regression n care activm butonul Plots, care deschide fereastra Linear Regression: Plots; n fereastra de dialog Linear Regression: Plots selectm i mutm SRESID n zona Y, respectiv ZPRED n zona X. Pentru Standardized Residual Plots bifm casetele de validare Histogram i Normal probability plot; Butonul de comand Continue determin revenirea n fereastra Linear Regression n care activm butonul Save;

n fereastra Linear Regression: Save pentru Predicted Values bifm caseta Unstandardized, pentru Prediction Intervals bifm caseta Mean, iar pentru Residuals alegem Unstandardized; Acionm butonul de comand Continue pentru a reveni n fereastra Linear Regression; Butonul OK comand obinerea output-ului n fereastra de rezultate i a valorilor estimate n fiierul Data Editor.
Fereastra dialog Linear Regression: Save
Ferestra Plots pentru un model de regresie

37

n fiierul Data Editor, n foaia Data View, SPSS completeaz coloane distincte cu valorile estimate pentru variabila dependent (pre_1), valorile reziduale (res_1) i limitele inferioar i superioar ale intervalului de ncredere (lmci_1 i umci_1).
Tabelul Regression ANOVA

Tabelul ANOVA prezint rezultatele analizei varianei variabilei dependente sub influena factorului de regresie i a factorului reziduu:
suma ptratelor abaterilor variabilei dependente datorate modelului de regresie i factorului reziduu; gradele de libertate (df); estimaiile varianelor datorate celor dou surse de variaie (regresie i reziduu); raportul F i Sig.
Fereastra de rezultate (Output) pentru analiza de regresie conine: Model Summary, ANOVA, Coefficients, Normal P-P plot i Scatterplot.

Statistica test F se obine ca raport ntre: media ptratelor abaterilor datorate regresiei i media ptratelor abaterilor datorate reziduului, calculate cu gradele de libertate corespunztoare. Testul F este folosit pentru testarea modelului de regresie (ipoteza prin care se presupune c panta dreptei (1) este 0.

Dac testul F ia o valoare mare, iar valoarea Sig. corespunztoare statisticii F este mic (mai mic dect 0,05), atunci variabila independent explic variaia variabilei dependente i invers. n exemplul considerat, valoarea Sig. pentru F este mai mic dect 0,05, deci relaia liniar dintre cele dou variabile considerate este semnificativ.
41
42
Coeficienii de regresie
Tabelul coeficineilor de regresie prezint:
coeficienii nestandardizai ai modelului de regresie estimat i erorile standard ale acestora; coeficienii de regresie standardizai cu erorile standard corespunztoare; valorile statisticii test t i valorile Sig. corespunztoare.
Coeficienii de regresie
Coeficienii de regresie standardizai sunt folosii atunci cnd ntr-un model intr mai multe variabile independente exprimate n uniti de msur diferite, n scopul facilitrii comparrii acestora. Testarea parametrilor modelului de regresie se face cu ajutorul testului t, pentru a afla care este probabilitatea ca fiecare parametru s fie nul : H0 :=0 Pentru exemplul dat, valoarea (Sig.=0.002) este mai mic dect 0.05, artnd c (panta dreptei de regresie) corespunde unei legturi semnificative ntre cele dou variabile.
43
44

Analiza de Regresie Simpla

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Analiza de Regresie Simpla

Încărcat de

Drepturi de autor:

Formate disponibile

STATISTICA

C8. Analiza de regresie simpl

C.8. Analiza de regresie simpl

8.1. Modele economice

8.1. Modele economice

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.1. Modele economice

8.2. Modelul de regresie simpl liniar

8.2. Modelul de regresie simpl liniar

8.3. Ipoteze asupra modelului de regresie

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.3. Ipoteze asupra modelului de regresie

8.4. Estimarea punctual a parametrilor de regresie, i

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.4. Estimarea punctual a parametrilor de regresie, i

Legi condiionate ale variabilei Y de X

O valoare yi a variabilei condiionate se poate scrie:

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

Estimarea parametrilor modelului

Estimarea punctual a parametrilor ecuaiei de regresie

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

Estimarea punctual a parametrilor ecuaiei de regresie

Criterii de estimare a parametrilor

Adic: e i = y i y x i = y i - ( a + bx i ) s fie minim pentru orice valoare "i" a variabilei X.

Metoda celor mai mici ptrate (MCMMP)

Obinem un sistem de ecuaii normale:

Matricea derivatelor pariale de ordinul doi:

este pozitiv definit, deoarece:

Exemplu Coeficienii i ecuaia de regresie

Ecuaia estimat este:

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.5. Estimarea prin interval de ncredere a parametrilor i

8.5. Estimarea prin interval de ncredere a parametrilor i

pentru variana estimatorului : 2 xi 2 i s = se2 n ( xi x ) 2

pentru variana estimatorului se2 2 s = ( xi x ) 2

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.5. Estimarea prin interval de ncredere a parametrilor i

ExempluEstimare interval de ncredere

ExempluEstimare interval de ncredere

ExempluEstimare interval de ncredere

Fig. Distribuia de selecie a estimatorului i intervalul de incredere

Profesor univ. dr. Elisabeta Jaba

8.6. Testarea parametrilor modelului de regresie

8.6. Testarea parametrilor modelului de regresie

0 t= = pentru ipoteza H0 devine

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.6. Testarea parametrilor modelului de regresie

Exemplu-Testarea parametrilor modelului de regresie

t calc > t 2;n2

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

Exemplu-Testarea parametrilor modelului de regresie

8.7. Regresia liniar simpl n SPSS

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba