Sunteți pe pagina 1din 11

STATISTICA

C8. Analiza de regresie simpl


1. 2. 3. 4. 5. 6. 7.

C.8. Analiza de regresie simpl


Modele economice Modelul de regresie simpl liniar Ipoteze asupra modelului de regresie Estimarea punctual a parametrilor de regresie, i Estimarea prin interval de ncredere a parametrilor i Testarea parametrilor modelului de regresie Regresia simpl liniar n SPSS

Bibliografie: 1. Elisabeta Jaba, Statistica. Ediia a 3-a. Editura Economica, Bucureti, 2002, pp. 371-389. 2. Elisabeta Jaba, Ana Grama, Analiza statistic cu SPSS sub Windows, Editura Polirom, Iai, 2004, pp. 243-257.
Profesor univ. dr. Elisabeta Jaba 1 Profesor univ. dr. Elisabeta Jaba 2

8.1. Modele economice


Economitii construiesc modele pentru a descrie mediul economic si dezvoltarea sa. Exemplul 1. Un economist ar dori s examineze efectele pregtirii profesionale asupra productivitii muncii. n acest caz, un simplu raionament economic este suficient pentru a realiza c factori precum educaia, experiena i pregtirea afecteaz productivitatea muncii. Acest raionament conduce la un model de tipul: Salariu = f (educ, exper, pregtire)

8.1. Modele economice


Exemplul 2. n microeconomie, deciziile de consum individual, n condiiile unei constrngeri bugetare, sunt descrise prin modele. Premisa de baz pentru nelegerea acestor modele este maximizarea utilitii (ipoteza c indivizii fac alegeri pentru a maximiza bunstarea lor). n acest context, deciziile de consum, prin prisma utilitii maxime, conduc la un set de ecuaii ale cererii.

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.1. Modele economice


Ecuaia care descrie nivelul cererii este o funcie de diveri factori: y = f(xi)
unde: y = cantitatea cerut dintr-un produs xi = factori de influen (preul produsului, preul substitutelor i bunurilor complementare, venitul consumatorilor i caracteristicile individuale care afecteaz preferinele)

8.2. Modelul de regresie simpl liniar


Modelul de regresie simpl este cea mai simpl schem explicativ a dependenei dintre dou variabile. Conine o variabil dependent (Y) i o variabil independent (X) ntre care poate exista o legtur de tip liniar sau neliniar. n economie exist situaii n care un rezultat sau un fenomen poate fi explicat ntr-o proporie ridicat doar de influena unui singur factor. Acest factor apare n modelul de regresie drept variabil independent, iar restul influenelor este preluat de variabila rezidual ( ).
Profesor univ. dr. Elisabeta Jaba 6

n afar de factorii specificai, exist i ali factori afecteaz decizia de consum, dar s-au reinut doar cei reprezentativi ntr-o analiz economic formal.
Profesor univ. dr. Elisabeta Jaba 5

8.2. Modelul de regresie simpl liniar


Modelul de regresie liniar simpl exprim legtura dintre dou variabile i are forma:

8.3. Ipoteze asupra modelului de regresie


Ipotezele modelului de regresie vizeaz: variabila rezidual i variabila independent. Cele mai importante ipoteze sunt: 2 normalitatea erorilor: i ~ N ( 0 , ) adic variabila rezidual urmeaz o lege de repartiie 2 normal de medie zero i varian homoscedasticitatea: V ( i ) = M ( i ) = adic variana erorilor este constant la nivelul distribuiilor condiionate de tipul: Yi X = xi
2 2

Y = + X +
Relaia de mai sus se numete ecuaie de regresie i reprezint funcia liniar plus eroarea . Variabilele din ecuaie sunt:
Y - variabila dependent, aleatoare; X - variabila independent nonaleatoare; - variabila aleatoare eroare sau reziduu.

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

8.3. Ipoteze asupra modelului de regresie


necorelarea erorilor:

8.4. Estimarea punctual a parametrilor de regresie, i


Parametrii ecuaiei de regresie sunt: - ordonata la origine[1] arat valoarea variabilei Y cnd X = 0; - panta dreptei, numit i coeficient de regresie. n ecuaia de regresie i sunt parametri necunoscui.
[1]

cov( i , j ) = 0
adic erorile nu se influeneaz reciproc; lipsa corelaiei dintre variabila independent i variabila eroare:

cov( i , xi ) = 0

Simbolul utilizat aici nu trebuie confundat cu simbolul ce desemneaz pragul de semnificaie al unui test.

Profesor univ. dr. Elisabeta Jaba

Profesor univ. dr. Elisabeta Jaba

10

8.4. Estimarea punctual a parametrilor de regresie, i


Semnul parametrului de regresie indic direcia legturii dintre cele dou variabile corelate: > 0 legtur direct (pozitiv); = 0 nu exist legtur; < 0 legtur invers (negativ). Parametrul de regresie arat gradul de dependen dintre variabile, respectiv cu ct crete sau scade n medie Y la o cretere sau la o scdere a variabilei X cu o unitate.

Legi condiionate ale variabilei Y de X


Variabila Y condiionat de X este de medie

y = + X

O valoare yi a variabilei condiionate se poate scrie:

Y/ X=xi ,i =1n ,
yi = + xi + i

Profesor univ. dr. Elisabeta Jaba

11

Profesor univ. dr. Elisabeta Jaba

12

Estimarea parametrilor modelului


n practic, determinarea parametrilor la nivelul populaiei totale nu este posibil de realizat, fapt care impune estimarea parametrilor. Valoarea parametrilor de regresie se estimeaz pe baza estimatorilor i . Folosind date nregistrate asupra unui eantion de n perechi de observaii asupra variabilelor X i Y, se calculeaz estimaiile a i b ale parametrilor i .

Estimarea punctual a parametrilor ecuaiei de regresie


La nivelul unui eantion, modelul de regresie ia forma:

Y = a +bX + e
n relaia de mai sus, notm prin

Y x = a + bX
funcia liniar a lui Y n funcie de X, unde a i b reprezint valori ale estimatorilor i , respectiv estimaii ale parametrilor i , calculate la nivelul unui eantion de volum n.

Profesor univ. dr. Elisabeta Jaba

13

Profesor univ. dr. Elisabeta Jaba

14

Estimarea punctual a parametrilor ecuaiei de regresie


Se consider acei estimatori i ai parametrilor i pentru care valoarea ei a variabilei eroare s fie ct mai mic.
Valoarea ei reprezint distana dintre o valoare observat ( yi ) i o valoare estimat a ecuaiei de regresie la nivelul eantionului ( y x = a + bxi ).
i

Criterii de estimare a parametrilor


1.

min { | ei | }
1i n

2.

| e i |: minim
( e i )2 : minim

Adic: e i = y i y x i = y i - ( a + bx i ) s fie minim pentru orice valoare "i" a variabilei X.

3.

De regul, n practic se utilizeaz ultimul criteriu, care definete metoda celor mai mici ptrate (MCMMP)
Profesor univ. dr. Elisabeta Jaba 15 Profesor univ. dr. Elisabeta Jaba 16

Metoda celor mai mici ptrate (MCMMP)


Aplicarea MCMMP presupune minimizarea expresiei:

Aplicarea MCMMP
1. Derivatele pariale de ordinul nti:

S = ei2 = ( yi y xi )2 = min im
nlocuind valoarea , obinem:

S = ( yi a bxi )2 = minim
Rezolvarea problemei de minim impune dou condiii:
anularea derivatelor pariale de ordinul nti ale lui S n raport cu a i b; matricea derivatelor pariale de ordinul doi s fie definit pozitiv.
Profesor univ. dr. Elisabeta Jaba 17

S = 2 ( y i a bxi )( 1 ) = 0 a S = 2 ( y i a bxi )( xi ) = 0 , b

i = 1, n

Obinem un sistem de ecuaii normale:

na + b xi = yi , i = 1,n

a xi + b xi2 = xi yi
Profesor univ. dr. Elisabeta Jaba 18

Aplicarea MCMMP
2. Derivatele pariale de ordinul doi:

Aplicarea MCMMP
2 S = 2 xi2 2 b
Folosind metoda determinanilor se obtin relaii de calcul pentru a i b:

2S = 2n a 2
n xi

2 S = 2 xi ab

b=
a=

Matricea derivatelor pariale de ordinul doi:

b n x i y i - x i y i = , i = 1, n n xi2 - ( xi )2
a y i x i2 - x i x i y i = n x i2 - ( x i )2

xi x i2

a = y - bx

este pozitiv definit, deoarece:

n xi2 ( xi )2 = n 2 > 0
Profesor univ. dr. Elisabeta Jaba 19

a i b reprezint valori de sondaj, estimaii ale parametrilor i , calculate la nivelul unui eantion prin aplicarea metodei celor mai mici ptrate
Profesor univ. dr. Elisabeta Jaba 20

Exemplu
ngrm. (ha) (X) 1 2 3 4 5 Producia (ha) (Y) 10 15 20 30 40

Exemplu Coeficienii i ecuaia de regresie

Legtura dintre X si Y

Ecuaia estimat este:

y x = a + bx = 0.5 + 7,5 x
22

Profesor univ. dr. Elisabeta Jaba

21

Profesor univ. dr. Elisabeta Jaba

8.5. Estimarea prin interval de ncredere a parametrilor i


Estimarea prin interval de ncredere se bazeaz pe distribuiile de selecie ale estimatorilor parametrilor i . Pentru modelul liniar simplu, se poate demonstra c estimatorii parametrilor urmeaz o lege de distribuie normal i sunt nedeplasai:
2 ~ N ( , )

8.5. Estimarea prin interval de ncredere a parametrilor i


Estimaii: pentru variana erorilor :

s =
2 e

ei2 ( yi a bxi )2
i

n2

n2

M ( ) =

2 V( ) =

2 , =
2

X i2
i

n ( X i X )2
i

pentru variana estimatorului : 2 xi 2 i s = se2 n ( xi x ) 2


i

~ N ( , )
2

M( ) =

V( ) =

, =

( X i X )2
i

pentru variana estimatorului se2 2 s = ( xi x ) 2


i

Profesor univ. dr. Elisabeta Jaba

23

Profesor univ. dr. Elisabeta Jaba

24

8.5. Estimarea prin interval de ncredere a parametrilor i


Intervalul de ncredere pentru coeficientul de regresie estimat pentru un eantion observat este definit de relaia:

ExempluEstimare interval de ncredere


Estimatii: Estimaiile parametrilor: a=0,5; b=7,5 Estimaia varianei erorii: ei2 = 17 ,5 = 5 ,83 se2 = n2 52 Estimaia varianei estimatorului :
2 s =

Calculul erorii

(ei=yi-yxi)

b t / 2 s
Analog, pentru parametrul

, se determin intervalul:

a t / 2 s

se2

( xi x ) 2
i =1

5 ,83 = 0 ,583 10

s = 0 ,76376
Profesor univ. dr. Elisabeta Jaba 25 Profesor univ. dr. Elisabeta Jaba 26

ExempluEstimare interval de ncredere


Intervalul de incredere Intervalul de ncredere pentru coeficientul de regresie , considernd un risc / 2 , este definit de:

ExempluEstimare interval de ncredere


Putem spune c ne asumm un risc de 5% ca valoarea adevrat a coeficientului de regresie s nu fie acoperit de intervalul [5,07; 9,93].

1-

1-

b t / 2 s
Folosind datele din exemplul anterior, pentru un risc =0,05, gsim intervalul de ncredere:

Li

Ls

Li

Ls

Interval de incredere

5,07

9,93

( 7 ,5 0 ,76376 3,182 )

Fig. Distribuia de selecie a estimatorului i intervalul de incredere


27

b t / 2 s = ( 7 ,5 0 , 76376 3 ,182 )
Profesor univ. dr. Elisabeta Jaba 28

Profesor univ. dr. Elisabeta Jaba

8.6. Testarea parametrilor modelului de regresie


Formularea ipotezelor

8.6. Testarea parametrilor modelului de regresie


Test. Pentru testarea semnificaiei coeficientului regresie se folosete statistica definit de raportul t: de

H0 : = 0 H1 : 0
Dac respingem ipoteza H0, cu un prag de semnificaie ales ( ), atunci legtura dintre cele dou variabile X i Y este semnificativ. n practica economic se consider, de regul, un = 0,05 , adic se consider un risc de 5% de a respinge pe nedrept ipoteza H0 atunci cnd aceasta ar fi adevrat.

t=

care

0 t= = pentru ipoteza H0 devine

t urmeaza o lege de repartiie Student de (n-2) grade de libertate b la nivelul unui eantion observat, t se scrie: t =

Estimaia varianei estimatorului parametrului de regresie , la nivelul unui eantion observat, se calculeaz dup relaia: s e2 2

s =

( xi
i

x )2
30

Profesor univ. dr. Elisabeta Jaba

29

Profesor univ. dr. Elisabeta Jaba

8.6. Testarea parametrilor modelului de regresie


Regula de decizie: Pentru un risc = 0 ,05, dac

Exemplu-Testarea parametrilor modelului de regresie


Calculul raportului Student: pentru b=7,5; raportul t este:

t calc > t 2;n2


se respinge ipoteza H0 : =0, adic coeficientul de regresie este considerat semnificativ diferit de 0. (se accept H 1 : 0)

s = 0 ,76376

t calc =
Regiunea de acceptare H0 Figura. Regiunea de acceptare si regiunile de respingere H0

b s

7 ,5 = 9 ,8198 0 ,76376

Profesor univ. dr. Elisabeta Jaba

31

Profesor univ. dr. Elisabeta Jaba

32

Exemplu-Testarea parametrilor modelului de regresie


Decizia In exemplul considerat tcalc=9,82. Din tabelul Student, pentru n-2=3, citim t0,025;3=3,182. Ca urmare, pentru tcalc>t0,025;3, coeficientul de regresie este semnificativ diferit de 0, adic variabila X explic variabila Y. Dac intervalul de ncredere pentru ar conine valoarea 0 atunci nu s-ar respinge ipoteza H0 , ceea ce nu este cazul n exemplul nostru, deci factorul X influeneaz semnificativ variabila Y.

8.7. Regresia liniar simpl n SPSS


Procesul de estimare a parametrilor unui model de regresie n SPSS este cunoscut ca fitting the model Demers: meniul Analyze comanda Regression opiunea Linear, prin care se deschide fereastra de dialog Linear Regression

/ 2=0,025

Profesor univ. dr. Elisabeta Jaba

33

Profesor univ. dr. Elisabeta Jaba

34

8.7. Regresia liniar simpl n SPSS 8.7. Regresia liniar simpl n SPSS
n fereastra dialog Linear Regression selectm variabilele considerate i le mutm n zonele de lucru corespunztoare. n exemplul nostru selectm variabila rezultativ prod i o mutm n zona Dependent, iar variabila factorial ingras n zona Independent. n zona Case Labels mutm firma. Alegem din lista Method, ca metod de lucru, opiunea Enter; Activm butonul de comand Statistics care deschide fereastra de dialog Linear Regression: Statistics n care bifm casetele de validare: Estimates, Confidence intervals, Model fit i Descriptives Ferestra Statistics pentru un model de regresie
35 Profesor univ. dr. Elisabeta Jaba 36

Valori inregistrate pe un esantion de 5 firme

Profesor univ. dr. Elisabeta Jaba

8.7. Regresia liniar simpl n SPSS


Butonul de comand Continue determin revenirea n fereastra Linear Regression n care activm butonul Plots, care deschide fereastra Linear Regression: Plots; n fereastra de dialog Linear Regression: Plots selectm i mutm SRESID n zona Y, respectiv ZPRED n zona X. Pentru Standardized Residual Plots bifm casetele de validare Histogram i Normal probability plot; Butonul de comand Continue determin revenirea n fereastra Linear Regression n care activm butonul Save;

8.7. Regresia liniar simpl n SPSS


n fereastra Linear Regression: Save pentru Predicted Values bifm caseta Unstandardized, pentru Prediction Intervals bifm caseta Mean, iar pentru Residuals alegem Unstandardized; Acionm butonul de comand Continue pentru a reveni n fereastra Linear Regression; Butonul OK comand obinerea output-ului n fereastra de rezultate i a valorilor estimate n fiierul Data Editor.
Fereastra dialog Linear Regression: Save
Profesor univ. dr. Elisabeta Jaba 38

Ferestra Plots pentru un model de regresie


37

Profesor univ. dr. Elisabeta Jaba

8.7. Regresia liniar simpl n SPSS


n fiierul Data Editor, n foaia Data View, SPSS completeaz coloane distincte cu valorile estimate pentru variabila dependent (pre_1), valorile reziduale (res_1) i limitele inferioar i superioar ale intervalului de ncredere (lmci_1 i umci_1).

Tabelul Regression ANOVA


Tabelul ANOVA prezint rezultatele analizei varianei variabilei dependente sub influena factorului de regresie i a factorului reziduu:
suma ptratelor abaterilor variabilei dependente datorate modelului de regresie i factorului reziduu; gradele de libertate (df); estimaiile varianelor datorate celor dou surse de variaie (regresie i reziduu); raportul F i Sig.

Fereastra de rezultate (Output) pentru analiza de regresie conine: Model Summary, ANOVA, Coefficients, Normal P-P plot i Scatterplot.
Profesor univ. dr. Elisabeta Jaba 39 Profesor univ. dr. Elisabeta Jaba 40

Tabelul Regression ANOVA


Statistica test F se obine ca raport ntre: media ptratelor abaterilor datorate regresiei i media ptratelor abaterilor datorate reziduului, calculate cu gradele de libertate corespunztoare. Testul F este folosit pentru testarea modelului de regresie (ipoteza prin care se presupune c panta dreptei (1) este 0.

Tabelul Regression ANOVA


Dac testul F ia o valoare mare, iar valoarea Sig. corespunztoare statisticii F este mic (mai mic dect 0,05), atunci variabila independent explic variaia variabilei dependente i invers. n exemplul considerat, valoarea Sig. pentru F este mai mic dect 0,05, deci relaia liniar dintre cele dou variabile considerate este semnificativ.

Profesor univ. dr. Elisabeta Jaba

41

Profesor univ. dr. Elisabeta Jaba

42

Coeficienii de regresie
Tabelul coeficineilor de regresie prezint:
coeficienii nestandardizai ai modelului de regresie estimat i erorile standard ale acestora; coeficienii de regresie standardizai cu erorile standard corespunztoare; valorile statisticii test t i valorile Sig. corespunztoare.

Coeficienii de regresie
Coeficienii de regresie standardizai sunt folosii atunci cnd ntr-un model intr mai multe variabile independente exprimate n uniti de msur diferite, n scopul facilitrii comparrii acestora. Testarea parametrilor modelului de regresie se face cu ajutorul testului t, pentru a afla care este probabilitatea ca fiecare parametru s fie nul : H0 :=0 Pentru exemplul dat, valoarea (Sig.=0.002) este mai mic dect 0.05, artnd c (panta dreptei de regresie) corespunde unei legturi semnificative ntre cele dou variabile.

Profesor univ. dr. Elisabeta Jaba

43

Profesor univ. dr. Elisabeta Jaba

44