ECONOMETRIE

CURS 2

IAI
- 2015-

Structurarea pe cursuri a tematicii

Regresia liniar simpl
(C2)
1. Scurt istoric al regresiei. Tipuri de modele de regresie
2. Prezentarea modelului de regresie liniar simpl
3. Estimarea parametrilor modelului liniar
4. Testarea parametrilor modelului liniar
(C3)
5. Estimarea indicatorilor de corelaie
6. Testarea indicatorilor de corelaie
7. Testarea modelului liniar
(C4)
8. Probleme specifice modelului de regresie liniar
9. Exemplu complet de model liniar cu date reale, folosind Excel si SPSS

1.Scurt istoric al regresiei (I)

1805 - A.M. Legendre, Nouvelles mthodes pour la dtermination
des orbites des comtes. "Sur la Mthode des moindres quarrs"
apare ca anex.
1809 - C.F. Gauss, Theoria Motus Corporum Coelestium in
Sectionibus Conicis Solem Ambientum.
1821/1823 - C.F. Gauss. Theoria combinationis observationum
erroribus minimis obnoxiae
1869 - Charles Darwin, The Variation of Animals and Plants under
Domestication. (Capitolul XIII descrie ceea ce era cunoscut ca reversie
in perioada lui Galton. Darwin utilizeaz termenul de "reversie".)
1877 - Francis Galton, "Typical laws of heredity", Nature 15, pp.
492 495, 512-514, 532-533. (Galton utilizeaz termenul de
"reversie" n articolele sale, n care trateaz mrimea boabelor de
mazre.)
3

1.Scurt istoric al regresiei (II)

1885 - Francis Galton, Presidential address, Section H,
Anthropology. (Galton utilizeaz termenul de "regresie" n lucrrile
sale, n care abordeaz problema nlimii oamenilor)
1886 - Francis Galton,. "Regression Towards Mediocrity in
Hereditary Stature," Journal of the Anthropological Institute, nr. 15,
pp. 246-263. (Facsimile at: [2])
1897 - G. U. Yule, "On the Theory of Correlation", Journal of the
Royal Statistical Society , pp. 812-54.
1903 - Karl Pearson, G. U. Yule, Norman Blanchard, and Alice
Lee. "The Law of Ancestral Heredity", Biometrika
1922 - R.A. Fisher, "The goodness of fit of regression formulae,
and the distribution of regression coefficients", Journal of the
Royal Statistical Society, pp. 85, 597-612
1925 - R.A. Fisher, Statistical Methods for Research Workers
4

2. Prezentarea modelului de regresie

liniar simpl (1)
Analiza de regresie studiaz legtura statistic ntre dou sau
mai multe variabile statistice sub aspectul formei acesteia.
n legturile statistice utilizm variabile aleatoare (stohastice),
ceea ce nseamn c variabilelor le corespund distribuii de
probabilitate.
n legturile de tip funcional sau deterministic unei valori i se
asociaz o alt valoare i nu o distribuie de probabilitate.

Analiza de corelaie studiaz legtura statistic ntre dou sau

mai multe variabile statistice sub aspectul intensitii acesteia.
5

Interpretarea geometric i statistic a regresiei (1)

Interpretarea geometric
Exemplu
Se consider repartiia a 50 de firme dup profitul realizat (Y,
variabil dependent, sute mil. lei) i cheltuielile cu publicitatea
(X, variabil independent, mil. lei).

Pe baza datelor de mai sus, putem construi 5 repartiii

condiionate
6

Interpretarea geometric i statistic a regresiei (2)

Interpretarea geometric i statistic a regresiei (3)

Mediile condiionate corespunztoare celor 5 repartiii:

Interpretarea geometric i statistic a regresiei (4)

Interpretarea statistic

Regresia este o medie condiionat, definit prin relaia:

M(Y/X=xi) = f(xi) sau M(Y/X)=f(x)
Pentru cazul liniar, regresia este o funcie liniar:

M(YX) = 0+ 1X
Prin urmare, regresia liniar este:
yi = M(Y/X=xi) = 0+ 1xi

2. Prezentarea modelului de regresie

liniar simpl (2)
Forma general a unui model de regresie este: M(YX)=f(x).
Pentru modelul de regresie liniar simpl forma modelului
devine:
M(YX) = 0+ 1X ,unde M(YX) media condiionat
corespunztoare variabilei stohastice Y iar 0 i 1 sunt parametrii
modelului.
n cele mai multe cazuri, valorile reale yi difer de valorile
ateptate sau teoretice M(YX=xi).
Abaterea valorilor reale fa de valorile teoretice reprezint valorile
variabilei stohastice, , denumit eroare de modelare.
i = yi - M(YX=xi) => yi = M(YX=xi) + i = 0+ 1xi + i sau
Y= 0+ 1X +
10

2. Prezentarea modelului de regresie

liniar simpl (3)
Componentele modelului de regresie liniar sunt:
1. Componenta determinist este reprezentat de media
condiionat M(YX=xi) = 0+ 1xi
2. Componenta aleatoare depinde de: natura fenomenului,
specificarea modelului i erorile de msurare.
a. Natura imprevizibil a fenomenului d natere la erori
de modelare.
b. Specificarea incomplet a modelului determin apariia
erorilor de modelare.
c. Erorile de msurare sunt i ele surprinse prin eroarea
de modelare.

11

2. Prezentarea modelului de regresie

liniar simpl (4)
Parametrii modelului de regresie liniar sunt:.
1. 0 - reprezint constanta sau termenul liber al modelului i
reprezint valoarea medie a variabilei Y atunci cnd X=0.
Grafic, parametrul 0 reprezint intersecia dreptei de regresie
liniar cu axa OY (engl. intercept).
2. 1- reprezint variaia medie a variabilei dependente, Y, la
o cretere cu o unitate a variabilei independente, X. 1 mai
poart denumirea i de tangent a pantei dreptei sau simplu
pant a dreptei (engl. slope) i arat cu ct variaz Y dac X
crete cu o unitate.
dY Y
1

dX X
Dac 1>0 => exist o legtur direct ntre variabila Y i
variabila X, dac 1<0 => exist o legtur invers ntre
variabila Y i variabila X iar dac 1=0 nu exist legtur ntre
Y i X.
12

2. Prezentarea modelului de regresie

liniar simpl (5)
Ipoteze clasice ale modelului de regresie
1. Ipoteze cu privire la eroarea de modelare
2

~
N
(
0
,

) , adic variabila
- normalitatea erorilor: i
rezidual urmeaz o lege de repartiie normal de medie zero i
varian 2;
2
2
- homoscedasticitate: V ( i ) M ( i ) ,adic variana
erorii este constant la nivelul distribuiilor condiionate de
tipul Yi X xi ;
- necorelarea erorilor: cov( i , j ) 0, i j; i, j 1, n ,adic
erorile nu se influeneaz reciproc;
- lipsa corelaiei dintre variabila independent i
variabila eroare: cov( i , xi ) 0 .

13

2. Prezentarea modelului de regresie

liniar simpl (6)
2. Ipotezele cu privire la variabila independent:
- variabila independent X este observabil (nestochastic);
- variabila independent are o variaie finit i posibil de calculat;
- variabilele independente (pentru cazul regresiei multiple) nu trebuie s
fie coliniare.
Modelul yi
estimatorilor

0 1 xi i la nivelul unui eantion poate fi scris pe baza

yi 0 1 xi i sau y i y i i .

unde:

i
0
1 i este estimatorul mediei condiionate M(YX=xi);

- 0 este estimatorul parametrului 0

1
1
-

)
i

este estimatorul parametrului

este estimatorul erorii stohastice i

Particular, pentru un eantion observat, modelul de regresie liniar

yi b0 b1 xi ei
simpl poate fi scris:
14

3. Estimarea parametrilor modelului

liniar (1)

1. Estimarea punctual a parametrilor modelului liniar

Estimarea parametrilor modelului de regresie poate fi fcut

utiliznd metoda celor mai mici ptrate (MCMMP).
Criteriul care st la baza metodei celor mai mici ptrate const n
minimizarea
ptratelor erorii
de modelare:
2
n
n
n
n
2
2
S i2 yi y i yi ( 0 1 xi ) yi 0 1 xi min .
i 1

i 1

i 1

i 1

Rezolvarea acestei probleme de minim presupune ndeplinirea a

dou condiii:

1. Anularea derivatelor pariale de ordinul I ale lui S n raport cu 0

S
S

0
i 1 :
i 0
0
1

2. Matricea derivatelor pariale de

ordinul doi s fie pozitiv definit:

det

2S
2 0
2S
0 1

2S

0 1
0
2

2
1

15

3. Estimarea parametrilor modelului

liniar (2)

1. Anularea derivatelor pariale de ordinul I ale lui S n raport cu 0

i 1:
n
n
n

S
2 yi 0 1 xi 1 0
0
i 1

n
S
2 yi 0 1 xi xi 0
1
i 1

y x x x y

n x x
i

2
i

2
i

n0 1 xi yi
i 1

i 1

i 1

i 1

0 xi 1 x yi xi
2
i

i 1

n xi yi xi yi

1
2
n xi2 xi

0 y 1 x
2. Matricea derivatelor pariale de ordinul doi s fie pozitiv definit:
n
xi

x x2
i
i

Este pozitiv definit deoarece n x i2 x i n 2 2 0

2

16

3. Estimarea parametrilor modelului

liniar (3)
Estimatorii parametrilor modelului de regresie sunt variabile de
selecie care:
-urmeaz

o distribuie normal:

sunt nedeplasai:

convergeni:

0 ~ N 0 , 2

2
~ N 1 , 1

M 0 0 , M 1 1

0 nN

0 ,

1 nN

eficieni: dintre toi estimatorii posibili pentru 1 , 1 are

variana cea mai mic
-

17

3. Estimarea parametrilor modelului

liniar (4)

2. Estimarea prin interval de ncredere a parametrilor modelului

liniar
Att pentru 0 , ct i pentru 1 , intervalele de ncredere se vor
construi pentru un nivel de ncredere de (1-):

0 [ 0 t / 2,n k ]
0

1 [ 1 t / 2,n k ]
1

Pe baza datelor de la nivelul unui eantion se vor utiliza

estimaiile parametrilor:

0 b0 t / 2,n k s

1 b1 t / 2,n k s

unde k = numrul parametrilor estimai n model (pentru

modelul liniar simplu k=2),
n = volumul eantionului pe baza cruia se fac estimrile.

18

3. Estimarea parametrilor modelului

liniar (5)
Abaterile standard ale estimatorilor i estimaiile acestora se
determin dup relaiile:

2
x
2
2 1

1
x
, respectiv s0 s0 s
2 2
2
2
n

x
i i

n xi x

1 2
1

2
(
x

x
)
i

2
s

, respectiv 1
1

s2
n

( x x)
i 1

i 1

unde

este estimatorul varianei erorii de modelare, iar s2 este

estimaia acestuia:

2
i

n2

x ) 2
(
y

i 0 1i
n2

2
s

, respectiv

2
e
i

n2

2
(
y

b
x
)
i 0 1i

n2

19

4. Testarea parametrilor modelului liniar

simplu (I)
Testarea parametrilor modelului multiplu liniar se face urmnd etapele
de mai jos. Vom exemplifica pentru testarea parametrului 1:
1. Formularea ipotezelor:
H : 1 0 (ntre cele dou variabile nu exist o legtur de tip liniar)
0

H1: 1 0

(ntre cele dou variabile exist o legtur de tip liniar)

2. Alegerea pragului de semnificaie

De regul, se asum un risc = 0,05.
3. Alegerea statisticii test

1 1
t

i

20

Testarea parametrilor modelului liniar

simplu (II)
4. Valoarea teoretic a statisticii test
Dac se accept ipoteza nul,

1
t

~ t(v)

Pentru pragul de semnificaie ales i v=n-2 grade de libertate, se citete

valoarea teoretic din tabela Student: t/2;n-2
5. Valoarea calculat a statisticii test
La nivelul eantionului se determin valoarea calculat a testului:

tcalc

b1

21

Testarea parametrilor modelului liniar

simplu (III)
6. Regula de decizie
Dac

t calc t / 2

Dac

t calc t / 2

se respinge H0
se accept H0, pentru risc asumat de 5%.

n SPSS, decizia se ia pe baza semnificaiei testului (Sig.):

- dac Sig t
, se respinge H0
- dac

Sig t

, se accept H0, pentru un nivel de ncredere de 95%.

22

Testarea parametrilor modelului liniar

simplu (IV)
7. Compararea celor dou valori
ale statisticii test i luarea
deciziei

8. Interpretarea rezultatului
testrii

Regiunea de
acceptare H0
Figura 1. Regiunea de acceptare si
regiunile de respingere H0

23

5.

Exemple de modele liniare simple n teoria economic

Funcia de consum
-cererea sau consumul populaiei n funcie de venit:
Ci 0 1Vi ,i unde parametrul 1 arat cu ct crete, in medie,
consumul unui anumit produs ( Ci) la o cretere cu o unitate a venitului i
este de regul pozitiv.
Legea cererii
-cererea populaiei n funcie de preul produselor:
Ci 0 1 Pi i, unde parametrul 1 este de regul negativ i arat cu
ct scade, n medie, cererea la o cretere a preului cu o unitate.

24

EXEMPLU

Se consider datele cu privire la

Valoarea vnzrilor i Numarul de
angajati pentru un eantion de 4
firme. Datele sunt prezentate n
tabelul urmtor.

xi

yi

10

2500

20

4100

50

5000

100

7500

180

19100

25

Model Summary
Model
1

R
.977a

R Square
.954

Adjusted
R Square
.931

Std. Error of
the Estimate
10.64486

a. Predictors: (Constant), chelt_publicitate

Coefficientsa

Model
1

(Constant)
chelt_publicitate

Unstandardized
Coefficients
B
Std. Error
-45.163
15.015
.019
.003

Standardized
Coefficients
Beta
.977

t
-3.008
6.422

Sig.
.095
.023

95% Confidence Interval for B

Lower Bound Upper Bound
-109.766
19.439
.006
.032

a. Dependent Variable: Val_vanzari

Correlations
vanzari
vanzari

chelt_publ

Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N

1
4
.977*
.023
4

chelt_publ
.977*
.023
4
1
4

*. Correlation is significant at the 0.05 level (2-tailed).

26