ECONOMETRIE

IAI
- 2012-
CURS 2
2
Structurarea pe cursuri a tematicii
Regresia liniar simpl
(C2)
1. Scurt istoric al regresiei. Tipuri de modele de regresie
2. Prezentarea modelului de regresie linair simpl
3. Estimarea parametrilor modelului liniar
4. Estimarea indicatorilor de corelaie

(C3)
5. Testarea parametrilor modelului liniar
6. Testarea indicatorilor de corelaie
7. Testarea modelului liniar
3
1.Scurt istoric al regresiei (I)
1805 - A.M. Legendre, Nouvelles mthodes pour la dtermination
des orbites des comtes. "Sur la Mthode des moindres quarrs"
apare ca anex.
1809 - C.F. Gauss, Theoria Motus Corporum Coelestium in
Sectionibus Conicis Solem Ambientum.
1821/1823 - C.F. Gauss. Theoria combinationis observationum
erroribus minimis obnoxiae
1869 - Charles Darwin, The Variation of Animals and Plants under
Domestication. (Capitolul XIII descrie ceea ce era cunoscut ca reversie
in perioada lui Galton. Darwin utilizeaz termenul de "reversie".)
1877 - Francis Galton, "Typical laws of heredity", Nature 15, pp.
492 495, 512-514, 532-533. (Galton utlizeaz termenul de "reversie"
n articolele sale, n care trateaz mrimea boabelor de mazre.)
4
1.Scurt istoric al regresiei (II)
1885 - Francis Galton, Presidential address, Section H,
Anthropology. (Galton utilizeaz termenul de "regresie" n lucrrile
sale, n care abordeaz problema nlimii oamenilor)
1886 - Francis Galton,. "Regression Towards Mediocrity in
Hereditary Stature," Journal of the Anthropological Institute, nr. 15,
pp. 246-263. (Facsimile at: [2])
1897 - G. U. Yule, "On the Theory of Correlation", Journal of the
Royal Statistical Society , pp. 812-54.
1903 - Karl Pearson, G. U. Yule, Norman Blanchard, and Alice
Lee. "The Law of Ancestral Heredity", Biometrika
1922 - R.A. Fisher, "The goodness of fit of regression formulae,
and the distribution of regression coefficients", Journal of the
Royal Statistical Society, pp. 85, 597-612
1925 - R.A. Fisher, Statistical Methods for Research Workers
5
2. Prezentarea modelului de regresie
liniar simpl (1)

Analiza de regresie studiaz legtura statistic ntre dou sau
mai multe variabile statistice sub aspectul formei acesteia.

n legturile statistice utilizm variabile aleatoare (stohastice),
ceea ce nseamn c variabilelor le corespund distribuii de
probabilitate.

n legturile de tip funcional sau deterministic unei valori i se
asociaz o alt valoare i nu o distribuie de probabilitate.


Analiza de corelaie studiaz legtura statistic ntre dou sau
mai multe variabile statistice sub aspectul intensitii acesteia.
6
Interpretarea geometric i statistic a regresiei (1)
Interpretarea geometric
Exemplu
Se consider repartiia a 50 de firme dup profitul realizat (Y,
variabil dependent, sute mil. lei) i cheltuielile cu
publicitatea (X, variabil independent, mil. lei).








Pe baza datelor de mai sus, putem construi 5 repartiii
condiionate
7
Interpretarea geometric i statistic a regresiei (2)
8
Interpretarea geometric i statistic a regresiei (3)
Mediile condiionate corespunztoare celor 5 repartiii:
9
Interpretarea geometric i statistic a regresiei (4)
Interpretarea statistic

Regresia este o medie condiionat, definit prin relaia:
M(Y/X=x
i
) = f(x
i
) sau M(Y/X)=f(x)

Pentru cazul liniar, regresia este o funcie liniar:
M(YX) =
0
+
1
X

Prin urmare, regresia liniar este:
y
i
= M(Y/X=x
i
) =
0
+
1
x
i

10
2. Prezentarea modelului de regresie
liniar simpl (2)

Forma general a unui model de regresie este: M(YX)=f(x).
Pentru modelul de regresie liniar simpl forma modelului
devine:
M(YX) =
0
+
1
X

,unde M(YX) media condiionat
corespunztoare variabilei stohastice Y iar
0
i
1
sunt
parametrii modelului.
n cele mai multe cazuri, valorile reale y
i
difer de valorile
ateptate sau teoretice M(YX=x
i
).
Abaterea valorilor reale fa de valorile teoretice reprezint
valorile variabilei stohastice, , denumit eroare de modelare.

i
= y
i
- M(YX=x
i
) => y
i
= M(YX=x
i
) +
i
=
0
+
1
x
i
+
i
sau
Y=
0
+
1
X

+
11
2. Prezentarea modelului de regresie
liniar simpl (3)

Componentele modelului de regresie liniar sunt:
1. Componenta determinist este reprezentat de media
condiionat M(YX=x
i
) =
0
+
1
x
i

2. Componenta aleatoare depinde de: natura fenomenului,
specificarea modelului i erorile de msurare.
a. Natura imprevizibil a fenomenului d natere la erori
de modelare.
b. Specificarea incomplet a modelului determin apariia
erorilor de modelare.
c. Erorile de msurare sunt i ele surprinse prin eroarea
de modelare.
12
2. Prezentarea modelului de regresie
liniar simpl (4)
Parametrii modelului de regresie liniar sunt:
.

1.
0
- reprezint constanta sau termenul liber al modelului i
reprezint valoarea variabilei Y atunci cnd X=0.
Grafic parametrul
0
reprezint intersecia dreptei de regresie
liniar cu axa OY (engl. intercept).
2.
1
- reprezint variaia medie a variabilei dependente, Y, la
o cretere cu o unitate a variabilei independente, X.
1
mai
poart denumirea i de tangent a pantei dreptei sau simplu
pant a dreptei (engl. slope) i arat cu ct variaz Y dac X
crete cu o unitate.


Dac
1
>0 => exist o legtur direct ntre variabila Y i
variabila X, dac
1
<0 => exist o legtur invers ntre
variabila Y i variabila X iar dac
1
=0 nu exist legtur ntre
Y i X.
X
Y
dX
dY
A
A
= =
1
|
13
2. Prezentarea modelului de regresie
liniar simpl (5)
Ipoteze clasice ale modelului de regresie
1. Ipoteze cu privire la eroarea de modelare
- normalitatea erorilor: , adic variabila
rezidual urmeaz o lege de repartiie normal de medie zero i
varian
2
;
- homoscedasticitate: ,adic variana
erorii este constant la nivelul distribuiilor condiionate de
tipul ;
- necorelarea erorilor: ,adic
erorile nu se influeneaz reciproc;
- lipsa corelaiei dintre variabila independent i
variabila eroare: .
) , 0 ( N ~
2
i
o c
2 2
i i
) ( M ) ( V o c c = =
i i
x X Y =
n
j i
, 1 j i, j; i , 0 ) , cov( = = = c c
0 ) x , cov(
i i
= c
14
2. Prezentarea modelului de regresie
liniar simpl (6)
2. Ipotezele cu privire la variabila independent:
- variabila independent X este observabil (nestochastic);
- variabila independent are o variaie finit i posibil de calculat;
- variabilele independente (pentru cazul regresiei multiple) nu
trebuie s fie coliniare.

Modelul la nivelul unui eantion poate fi scris pe
baza estimatorilor sau .
unde:
- estimatorul mediei condiionate M(YX=x
i
);
- estimatorul parametrului
- estimatorul parametrului
- estimatorul erorii stohastice
i


i
c
i i i
x y c | |


1 0
+ + =
i i i
y y c
+ =
0

| 0
|
1

|
1
|
i i i
x y c | | + + =
1 0
i i
x y
1 0

| | + =
15
3. Estimarea parametrilor modelului
liniar (1)
1. Estimarea punctual a parametrilor modelului liniar
Estimarea parametrilor modelului de regresie poate fi fcut
utiliznd metoda celor mai mici ptrate (MCMMP).
Criteriul care st la baza metodei celor mai mici ptrate const n
minimizarea ptratelor erorii de modelare:

Rezolvarea acestei probleme de minim presupune ndeplinirea a
dou condiii:
1. Anularea derivatelor pariale de ordinul I ale lui S n raport cu
i : i

2. Matricea derivatelor pariale de
ordinul doi s fie pozitiv definit:
( ) ( ) ( ) . min

)

(
2
1 1 1 1
1 0
2
1 0
2
2
= = + = = =

= = = =
n
i
n
i
n
i
n
i
i i i i i i i
x y x y y y S | | | | c
0

0
=
c
c
|
S
0

|
1

|
0

1
=
c
c
|
S
0


det
1
2
2
1 0
2
1 0
2
0
2
2
>
|
|
|
|
|
.
|

\
|
c
c
c c
c
c c
c
c
c
| | |
| | |
S S
S S
16
1. Anularea derivatelor pariale de ordinul I ale lui S n raport cu
i :










2. Matricea derivatelor pariale de ordinul doi s fie pozitiv definit:




Este pozitiv definit deoarece





3. Estimarea parametrilor modelului
liniar (2)
( )
2
2 2 2
i i
n x x n 0 o = >

( )( )
( )( )


= = = =
= = =
= + = =
c
c
= + = =
c
c
n
i
n
i
i i i
n
i
i
n
i
i i i
n
i
n
i
i i
n
i
i i
x y x x x x y
S
y x n x y
S
1 1
2
1
1
0
1
1 0
1
1 1
1 0
1
1 0
0

0

2

0 1

2

| | | |
|
| | | |
|
( ) ( )

=
2
2
1
2
2
2
0

,

i i
i i i i
i i
i i i i i
x x n
y x y x n
x x n
y x x x y
| |
|
|
.
|

\
|


2
i i
i
x x
x n
0

|
1

|
x y
1 0

| | =
17
3. Estimarea parametrilor modelului
liniar (3)
Estimatorii parametrilor modelului de regresie sunt variabile de
selecie care:

-urmeaz o distribuie normal: ~ , ~

- sunt nedeplasai:

- convergeni:

- eficieni: dintre toi estimatorii posibili pentru , are
variana cea mai mic
0

| ( )
2
0
0
,
|
o | N
1

| ( )
2
1
1
,
|
o | N
( ) ( )
1 1 0 0

,

| | | | = = M M
( ) ( )
1 1 0 0

,

| | | |
e e N n N n
1
|
1

|
18
3. Estimarea parametrilor modelului
liniar (4)
2. Estimarea prin interval de ncredere a parametrilor modelului
liniar

Att pentru , ct i pentru , intervalele de ncredere se vor
construi pentru un nivel de ncredere de (1-):



Pe baza datelor de la nivelul unui eantion se vor utiliza
estimaiile parametrilor:



unde k = numrul parametrilor estimai n model (pentru
modelul liniar k=2),
n = volumul eantionului pe baza cruia se fac estimrile.


0
|
1
|
]

[
0
, 2 / 0 0
|
o
o | |
k n
t

e ]

[
1
, 2 / 1 1
|
o
o | |
k n
t

e
| |
0
, 2 / 0 0
|
o
| s t b
k n
e
| |
1
, 2 / 1 1
|
o
| s t b
k n
e
19
Abaterile standard ale estimatorilor i estimaiile acestora se
determin dup relaiile:

, respectiv


, respectiv ,


unde este estimatorul varianei erorii de modelare, iar s
2
este
estimaia acestuia:

, respectiv
3. Estimarea parametrilor modelului
liniar (5)
( )
|
|
|
.
|

\
|

+ = =

i
i
x x
x
n
s s s
2
2
2 2

1
0 0
| |

=

= =
n
i
i
x x
s
s s
1
2
2
2

) (
1 1
| |

=

= =
n
i
i
x x
1
2
2
2

) (

1
1
o
o o
|
|
2

o
( )
|
|
|
.
|

\
|

+ = =

i
i
x x
x
n
2
2
2 2

1

0
0
o o o
|
|
2
)

(
2

2
1 0
2
2

=

n
x y
n
i i i
| | c
o
2
) (
2
2
1 0
2
2

=

n
x b b y
n
e
s
i i i
20
4. Estimarea indicatorilor de corelaie (1)
1. Coeficientul de corelaie (se folosete doar pentru modelul
liniar):

, -1+1





2. Raportul de determinaie:

, cu 0<
2
<1

O estimaie a raportului de determinaie se obine prin relaia:

y x
N
i
y i x i
y x
N
y x
Y X
Y X
o o

o o

=

= =
1
) )( (
) , cov(
) , (


= = = =
= = = =

=

= ~
n
i
i
n
i
i
n
i
n
i
i i
n
i
i
n
i
i
n
i
i i
y x
n
i
i i
y
y y n x x n
y x y x n
s ns
y y x x
r Y X
x
1
2
1
2
1 1
2 2
1 1 1 1
] ) ( ][ ) ( [
) )( (
) , (
T
R
T
E
i
i
i
i
V
V
V
V
y y
y y
= =

1
) (
) (
2
2
2
q
TSS
RSS
TSS
ESS
y y
y x b b
= R
i
i
i
= =

1
) (
) (
2
2
1 0
2
21
4. Estimarea indicatorilor de corelaie
(1)
3. Raportul de corelaie:

, reprezint variaia total (TSS);
, reprezint variaia explicat (ESS);
, reprezint variaia rezidual (RSS).
Variaia total este egal cu suma celorlalte dou variaii
componente: V
T
=V
E
+V
R
2
q q =
) y - y ( = V
2
i T

i
2
i E
) y - y ( = V
) y - y ( = V
2
i i R

22
5. Exemple de modele liniare simple n teoria economic
Funcia de consum
-cererea sau consumul populaiei n funcie de venit:
, unde parametrul |
1
arat cu ct crete
consumul unui anumit produs ( ) la o cretere cu o unitate a
venitului i este de regul pozitiv.

Legea cererii
-cererea populaiei n funcie de preul acestor produse:
, unde parametrul |
1
este de regul negativ i
arat cu ct scade cererea la o cretere a preului cu o unitate.
i i i
V C c | | + + =
1 0
i
C
i i i
P C c | | + + =
1 0
23
EXEMPLU
Se consider datele cu privire la
Valoarea vnzrilor i
Cheltuielile cu publicitatea
pentru un eantion de 4 firme.
Datele sunt prezentate n
tabelul urmtor.


x
i
y
i

10
20
50
100
2500
4100
5000
7500
180 19100
24
Coefficients
a
-45.163 15.015 -3.008 .095 -109.766 19.439
.019 .003 .977 6.422 .023 .006 .032
(Constant)
chelt_publicitate
Model
1
B Std. Error
Unstandardized
Coef f icients
Beta
Standardized
Coef f icients
t Sig. Lower Bound Upper Bound
95% Conf idence Interval f or B
Dependent Variable: Val_vanzari
a.
Model Summary
.977
a
.954 .931 10.64486
Model
1
R R Square
Adjusted
R Square
Std. Error of
the Estimate
Predictors: (Constant), chelt_publicitate
a.
Cor relations
1 .977*
.023
4 4
.977* 1
.023
4 4
Pearson Correlation
Sig. (2-tailed)
N
Pearson Correlation
Sig. (2-tailed)
N
vanzari
chelt_publ
vanzari chelt_publ
Correlation is signif icant at the 0.05 level (2-tailed).
*.