1

Modelul clasic de regresie I

TACT 2013-2014
Lect. univ. dr. Mihaela Covrig
Analiza de regresie
Analiza de regresie se ocupa cu studiul dependentei unei
variabile , numita variabila dependenta, Y, de una, X, sau
mai multe variabile explicative X1, X2, , Xk cu scopul de
a estima si/sau previziona media lui Y in colectivitatea
generala, in functie de valori cunoscute ale variabilelor
explicative.
2
3
CE ESTE REGRESIA?
Analiza de regresie se ocupa cu studiul dependentei unei variabile, numita variabila
dependenta, Y, de una, X, sau mai multe variabile explicative cu scopul
de a estima si/sau previziona media lui Y in colectivitatea generala, in functie de valori
cunoscute ale variabilelor explicative, adica .
Modelul econometric este cel care pune in evidenta dependena unei variabile de un
ansamblu de factori principali i secundari, sistematici sau aleatori, care acioneaz n
acelai sens sau n sensuri diferite.

Cauze
Funcia
Efect
Variabile
independente
f
Variabila
dependent
f(x
1
,x
2
,...,x
k
)=Y
modelul matematic
k
X X X ,..., ,
2 1
( )
k k
x X x X x X Y M = = = ,..., ,
2 1 1
Modelul econometric
Modelul econometric este


unde
sunt variabilele independente sau explicative ale modelului,
- componenta determinista - surprinde influenta factorilor

- componenta aleatoare ce are proprietati probabilistice bine
definite si care surprinde influenta altor factori, numiti factori
reziduali, asupra variabilei Y (acei factori care nu au fost luati explicit
in consideratie)

4

( )

aleatoare componenta
ta determinis componenta
2 1
a explicativ ila sau variab
dependenta variabila
,..., , c + =

k
X X X f Y
k
X X X ,..., ,
2 1
( )
k
X X X f ,..., ,
2 1
k
X X X ,..., ,
2 1
c
5
REGRESIA Cnd i cum o utilizm?
Regresia se folosete pentru:
a determina o relaie cauzal,
a testa o relaie cauzal,
a previziona o variabil dependent n funcie de una sau mai multe
variabile independente,
a explica efectul n funcie de cauze.

Cand consideram relatia intre o variabila cauza (X) si o variabila efect (Y), cea
mai simpla forma a dependentei dintre acestea este data de o functie liniara,

Astfel, modelul matematic este
iar modelul econometric este
cunoscut ca modelul de regresie liniara simpla sau unifactoriala.
( ) x x f
1 0
| | + =
( ) X Y X f Y
1 0
| | + = =
( ) c | | c + + = + = X Y X f Y
1 0
6
Specificarea unui model de regresie
Modelul general de regresie liniara unifactorial:
Y=|
0
+|
1
X + c


Parametrul |
1
(panta) arat modificarea proporional a variabilei efect (Y) la
modificarea cu o unitate a variabilei cauz (X).

Parametrul |
0
(intercept) arat punctul n care dreapta de regresie
intersecteaz (taie) axa OY.

c reprezint componenta rezidual (eroarea aleatoare) care surprinde influenta
altor factori, numiti factori reziduali, asupra variabilei Y; adic partea din
valoarea variabilei Y care nu poate fi msurat prin relaia sistematic existent
cu variabila X.
Componenta predictibil
Variabila/eroarea aleatoare
Componenta reziduala
x y
1 0
| | + =
7
Specificarea unui model de regresie
Modelul liniar unifactorial y=1+0,5x
X
Y

1.0
1
0,5
X
Y



8
Specificarea unui model de regresie
Se efectueaz o selecie de volum n :
Pe baza acestei selecii se estimeaz parametrii |
0
i |
1
ai modelului de
regresie liniar simpl sau unifactoriala , obtinand
estimatorii .

Modelul de regresie liniar observat (in esantion) este:

cu componenta predictibil: , care se mai numeste si valoarea
ajustata sau estimata a valorii observate pe baza modelului de regresie;
este estimatorul obinut pe baza datelor din eantion al parametrului intercept |
0
;
este estimatorul obinut pe baza datelor din eantion al parametrului panta |
1
;
e
i
este valoarea rezidual (pentru unitatea i) n eantion:

n i x b b y
i i
, 1 ,
1 0
= + =
c | | + + = X Y
1 0
n i e x b b y
i i i
, 1 ,
1 0
= + + =
1 1 0 0

,

b b
not not
= = | |
( ) ( ) ( ) { }
n n
y x y x y x , ..., , , , ,
2 2 1 1
i
y
0
b
1
b
( ) n i y y x b b y e
i i i i i
, 1 ,
1 0
= = + =
9
Ipotezele modelului de regresie liniar
Pentru a obine proprietile dorite ale estimatorilor regresiei, se
fac, de obicei, cinci presupuneri (ipoteze) standard pentru modelul
din populaia general:

Ipotezele ce trebuie verificate:

Forma funcional: y
i
= |
0
+ |
1
x
i
+ c
i
, i=1,n
Normalitatea erorilor: c
i
~N (0, )
Media zero a erorilor: M(c
i
)=0, i
Homoscedasticitatea: D(c
i
)= constant, i
Non autocorelarea erorilor: Cov(c
i
,c
j
)=0, i=j
Necorelarea ntre regresor i erori: Cov(x
i
,c
j
)=0, i i j


2
c
o
2
c
o
10
Ipoteza 1: Forma funcional
y=a+bx
y=a+bz, z=e
x
y=a+br, r=1/x
y=a+bq, q=ln(x)

Sau
y=Ax
|
ln(y)=o+|ln(x)
Forma general:
f(y
i
)= o+|g(x
i
)+c
i
Contra exemplu:

nu poate fi transformat n model liniar.
-400
-200
0
200
400
600
800
1000
-1 0. 003 0. 008 0. 013 0. 018 0. 023 0. 028 0. 033 0. 038 0. 043 0. 048 0. 053 0. 058 0. 063 0. 068
X
Y
|
.
|

\
|
+
x
b a
1
x
be a +
bx a +
( ) x b a ln +
Modele ce pot fi linearizate
x
y
+
+ =
|
o
1
11
Erorile
Ipoteza de linearitate a modelului include i aditivitatea
erorilor.
Forma modelului:
y = o + |x + c,
De exemplu modelul se transform prin
logaritmare n modelul liniar: ln(y)=ln(A)+|ln(x)+c .
ns modelul nu mai poate fi transformat n
model liniar.
Dac ipoteza de linearitate este verificat, variabila
dependent observat este suma a dou elemente:
un termen nestochastic, determinist: o+|x
o variabil aleatoare
c |
e Ax y =
c
|
+ = Ax y
12
Ipoteza 2: normalitatea erorilor
Se presupune c variabila aleatoare c
i
este normal
distribuit :
Distribuia de probabilitate pentru c
i

13
Ipoteza 3: media erorilor este zero: M(c
i
)=0 i
Este natural atta timp ct c este vzut ca suma efectelor
individuale, cu semne diferite.
Dac media erorilor este diferit de zero exist posibilitatea
ca variabile exogene cu influen semnificativ asupra
variabilei Y s fie omise din model.
Dac media variabilei Y, condiionata de X=xi, este
M(Y/X = x
i
) = o + |x
i
, atunci nu exist variabile omise
asociate cu regresia n populaie.
14
Ipoteza 4 (de homoscedasticitate):
D(c
i
)= constant i
2
c
o
a) b)
Dispersia reziduurilor a) constant; b) variabil
Dispersia reziduurilor n populaie este constant peste toate valorile x
i

15
Ipoteza 5: Non autocorelarea erorilor: M(c
i
c
j
)=0 i=j
Aceast ipotez nu implic faptul c
i
i
j
sunt necorelate, ci faptul c
deviaiile observaiilor de la valorile lor ateptate sunt necorelate.
Variabilele aleatoare c
i
sunt statistic independente una de alta, deci
M(
i

j
)= 0, pentru i = j.
Acest lucru nseamn c eroarea asociat cu o valoare a variabilei Y nu
are nici un efect asupra erorilor asociate cu alte valori ale lui Y;
Nu exist deci corelaie ntre reziduuri;
OBSERVAIE: Este convenabil a considera c erorile sunt
independente i normal distribuite cu medie zero i dispersie
constant pentru obinerea de rezultate statistice exacte.
16
Estimarea parametrilor modelului de regresie clasic
Parametrii necunoscui ai modelului din colectivitatea general, adica |
0
si |
1
,
sunt cei ce trebuie estimai:


Modelul estimat va fi scris: ,
unde b
0
si b
1
reprezinta estimatorii parametrilor |
0
si |
1
,
estimatori obtinuti pe baza unei selectii de volum n:

Pentru estimatiile b
0
i b
1
, erorile estimate (valorile reziduale in esantion) vor fi:

n i e x b b y
i i i
, 1 ,
1 0
= + + =
c | | + + = X Y
1 0
( ) { } n i y x
i i
, 1 , , =
( ) n i y y x b b y e
i i i i i
, 1 ,
1 0
= = =
17
Estimarea parametrilor modelului de
regresie clasic
Metoda celor mai mici ptrate:
Pentru estimarea parametrilor |
0
i |
1
pe baza datelor observate, un
criteriu natural este cel de maximizare a potrivirii modelului cu datele
observate, deci de minimizare a erorilor observate:

,

adica de determinare a punctului de minim al functiei
( ) ( )

= = =
= =
n
i
i i
n
i
i i
n
i
i
x b b y y y e
1
2
1 0
1
2
1
2
min min min
( ) ( )

=
=
n
i
i i
x b b y b b S
1
2
1 0 1 0
,
( )
1 0
, b b
18
Estimarea parametrilor modelului de
regresie clasic
Derivatele partiale de ordinul 1 si 2 ale functiei
sunt:










( ) ( )

=
=
n
i
i i
x b b y b b S
1
2
1 0 1 0
,
( ) ( )( )
( )
( )
( ) ( )( )
( )
( )

=
=
= = = =
=
= = =
=
=
|
.
|

\
|
+ = =
=
=
|
.
|

\
|
+ = =
n
i
i b b
n
i
i b b
n
i
n
i
i i i
n
i
i
n
i
i i i b
n
i
i b b
b b
n
i
n
i
i i
n
i
i i b
x b b S
x b b S
y x x b x b x x b b y b b S
x b b S
n b b S
y x b nb x b b y b b S
1
2
1 0
' '
1
1 0
' '
1 1
2
1
1
0
1
1 0 1 0
'
1
1 0
' '
1 0
' '
1 1
1 0
1
1 0 1 0
'
2 ,
2 ,
2 2 ,
2 ,
2 ,
2 1 2 ,
1 1
0 1
1
1 0
0 0
0
19
Estimarea parametrilor modelului de
regresie clasic
Condiiile de ordin 1: determinarea soluiei sistemului de ecuatii




numit si sistemul ecuatiilor normale.
Matricea coeficientilor sistemului liniar de ecuatii si coloana termenilor
liberi sunt:




( )
( )

= +
= +

=
=


= = =
= =
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i
b
b
y x x b x b
y x b nb
b b S
b b S
1 1
2
1
1
0
1 1
1 0
1 0
'
1 0
'

0 ,
0 ,
1
0
|
|
|
|
.
|

\
|
|
|
|
|
.
|

\
|
=

=
=
= =
=
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i
y x
x
x x
x n
A
1
1
1
2
1
1
,
Estimarea parametrilor
modelului de regresie clasic
Determinantul matricei sistemului de ecuatii liniare este






daca exista o valoare observata ,
deci sistemul de ecuatii este compatibil determinat
si se poate rezolva prin metoda lui Cramer.
20
( )
( )

=
=
= =
= =
=
=
|
.
|

\
|
=
|
.
|

\
|
= = = A
n
i
i
n
i
i
n
i
i
n
i
i n
i
i
n
i
i
n
i
i
not
x x n
x n x n
x x n
x x
x n
A
1
2
2
1
2
2
1 1
2
1
2
1
1
det
0 det = = A A
not
x x
i
=
Estimarea parametrilor
modelului de regresie clasic
Minorul corespunzator necunoscutei este








21
1
b
( )( )

=
=
= = =
= =
=
=
|
.
|

\
|
=
|
.
|

\
|
|
.
|

\
|
= = A
n
i
i i
n
i
i i
n
i
i
n
i
i
n
i
i i n
i
i i
n
i
i
n
i
i
b
y y x x n
y x n y x n
y x y x n
y x x
y n
1
1
1 1 1
1 1
1
1
( )( )
( )
( )( )
( )
( )( )
( )
2
1
2
1
1
2
1
1
2
1
1
1
1 1
x
xy
n
i
i
n
i
i i
n
i
i
n
i
i i
n
i
i
n
i
i i
b
s
s
n
x x
n
y y x x
x x
y y x x
x x n
y y x x n
b =

=
A
A
=

=
=
=
=
=
=
Estimarea parametrilor
modelului de regresie clasic

unde este covarianta de selectie a variabilelor X si Y,

iar este dispersia de selectie a variabilei explicative X.

Daca prima ecuatie a sistemului ecuatiilor normale se imparte la n, volumul
esantionului, atunci aceasta devine , de unde obtinem ca


Punctul stationar al functiei este
22
( )( )
( ) y x
n
y y x x
s
n
i
i i
xy
, cov
1
1
=

=

=
( )
1
1
2
2

=

=
n
x x
s
n
i
i
x
x b y b
1 0
=
y x b b = +
1 0
( )
1 0
, b b S
|
|
.
|

\
|
= =
2
1 1 0
,
x
sy
s
s
b x b y b
Estimarea parametrilor
modelului de regresie clasic
Condiia de ordin 2: soluia gsit este un punct de minim
deoarece matricea hessian asociat este pozitiv definit.



Cei doi minori principali sunt pozitivi.
23
( )
( ) ( )
( ) ( )
|
|
|
|
.
|

\
|
=
|
|
.
|

\
|
=


= =
=
n
i
i
n
i
i
n
i
i
b b b b
b b b b
x x
x n
b b S b b S
b b S b b S
b b H
1
2
1
1
1 0
' '
1 0
' '
1 0
' '
1 0
' '
1 0
2 2
2 2
, ,
, ,
,
1 1 0 1
1 0 0 0
0 2
1
> = A n
( ) ( ) 0 4 4
2 2
2 2
, det
1
2
2
1 1
2
1
2
1
1
1 0 2
> =
|
|
.
|

\
|
|
.
|

\
|
= = = A



= = =
= =
=
n
i
i
n
i
i
n
i
i n
i
i
n
i
i
n
i
i
x x n x x n
x x
x n
b b H
24
Estimarea parametrilor modelului de regresie clasic











Linii de regresie cu a) pant pozitiv b) pant negativ c) pant egal cu zero

Estimatorul b
0
(intercept) poate lua valori negative sau pozitive.
Estimatorul b
1
(panta dreptei), numit i coeficient de regresie, are
ntotdeauna semnul indicatorului s
xy