REGRESIA

REGRESIA MULTIPLĂ
MULTIPLĂ
Modelul liniar al regresiei multiple
 Modelul liniar al regresiei multiple
Considerăm acum modelul:

(1) yt  a1 x1t  a 2 x2t  ...  a p x pt   t , t=1, 2, ...,T

în care: Y reprezintă o variabilă endogenă;
X1, X2 ,..., Xp sunt variabile exogene;
a1, a2 ,..., ap sunt parametri necunoscuţi care trebuie
estimaţi.
Modelul nu conţine o constantă deoarece variabila Xp poate fi
considerată astfel ca xpt=1, t  1,2,..., T (se numeşte variabilă
auxiliară).
 Modelul liniar al regresiei multiple

Folosind notaţiile:
 y1   1 
   x11 x21 ... x p1   a1   
 y2      2 
 .   x12 x22 ... x p 2   a2   . 
Y   , X   , a  ,   
 .  ... ... ... ...  ...  . 
   
 .  x x 2T ... x pT  a   . 
y   1T  p  
 T  T

ecuaţia (1) se scrie sub formă matriceală:

(2) Y  Xa   .
 Modelul liniar al regresiei multiple
Ipoteze fundamentale
Ipotezele I1, I2 din capitolul II rămân valabile: ceea ce era
adevărat pentru xt este acum valabil pentru xit, i=1,2,...,p.
Ipoteza I3 referitoare la variabilele exogene se modifică
astfel:
a. absenţa coliniarităţii variabilelor exogene:
Nu există nici o mulţime de p numere reale i ,

i=1,2,...,p astfel încât  x

i 1
i it  0 , t=1, 2, ...,T.

Matricea X de format (Txp) are în acest caz rangul p

(T>p) şi matricea (X’X), unde X’ este transpusa lui
X, este nesingulară, deci există inversa ei (X’X)-1.
1
b. Atunci când T , matricea X'X tinde către o
T

matrice finită, nesingulară.

 Determinarea estimatorilor parametrilor

Pentru a scrie ecuaţiile normale utilizăm interpretarea

geometrică dată în capitolul II. Ne propunem să minimizăm
T
expresia U    t2 .
t 1
 Determinarea estimatorilor parametrilor

Fie vectorii Y, X1, X2,...,Xp în spaţiul ortonormat T .

ˆ
Xp
Y

X2
Ŷ
H
O X1
(L)
 Determinarea estimatorilor parametrilor

 a1 
 
 a2 
Vectorul Xa   X 1 , X 2 ,..., X p   aparţine subspaţiului (L)
...
 
a 
 p

generat de vectorii X1, X2,...,Xp. Cantitatea U    t2   va fi

2

minimă atunci când vectorul   Y  Xa este ortogonal la

subspaţiul (L). Această condiţie se traduce prin egalitatea cu zero a
produselor scalare dintre vectorul Y  Xa şi orice vector din
subspaţíul (L),deci şi X1,X2,...,Xp:
Determinarea estimatorilor parametrilor

 Y  a1 X 1  a 2 X 2  ...  a p X p , X 1  0

 Y  a1 X 1  a 2 X 2  ...  a p X p , X 2  0

...............
 Y  a1 X 1  a 2 X 2  ...  a p X p , X p  0

Determinarea estimatorilor parametrilor
 Determinarea estimatorilor parametrilor
Efectuînd produsele scalare, rezultă sistemul de ecuaţii:

  x1t yt    x12t x x ... x x pt   a1 

   1t 2t 1t
 
  x2t yt    x2t x1t x x
2
2 t x pt   2 
2t ... a
 ...    ... ... ... ... 
. ... 
    
 x y   x x
 pt t    pt 1t x pt x2 t ...  x pt   a p 
2

Sau, cu notaţiile matriciale introduse:

X’Y=(X’X)a , de unde rezultă:

(3) a   X ' X  X 'Y

1
ˆ
 Proprietăţile estimatorului
Arătăm că â este un estimator nedeplasat al lui a şi deducem
expresia matricei de varianţă şi covarianţă  â .
a. transformăm expresia (3) înlocuind Y prin expresia lui în
funcţie de X:
aˆ   X ' X  X 'Y   X ' X  X '  Xa    
1 1

(4)
 X'X  X ' X  a   X ' X  1 X '   a   X ' X  X '
1 1

Aplicând operatorul de medie expresiei (4), rezultă:

E  aˆ   a   X ' X  X ' E    .
1

Dar, E   0 conform I2, deci E  aˆ   a , adică â este estimator

nedeplasat pentru a.
 Proprietăţile estimatorului

a. Prin definiţie:
 aˆ  E   aˆ  a  aˆ  a  ' .
Din (4) rezultă: aˆ  a   X ' X  X '  şi (aˆ  a)   ' X  X ' X  pentru că
1 1

 X ' X  1 este o matrice simetrică. Atunci:

 aˆ  a  aˆ  a  '   X ' X  1 X '  ' X  X ' X  1 şi
 aˆ   X ' X  X ' E   ' X  X ' X  .
1 1
 Proprietăţile estimatorului

Însă E   '    este matricea de varianţă şi covarianţă a lui .

Ştim că E   '    I (I este matricea unitate de ordinul T). Atunci

2

rezultă:
 aˆ   X ' X  X ' 2 X  X ' X    2  X ' X   X ' X  X ' X  1   2  X ' X  1
1 1 1

Se poate arăta că dacă ipoteza a) din I 3 rămâne valabilă când

T , atunci â este estimator convergent către a.
 Proprietăţile estimatorului
Propoziţie. Estimatorul aˆ   X ' X  X 'Y este cel mai bun
1

estimator liniar nedeplasat al lui a.

Pentru a arăta această proprietate vom construi un estimator
liniar pentru a care să aibă varianţa minimă şi el va fi identic cu cel
obţinut prin MCMMP. Fie a* un estimator liniar al lui a, adică
a*=MY, unde M este o matrice cu coeficienţi constanţi de format
(pxT). Estimatorul a* este nedeplasat dacă:
E  a *  ME  Y   ME  Xa     a

adică E  a *   MX  E  a   ME      MX  a pentru că E     0 .
 Proprietăţile estimatorului

Pentru ca a* să fie nedeplasat, trebuie ca (MX)=I (matricea unitate

de ordinul p).
Construim acum matricea de varianţă şi covarianţă a lui a*:
 a*  E   a * a  a * a  '

Dar, a*  MY  M  Xa      MX  a  M  a  M , deci a * a  M ,
 a * a  '   ' M ' şi  a*  E  M ' M '  ME   ' M '   2 MM ' . Pentru ca a* să fie
de varianţă minimă, trebuie ca „urma” matricei (MM’) să fie
minimă, sub restricţia (MX)=I. Urma unei matrici este, prin
definiţie, suma elementelor de pe diagonala principală. Notăm
Ur(X) urma matricei X. Ur este un operator liniar
 Proprietăţile estimatorului

Rezolvând problema de extremum condiţionat:

MinUr  MM '

s.r.MX  I
se obţine soluţia M   X ' X  X ', adică a*  MY   X ' X  X 'Y . Am găsit
1 1

că a*  aˆ .

Un astfel de estimator se numeşte „estimator BLUE” (best

liniar unbiaised estimator).