Modelul regresiei liniare multiple

1 Introducere
Problema fundamentala a modelelor de doua variabile, adica cele unifacto-
riale este data de faptul ca in activitatea economica se intampla destul de
rar ca o variabila sa depinda semnificativ de un singur factor de influenta.In
majoritatea cazurilor, variabilele economice sunt rezultatul imbinarii mai
multor factori importanti, la care se adauga si influenta unor factori nesem-
nificativi. Modelul liniar de k + 1 variabile, sau modelul de regresie liniară
multiplă este o generalizare a modelului liniar de două variabile, destinat a
studia dependenţa ı̂ntre mai multe fenomene a căror măsură se efectuează
cu ajutorul variabilelor notate Y şi (X1 , X2 , · · · , Xk ). Acesta are la baza
o legatura stochastica dintre o variabila rezultativa(endogena) si un nu-
mar finit de variabile (X1 , X2 , · · · , Xk ) care se poate scrie cu ajutorul unei
functii matematice, f, astfel:
yi = f (x1 , x2 , · · · , xk ) + εi (1)
unde εi este similar modelelor unifactoriale, reprezantand variabila aleatoare,
care include factorii nesemnificativi. Pentru a elabora un model care sa
includa toate variabilele cu influenta semnificativa asupra fenomenului cer-
cetat, este necesar in prima etapa sa se determine forma legaturii dintre
variabila rezultativa si variabilele factoriale, eventual in urma cunostintelor
care le avem asupra acestor variabile, ce pot proveni din teoria economica.
Modelul multiplu poate avea la baza o functie liniara sau o functie neliniara.

2 Modelul multifactorial liniar

2.1 Prezentarea modelului si estimarea parametrilor
Functia de regresie care sta la baza modelului multifactorial liniar este de
forma:
yi = β0 + β1 x1i + β2 x2i + · · · + βk xki + εi , i = 1 ÷ n. (2)

1
 unde

1. yi reprezinta valorile variabilei rezultative

2. (x1i , x2i , · · · , xki ) sunt valorile variabielor factoriale luate in consider-

are

3. (β0 , β1 , · · · , βk ) sunt parametrii modelului corespunzatori variabilelor

factoriale (X1i , X2i , · · · , Xki ), parametrii necunoscuti ce urmeza a fi
estimati.

4. εi variabila aleatoare

Introducerea acestor termeni presupune următoarea interpretare. Pentru

orice individ i, nivelul variabilei rezultative yi se descompune de manieră
aditivă ı̂n două componente (doi termeni):

1. componenta β0 + β1 x1i + β2 x2i + · · · + βk xki exprimă ideea de ple-

care privind existenţa unei relaţii liniare ı̂n care variabilele factoriale
influenţează variabila rezultativă Y . In descompunerea lui yi , acest
termen este deci partea din nivelul lui Yi care este determinat prin
combinaţia liniară a valorilor xji , j = 1 ÷ k a variabilelor factoriale
Xj , j = 1, ÷k;

2. componenta εi exprimă faptul că, această combinaţie liniară a valo-

rilor xji , j = 1 ÷ k nu determină doar ea nivelul variabilei rezultative
Yi . Acest termen este deci partea din nivelul lui Yi care este determi-
nat de către alţi factori decât variabilele factoriale Xji , j = 1 ÷ k.

Estimarea parametrilor se face prin aplicarea metodei celor mai mici

patrate, utilizata si la modelele unifactoriale. Aplicarea ei porneste de la
acelasi ipoteze fundamentale:

1. datele privind variabila rezultativa si variabilele factoriale sunt ob-

tinute fara erori de observare sau masurare;

2. variabila reziduala εi este de distributie normala, de medie nula,

E(εi ) = 0 si de varianta constanta (homoscedastica);

3. Cov(εi , xki ) = 0,adica, variabila reziduala nu este corelata cu valorile

variabilei x. Deci in medie, y depinde doar de x. Daca ar fi diferita
de zero covarianta lui xki cu εi , aceasta ar insemna ca am mai avea
inca o variabila independenta de care ar depinde y.

4. Cov(xi , xj ) = 0, i 6= j, daca xi si xj ar fi corelate, atunci am avea cu o

variabila independenta mai putin-ipoteza absentei multicoliniaritatii.

2
 5. valorile variabilei aleatoare nu sunt autocorelate, acesta este cazul
datelor istorice.

Conform metodei celor mai mici patrate, suma patratelor valorile vari-
abilei aleatoare εi trebuie sa fie minima, adica:
n
X n
X n h
X i2
S= ε2i = 2
(yi −ŷi ) = ˆ ˆ ˆ
yi − β̂0 − β1 x1i − β2 x2i − · · · − βk xki = minim
i=1 i=1 i=1
(3)
unde ŷi reprezinta valorile estimate ale variabilei rezultative corespunza-
toare nivelurilor variabilelor factoriale (x1i , x2i , · · · , xki ), iar β̂0 , β̂1 , β̂2 , · · · , β̂k
sunt estimatorii parametrilor β0 , β1 , · · · , βk . Pentru a afla acel set de es-
timatori pentru care suma patratelor variabilelor reziduale sa fie minima,
conditia necesara este ca derivatele partiale ale lui S sa fie egale cu 0. Deci
rezulta
 urmatorul
n
sistem:
−2 (yi − βˆ0 − βˆ1 x1i − βˆ2 x2i − · · · − βˆk xki ) = 0
 P


i=1



 n
−2 x1i (yi − βˆ0 − βˆ1 x1i − βˆ2 x2i − · · · − βˆk xki ) = 0

 P



 i=1
n
x2i (yi − βˆ0 − βˆ1 x1i − βˆ2 x2i − · · · − βˆk xki ) = 0
P
 −2
 i=1
..


.




 n
 −2 xki (yi − βˆ0 − βˆ1 x1i − βˆ2 x2i − · · · − βˆk xki ) = 0

 P

i=1

n n n n



 nβˆ0 − βˆ1
P
x 1i − ˆ
β 2
P
x 2i − · · · − ˆ
β k
P
x ki =
P
yi
i=1 i=1 i=1 i=1



 n n n n n

 βˆ0 P x1i − βˆ1 P x2 − βˆ2 P x1i x2i − · · · − βˆk P x1i xki = P x1i yi

 1i

 i=1 i=1 i=1 i=1 i=1
 n n n n n
ˆ ˆ ˆ ˆ
 P P P 2
P P
β0 x2i − β1 x1i x2i − β2 x2i − · · · − βk x2i xki = x2i yi
 i=1 i=1 i=1 i=1 i=1



..


.




 n n n n n
 βˆ0 xki − βˆ1 x1i xki − βˆ2 x2i xki − · · · − βˆk

x2ki =
P P P P P
xki yi


i=1 i=1 i=1 i=1 i=1
In urma rezolvarii acestui sistem se obtin valorile estimate ale parametrilor
modelului, adica β̂0 , β̂1 , β̂2 , · · · , β̂k . Informatiile pe care le ofera acesti es-
timatori se refera la cuantificarea efectelor variatiilor variabilelor factoriale
luate in considerare asupra variatiei variabilei rezultative.
Estimatia termenului liber β0 , arata nivelul variabilei rezultative atunci
cand toate variabilele de influenta (x1i , x2i , · · · , xki ) au valoarea 0. Din
punct de vedere economic, aceasta valoare are relevanta numai atunci cand
variabila rezultativa poate lua valori diferte de zero si in conditiile in care
toate variabilele factoriale sunt nule. Daca ne aflam in situatia in care

3
variabila rezultativa nu exista fara influenta anumitor variabile factoriale,
atunci termenul liber se elimina din model.Obtinem astfel ecuatia:

yi = β1 x1i + β2 x2i + · · · + βk xki + εi , i = 1 ÷ n. (4)

Estimatorii parametrilor β̂1 , β̂2 , · · · , β̂k ne arata valoarea cu care se modifica

variabila rezultativa y atunci cand variabila factoriala x, aferente fiecarui
parametru se modifica cu o unitate, celelalte variabile dependente x ra-
manand constante. Daca βj > 0 atunci variatiile variabilei rezultative si
variatiile variabilei factoriale xj au acelasi sens. Daca βj < 0 variatiile
variabilei rezultative si variatiile variabilei factoriale xj au sens contrar.
In continuare vom lua pentru exemplificare un model bifactorial.

yi = β0 + β1 x1 + β2 x2 + εi (5)

estimarea parametrilor prin metoda celor mai mici patrate

n
X n
X n 
X 2
2
S= ε2i = (yi − ŷi ) = yi − β̂0 − β̂1 x1 − β̂2 x2 (6)
i=1 i=1 i=1

prin derivare obtinem:

 Pn Pn Pn
 ∂S 
 n β̂0 + β̂1 x 1 + β̂2 x 2 = yi ,
 ∂ β̂
= 0, 

 i=1 i=1 i=1

 0 


 

  n n n n
 ∂S = 0,
 
 β̂ P x + β̂
P
x 2
+ β̂
P
x x =
P
x1 yi ,
∂ βˆ1 0 1 1 1 2 1 2
⇔ i=1 i=1 i=1 i=1

 

 ∂S 


∂ β̂2
= 0, 
 n n n n
x22 =
  P P P P

 

 β̂0 x2 + β̂1 x1 x2 + β̂2 x2 yi ,
i=1 i=1 i=1 i=1




vom rezolva sistemul prin metoda determinantilor. determinantul sistemu-

lui este: n n
P P
n x1 x2
i=1 i=1
n n n
x21
P P P
∆s = x1 x1 x2
i=1 i=1 i=1
n n n
x22
P P P
x2 x1 x2
i=1 i=1 i=1
n
X n
X n
X n
X n
X n
X n
X n
X
=n x21 x22 + x1 x 1 x2 x2 + x1 x 1 x2 x2
i=1 i=1 i=1 i=1 i=1 i=1 i=1 i=1

n
!2 n n
!2 n n
!2
X X X X X
− x22 x21 − x21 x22 −n x1 x2 .
i=1 i=1 i=1 i=1 i=1

4
 n
P n
P n
P
yi x1 x2
i=1 i=1 i=1
n n n
x21
P P P
∆β̂0 = x1 y i x1 x2
i=1 i=1 i=1
n n n
x22
P P P
x2 y i x1 x2
i=1 i=1 i=1
n
X n
X n
X n
X n
X n
X n
X n
X n
X
= yi x21 x22 + x1 y i x1 x2 x2 + x1 x1 x2 x2 y i
i=1 i=1 i=1 i=1 i=1 i=1 i=1 i=1 i=1
n n n n n n n
!2 n
X X X X X X X X
− x2 yi x21 x2 − x1 y i x1 x22 − x1 x2 yi .
i=1 i=1 i=1 i=1 i=1 i=1 i=1 i=1
Pn n
P
n yi x2
i=1 i=1
n
P n
P n
P
∆β̂1 = x1 x1 yi x1 x2
i=1 i=1 i=1
n n n
x22
P P P
x2 x2 yi
i=1 i=1 i=1
n
X n
X n
X n
X n
X n
X n
X n
X
=n x1 y i x22 + x1 x 2 yi x2 + yi x1 x2 x2
i=1 i=1 i=1 i=1 i=1 i=1 i=1 i=1
Xn Xn n
X n
X Xn Xn n
X
−( x2 )2 x1 yi − x1 yi x22 − n x1 x2 x2 y i .
i=1 i=1 i=1 i=1 i=1 i=1 i=1
n
P n
P
n x1 yi
i=1 i=1
n n n
x21
P P P
∆β̂2 = x1 x1 y i
i=1 i=1 i=1
Pn n
P Pn
x2 x1 x2 x2 y i
i=1 i=1 i=1
n
X n
X n
X n
X n
X n
X n
X n
X
=n x21 x2 y i + x1 x1 x2 yi + x1 x1 y i x2
i=1 i=1 i=1 i=1 i=1 i=1 i=1 i=1
n n n n
!2 n n n
X X X X X X X
− x2 x21 yi − x1 x2 y i − n x1 y i x1 x2 .
i=1 i=1 i=1 i=1 i=1 i=1 i=1
valorile celor trei estimatori fiind:
∆β̂0
β̂0 =
∆s
∆β̂1
β̂1 =
∆s
∆β̂2
β̂2 =
∆s