REGRESIA LINIAR MULTIPL

C4.
1. Regresia prin origine
2. Prezentarea modelului liniar multiplu
3. Estimarea parametrilor modelului liniar multiplu
4. Testarea parametrilor modelului liniar multiplu
5. Testarea modelului de regresie

1. Regresia prin origine (1)

Situaii n care am putea construi un

model de regresie prin origine:

n urma testrii parametrilor modelului,

parametrul 0 are o valoare nesemnificativ
statistic, iar parametrul 1 este semnificativ
statistic;
Exist suport teoretic care s impun
estimarea unui model care trece prin origine.

1. Regresia prin origine (2)

n cazul modelului de regresie Y 1 X

aplicarea metodei celor mai mici ptrate
se simplific.
Problema de minim care trebuie rezolvat
este de forma:

1. Regresia prin origine (3)

Estimatorul 1este nedeplasat

Avem n-1 grade de libertate
Probleme ale utilizrii n practic:

Suma erorilor nu mai este zero;

R2 poate avea o valoare foarte mare, prin urmare
interpretarea acestuia nu mai are sens. Se utilizeaz o
variant a lui R2, i anume:

Aceste probleme dispar dac modelul de regresie

liniar are variabilele standardizate. n acest caz, panta
dreptei de regresie are aceeai valoare cu coeficientul
de corelaie Pearson.

2. Modelul liniar multiplu (1)

Forma general a modelului liniar multiplu este dat
prin relaia:

Y M Y / X 0 1 X 1 2 X 2 ... p X p

unde:
Y - variabila dependent;
X1, X2,,Xi,,Xp - variabile independente (predictori);
- variabil reziduu de modelare (variabila aleatoare);
i - parametrii modelului de regresie
k - numrul de parametri din model, k=p+1.
Exemplu:

Pentru un eantion de 50 de mrci de cereale, se

poate studia legtura dintre ratingul acordat de consumatori unei
mrci de cereale i factorii de influen (nr. de calorii, de grame de
grsimi, de zahr, de fibre, etc.)
5

2. Modelul liniar multiplu (2)

Cei k parametri ai modelului liniar multiplu au urmtoarea
semnificaie:
0 valoarea medie a variabilei dependente Y, n condiiile
n care influena variabilelor independente ar fi nul;

Y
i
, i 1, p
X i

i variaia absolut a variabilei dependente Y la o

variaie absolut cu o unitate a variabilei independente Xi, n
condiiile n care influena celorlalte variabile independente
este meninut constant.

i arat influena parial a fiecrei variabile independente asupra

variabilei dependente.

2. Modelul liniar multiplu (3)

Ipotezele modelului clasic de regresie:
-variabilele

independente sunt nestochastice

-normalitatea

erorilor :

-homoscedasticitate:
-necorelarea
-lipsa

erorilor:

i ~ N (0, 2 )
V ( i ) M ( i2 ) 2
cov( i , j ) 0

corelaiei dintre variabilele independente i variabila

eroare
- lipsa coliniaritii sau a unei legturi liniare ntre variabilele
independente

3. Estimarea parametrilor
modelului multiplu liniar (1)
Se consider modelul de regresie liniar multipl cu dou variabile
independente:

y i 0 1 x1i 2 x 2 i i

La nivelul unui eantion, modelul devine:

y i 0 1 x1i 2 x 2 i i sau

y i y i i

Rezult

i y i y i y i 0 1 x1i 2 x 2 i
Estimarea parametrilor modelului prin metoda celor mai mici
ptrate presupune respectarea condiiei:
n

2
2
i min im, adic ( y i 0 1 x1i 2 x 2 i ) min im

i 1

3. Estimarea parametrilor
modelului multiplu liniar (2)
Pentru satisfacerea condiiei MCMMP trebuie ca
derivatele pariale de ordin I n raport cu coeficienii
modelului s se anuleze. Astfel se va obine un sistem de
2+1=3 ecuaii cu 3 necunoscute.
n
n
n

n0 1 x1i 2 x2i yi
i 1

i 1

i 1

n
n
n
n
2

x1i 1 x1i 2 x1i x2i yi x1i

0
i 1

i 1

i 1

i 1

n
n
n
n
2

x2i 1 x1i x2i 2 x2i yi x2i

0
i 1

i 1

i 1

i 1

3. Estimarea parametrilor
modelului multiplu liniar (3)
Estimarea punctual a parametrilor modelului
La nivelul unui eantion de date, sistemul de ecuaii devine:
n

i 1

i 1

i 1

nb0 b1 x1i b2 x2i yi

n

i 1

i 1

i 1

i 1

i 1

i 1

i 1

b0 x1i b1 x b2 x1i x2i yi x1i

2
1i

b0 x2i b1 x1i x2i b2 x yi x2i

2
2i

i 1

Prin rezolvarea sistemului, se obin relaiile pentru estimaiile

parametrilor modelului de regresie.

10

3. Estimarea parametrilor
modelului multiplu liniar (4)
Estimarea

parametrilor prin interval

de ncredere
Intervalele de ncredere sunt de forma:

i [ i t / 2 ,n k i ]
La nivelul unui eantion de date se obine un interval
de forma:

i bi t / 2,n k s , bi t / 2,n k s
i

11

4. Testarea parametrilor modelului

liniar multiplu (1)
Testarea parametrilor modelului multiplu liniar se face cu
ajutorul testului t (Student) (Tabelul Coefficients din SPSS sau
Excel), la fel ca n cazul modelului simplu liniar:

1. Formularea ipotezelor:
H 0: i 0
H 1: i 0
2. Alegerea pragului de semnificaie
De regul, se asum un risc = 0,05.
3. Alegerea statisticii test

i
t

12

4. Testarea parametrilor modelului

liniar multiplu (2)
4. Valoarea teoretic a statisticii test
Pentru pragul de semnificaie ales i v=n-k grade de libertate, se
citete valoarea teoretic din tabelul Repartiiei Student: t/2;n-k
5. Valoarea calculat a statisticii test
La nivelul eantionului se determin valoarea calculat a
testului:

t calc

bi

6. Regula de decizie
Dac
se respinge H0
Dac

t calc t / 2
t calc t / 2

se accept H0, pentru risc asumat de 5%.

13

4. Testarea parametrilor modelului

liniar multiplu (3)
n SPSS, decizia se ia pe baza semnificaiei testului (Sig.):
- dac Sig t , se respinge H0
-dac Sig t , se accept H0, pentru un nivel de
ncredere de 95%.
7. Compararea celor dou valori ale statisticii test i
luarea deciziei

8. Interpretarea rezultatului testrii

14

5. Testarea modelului de regresie (1)

Testarea modelului de regresie se realizeaz cu ajutorul testului F,
(Tabelul ANOVA din SPSS sau Excel) dup urmtorul demers:
1. Formularea ipotezelor
H0: 0= 1== p=0 (modelul nu este semnificativ)
H1: nu toi coeficienii sunt simultan zero
2. Alegerea pragului de semnificaie
3. Alegerea statisticii test

VE n k
2 n k~F(k-1, n-k)
F

VR k 1 1 k 1

4. Valoarea teoretic a statisticii test se citete din tabelul

Repartiiei Fisher : F , k-1, n-k
5. Valoarea calculat a testului:

ESS n k
R2 n k
F

2
RSS k 1 1 R k 1
15

5. Testarea modelului de regresie (2)

6. Regula de decizie
Dac Fcalc Fk 1,n k se respinge H0
Dac

Fcalc Fk 1,n k se accept H0, pentru risc asumat de 5%.

n SPSS, decizia se ia pe baza semnificaiei testului (Sig.):

- dac Sig F , se respinge H0
-dac
95%.

Sig F , se accept H0, pentru un nivel de ncredere de

7. Compararea celor dou valori ale statisticii test i luarea deciziei

8. Interpretarea rezultatului testrii

16

EXEMPLU

Pentru un eantion de mrci de cereale, se studiaz

legtura dintre ratingul acordat de consumatori unei
mrci de cereale (Y) i cantitatea de grsimi (X1), de
zahr (X2) i de fibre (X3) exprimate in grame.

17

Model Summary
Model
1

R
R Square
a
,789
,622

Adjusted
R Square
,612

Std. Error of
the Estimate
8,75456

a. Predictors: (Constant), sugars, fat

ANOVAb
Model
1

Regression
Residual
Total

Sum of
Squares
9325,268
5671,533
14996,800

df
2
74
76

Mean Square
4662,634
76,642

F
60,836

Sig.
,000a

a. Predictors: (Constant), sugars, fat

b. Dependent Variable: rating

Coefficientsa

Model
1

(Constant)
fat
sugars

Unstandardized
Coefficients
B
Std. Error
61,089
1,953
-3,066
1,036
-2,213
,235

Standardized
Coefficients
Beta
-,220
-,700

t
31,284
-2,958
-9,428

Sig.
,000
,004
,000

a. Dependent Variable: rating

18

Model Summary
Model
1

R
,930a

R Square
,865

Adjusted
R Square
,859

Std. Error of
the Estimate
5,35086

a. Predictors: (Constant), fat, fiber, sugars

ANOVAb
Model
1

Regression
Residual
Total

Sum of
Squares
12503,728
1946,958
14450,686

df

Mean Square
4167,909
28,632

3
68
71

F
145,570

Sig.
,000a

a. Predictors: (Constant), fat, fiber, sugars

b. Dependent Variable: rating
Coefficientsa

Model
1

(Constant)
fiber
sugars
fat

Unstandardized
Coefficients
B
Std. Error
53,673
1,389
2,938
,261
-1,992
,150
-3,347
,656

Standardized
Coefficients
Beta
,507
-,622
-,238

t
38,637
11,265
-13,238
-5,103

Sig.
,000
,000
,000
,000

a. Dependent Variable: rating

19