REGRESIA LINIAR MULTIPL

TEMATICA C5
3. Testarea parametrilor modelului liniar multiplu
4. Testarea modelului
5. Testarea influenei marginale a unei variabile
6. Raportul de determinaie ajustat
7. Utilitatea modelului de regresie cu variabile standardizate

Exemple

Testarea parametrilor MLM

Testarea parametrilor modelului multiplu liniar se face la

fel ca n cazul modelului simplu liniar:
1. Formularea ipotezelor:
H0: i=0, i 0, p
H1: i0,

i 0, p

2. Alegerea pragului de semnificaie

De regul, se asum un risc = 0,05.

i
3. Alegerea statisticii test: t

4. Valoarea teoretic a statisticii test

Pentru pragul de semnificaie ales i v=n-k grade de
libertate, se citete valoarea teoretic din tabela Student:
t/2;n-k

5. Valoarea calculat a statisticii test

La nivelul eantionului se determin valoarea calculat a
testului:
bi
t calc
s
i
6. Regula de decizie
Dac t calc t / 2 se respinge H0, cu risc asumat de 5%.
Dac t calc t / 2 se accept H0, cu un nivel de ncredere de
95%.
n SPSS, decizia se ia pe baza semnificaiei testului (Sig.):
Dac sig , se respinge H0 cu risc asumat de 5%
Dac sig , se accept H0, cu un nivel de ncredere de
95%.

Testarea modelului MLM

1. Formularea ipotezelor
H0: 0= = i== p=0

H1: Exist un i pentru care i 0, i 0, p

2. Fixarea pragului de semnificaie =0,05
VE n k
3. Alegerea statisticii test F k 1
VR

4. Calcularea statisticii test

Fcalc

ESS n k

RSS k 1

2
(
b

b
x

...

b
x

y
)
0 1 1i
p pi

nk
2
(
y

b
x

...

b
x
)
k 1
i 0 1 1i
p pi
i

5. Criterii de decizie:
Dac Fcalc F, k-1, n-k => se accept H0 cu o probabilitate de 1-.
Dac Fcalc> F , k-1, n-k => se respinge H0 cu un risc asumat .

Testarea influenei marginale a unei

variabile independente asupra variabilei
dependente
(Metoda intrarilor)

1. Formularea ipotezelor
H0: variabila independent nou introdus n model nu are o
influen semnificativ asupra variaiei variabilei dependente
H1: variabila independent nou introdus n model are o
influen semnificativ asupra variaiei variabilei dependente
2. Fixarea pragului de semnificaie =0,05
3. Alegerea statisticii test

V E new V E old n k new

2 new 2 old n k new
F

2
k new k old
1 new k new k old
VR new

4. Calcularea statisticii test

ESS new ESS old n k new

R 2 new R 2 old n k new
F

2
RSSnew
k new k old
1 R new
k new k old

5. Criterii de decizie:
Dac Fcalc F, k new-k old, n-k new => se accept H0 cu o probabilitate
de 1-.
Dac Fcalc> F , k new-k old, n-k new => se respinge H0 cu un risc
asumat .

Estimatorul ajustat a raportului de

determinatie

Adjusted R square

RSS
2
RSS n 1
2 n 1
n

k
R 1
1
1 (1 R )
TSS
TSS n k
nk
n 1
Se observ c

R R
2

pentru k>1.

Utilitatea modelului de regresie cu variabile

standardizate

Modelul liniar multiplu cu variabile standardizate permite

compararea coeficienilor de regresie din model; fiecare
coeficient artnd impactul partial al variaiei cu o unitate a
variabilei independente standardizate asupra variabilei
dependente standardizate.
Aceasta este o modalitate de ierarhizare a variabilelor
dependente n funcie de importana lor n model.

EXEMPLUL 1:
Var. dependenta:
Salariul
Var. independente (predictori):
Nr. de ani de pregatire, Vechimea in munca

Model Summary
Change Statistics
Model
1

R
R Square
,910a
,829

Adjusted
R Square
,807

Std. Error of
the Estimate
285,65322

R Square
Change
,829

F Change
38,718

df1

df2
2

a. Predictors: (Constant), Nr. ani pregatire, Vechime in munca (ani)

ANOVAb
Model
1

Regression
Residual
Total

Sum of
Squares
6318646
1305564
7624211

df
2
16
18

Mean Square
3159323,188
81597,759

F
38,718

Sig.
,000a

a. Predictors: (Constant), Nr. ani pregatire, Vechime in munca (ani)

b. Dependent Variable: Salariul (RON)Coefficientsa

Model
1

(Constant)
Vechime in munca (ani)
Nr. ani pregatire

Unstandardized
Coefficients
B
Std. Error
-545,101
224,894
84,315
25,550
85,298
20,394

a. Dependent Variable: Salariul (RON)

Standardized
Coefficients
Beta
,443
,562

t
-2,424
3,300
4,182

Sig.
,028
,005
,001

16

Sig. F Change
,000

EXEMPLUL 2:
Var. dependenta:
Greutate(kg)
Var. independente:
Inaltime (cm), Consum zilnic paine(g)

TEMATICA C6
7. Estimarea indicatorilor de corelaie
8. Testarea indicatorilor de corelaie
9. Modelele cu restrictii
10. Exemple
Pentru un model de regresie liniar multipl, pot fi determinati
urmtorii coeficieni de corelaie:
- coeficieni de corelaie simpl ntre variabila dependent i
fiecare variabil independent (coeficieni bivariai);
- coeficieni de corelaie parial;
- coeficientul de corelaie multipl i coeficientul de
determinaie multipl.

7. Estimarea indicatorilor de corelatie

Coeficieni de corelaie bivariat

Pentru un model liniar de forma:
y i 0 1 x1i 2 x 2 i i
exist trei coeficieni de corelaie bivariat:
ry1

n x1i yi x1i yi
i

[n x12i ( x1i ) 2 ][n yi2 ( yi ) 2 ]

i

ry 2

n x2 i yi x2 i yi
i

[n x22i ( x2i ) 2 ][n yi2 ( yi ) 2 ]

i

r12

n x1i x2i x1i x2i

i

[n x12i ( x1i ) 2 ][n x22i ( x2i ) 2 ]

i

Coeficieni de corelaie parial

i trei coeficieni de corelaie parial calculai cu ajutorul
coeficienilor de corelaie bivariat:
ry 2 ry1r12
ry1 ry 2 r12
ry 2.1
ry1.2
2
2
2
2
(
1

r
)(
1

r
y1
12 )
(1 ry 2 )(1 r12 )
r12 ry1ry 2
r12. y
(1 ry21 )(1 ry22 )
Corelaia parial msoar dependena dintre variabile prin
excluderea succesiv a influenei celorlali factori,
considernd influena lor constant si meninnd numai
influena factorului msurat.
n funcie de numrul variabilelor a cror influen se elimin
din calcul, coeficienii de corelaie parial pot fi de ordinul
nti (pentru o variabil eliminat), de ordinul doi (pentru dou
variabile) etc.

Raportul de determinaie multipl i raportul de corelaie

multipl
Parametri

2
(
y

y
)
xi

VE
VR

1
2 =>
VT
( yi y) VT
2

Estimatori
2

VE
VR
i

1
=>
1
2
(
y

y
)
VT
VT
i
2

Estimaiile
ei2

ESS
RSS =>
2
i
R
1
1
TSS
TSS
( yi y ) 2
i

R R2

Coeficientul de corelaie multipl

Coeficientul de corelaie multipl se calculeaz numai
pentru modelele multiple liniare i se exprim cu ajutorul
coeficienilor de corelaie simpl dintre variabilele perechi.
Astfel, n cazul corelaiei dintre o variabil rezultativ Y i
dou variabile independente X 1 , X 2 ,la nivelul unui
eantion, coeficientul de corelaie multipl, notat cu r, se
calculeaz dup relaia:
r

ry21 ry22 2ry1ry 2 r12

1 r122

r ry21 (1 ry21 )ry 2.1 r ry22 (1 ry22 )ry1.2

8. Testarea indicatorilor de corelaie

Raportul de determinaie si raportul de corelatie se

testeaz cu testul F dup algoritmul prezentat la modelul liniar
simplu, innd cont de faptul c k=p+1 reprezint numrul
parametrilor din noul model (Fth= F, k-1, n-k)

Coeficienii de corelaie se testeaz cu ajutorul testului t .

dup algoritmul prezentat la modelul liniar simplu, innd cont
de faptul c k=p+1 reprezint numrul parametrilor din noul
model (tth= t/2, n-k)

9. Modelele cu restrictii

Fie MLM descris prin relaia:

Y 0 1 X 1 2 X 2 ... p X p
pp. c pentru acest model se impune o restricie de tipul 2=1
acest model va fi descris de relaia:

0 1 X 1 X 2 ... p X p

Y X 2 0 1 X 1 ...

pX p

0 1 X 1 ...

pX p

Y*

Ultima form a modelului cu restricii deriv din forma

original cu singura diferen c vom avea un numr mai mic
de parametri de estimat.

Exist restricii simple de tipul 2=1 sau restricii compuse de tipul

1+ 2 =1, acestea fiind alctuite din mai multi parametri.
Tetarea unui model cu restricii presupune estimarea n paralel a
modelului original i a modelului cu restricii urmat de parcurgerea
urmtoarelor estape:
1.Formularea ipotezelor:
H0: pp. indeplinirea restriciilor impuse de model (1+ 2 =1 sau 2=1)
H1: pp. respingerea restriciilor impuse de model (1+ 2 #1 sau 2#1 )
2.Fixarea

pragului de semnificaie

RVR UVR n k
F

~ F (m, n k )

m
UVR
3.Alegerea testului:

si UV
R
V
R
R - estimatorul varianei reziduale pentru modelul
unde
restricionat respectiv pentru modelul nerestricionat
n, k i m reprezint volumul eantionului, numrul de parametri din
modelul original i respectiv numrul de restricii simple/ compuse

4.Identificarea

valorii teoretice a statisticii test: Fth =F,

m, n-k

RRSS URSS
nk
calculat
a testului:
Fcalc

URSS
m

5.Valoarea

6.Regula

Fcalc

de decizie:
>Fth=> RH0 cu un risc asumat de

Fth >Ftalc => AH0 cu o probabilitate de (1- )

EXEMPLUL 1:
Var. dependenta:
Salariul
Var. independente (predictori):
Nr. de ani de pregatire, Vechimea in munca

Model Summary
Model
1

R
R Square
,910 a
,829

Adjusted
R Square
,807

Std. Error of
the Estimate
285,65322

a. Predictors: (Constant), Nr. ani pregatire, Vechime in

munca (ani)
ANOVAb
Model
1

Regression
Residual
Total

Sum of
Squares
6318646
1305564
7624211

df
2
16
18

Mean Square
3159323,188
81597,759

F
38,718

Sig.
,000a

a. Predictors: (Constant), Nr. ani pregatire, Vechime in munca (ani)

b. Dependent Variable: Salariul (RON)

Coefficientsa

Model
1

(Constant)
Vechime in munca (ani)
Nr. ani pregatire

Unstandardized
Coefficients
B
Std. Error
-545,101
224,894
84,315
25,550
85,298
20,394

a. Dependent Variable: Salariul (RON)

Standardized
Coefficients
Beta
,443
,562

t
-2,424
3,300
4,182

Sig.
,028
,005
,001

Correlations
Zero-order
Partial
,801
,844

,636
,723

Part
,341
,433

Corelatii bivariate i partiale

Exemplul 2
Var. dependenta:
Valoarea vnzrilor unei firme
Var. independente:
Cheltuielile de publicitate, Cheltuielile
ocazionate de diferite promoii i Vnzrile
anuale realizate de principalul concurent

n studiul legturii dintre valoarea vnzrilor unei firme (Y) i

cheltuielile de publicitate (X1), cheltuielile ocazionate de diferite
promoii (X2) i vnzrile anuale realizate de principalul
concurent (X3), s-au obinut urmtoarele rezultate:
Model Summaryb
Model
1

R
R Square
a
,913
,833

Adjusted
R Square
,787

a. Predictors: (Constant), X3, X1, X2

b. Dependent Variable: Y

Std. Error of
the Estimate
17,60029

DurbinWatson
1,879

ANOVAb
Model
1

Regression
Residual
Total

Sum of
Squares
16997,537
3407,473
20405,009

df
3
11
14

Mean Square
5665,846
309,770

F
18,290

Sig.
,000a

a. Predictors: (Constant), X3, X1, X2

b. Dependent Variable: Y

Coefficientsa

Model
1

(Constant)
X1
X2
X3

Unstandardized
Coefficients
B
Std. Error
65,705
27,731
48,979
10,658
59,654
23,625
-1,838
,814

a. Dependent Variable: Y

Standardized
Coefficients
Beta
,581
,359
-,324

t
2,369
4,596
2,525
-2,258

Sig.
,037
,001
,028
,045

EXEMPLUL 3:
Var. dependenta:
Greutate(kg)
Var. independente:
Inaltime (cm), Consum zilnic paine(g)