Documente Academic
Documente Profesional
Documente Cultură
Curs 5
1
Structura cursului:
• 1. Introducere
• 2. Regresia liniară simplă
• 3. Regresia liniară multiplă
• 4. Regresia neliniară
• 5. Modele de regresie cu variabile alternative
• 6. Verificarea ipotezelor modelului de regresie
2
Cap. 3. Regresia liniară multiplă
Regresia se numeşte multiplă când modelul are cel puţin două variabile
independente .
Xj Y j 1, p
( , ),
3
Cap. 3. Modelul de regresie liniară multiplă
4
Ipotezele regresiei liniare simple
Estimarea parametrilor modelului este fundamentată pe o serie de
ipoteze care vizează variabilele corelate şi variabila reziduală:
1. - modelul specificat este liniar în raport cu parametrii 0 , 1
2. - variabilele reziduale i , i 1, n au mediile nule;
3. - variabilele reziduale i , i 1, n au varianţele egale cu o aceeaşi
constantă, 2 (ipoteza de homoscedasticitate);
4. - variabilele reziduale i , i 1, n sunt necorelate;
5. - variabila independentă X nu este corelată cu variabilele
reziduale i , i 1, n
6. - variabilele reziduale i , i 1, n sunt identic repartizate
i ~ N (0, 2 ), i 1, n
5
3.3. Ipoteze regresiei liniare multiple
6
3.4.a) Estimarea punctuală a parametrilor modelului de
regresie liniară multiplă
O valoare empirică a variabilei dependente Y este:
y i = b0 + b1 x1i + b 2 x 2i + ...b p x pi ei
y X , , X i = b0 + b1 x1i + b 2 x 2i + ...b p x pi
1 p
Estimarea parametrilor modelului se face prin MCMMP:
n n
S = (yi - y X X. X i ) ( yi - b0 - b1 x1i - b 2 x 2i - ... b p x pi )2 = minim
2
1 2 p
i 1 i 1
7
3.4.a) Estimarea punctuală a parametrilor modelului de
regresie liniară multiplă
Se consideră cazul unui model de regresie liniară multiplă cu două
variabile independente:
y i = b0 + b1 x1i + b 2 x 2i ei
y X , X i = b0 + b1 x1i + b 2 x 2i
1 2
MCMMP:
n n
S = (yi - y X X i ) ( yi - b0 - b1 x1i - b 2 x 2i )2 = minim
2
1 2
i 1 i 1
8
3.4.a) Estimarea punctuală a parametrilor modelului de
regresie liniară multiplă
Se obţine sistemul de ecuaţii normale:
n n n
nb0 b1 x1i b2 x2i yi
n i 1 i 1 i 1
n n n
2
b0 x1i b1 x1i b2 x2i x1i yi x1i
i 1 i 1 i 1 i 1
b n x b n x x b n x 2 n y x
0 2i 1 1i 2i 2 2i i 2i
i 1 i 1 i 1 i 1
9
3.4.a) Estimarea punctuală a parametrilor modelului de
regresie liniară multiplă NU!
Prezentarea matriceală a modelului de regresie liniară
multiplă, la nivelul eşantionului:
Y X B
Unde: 1 x11 x21
1 x12 x22
y1 X X0 X1 X2
1 x x2n
Y yi
1n
X0 1 1 1
y T
n X X1 x11 x12 x1n
X x
2 21 x22 x2n
10
3.4.a) Estimarea punctuală a parametrilor modelului de
regresie liniară multiplă NU!
11
3.4.a) Estimarea punctuală a parametrilor modelului de
regresie liniară multiplă NU!
Matricea sistemului de ecuaţii normale este:
n n
n x1i 2i
x
i 1 i 1
T n n
2
n
X X x1i x1i x1i x2i
i 1 i 1 i 1
n n n
2
x2i x1i x2i x2i n
i 1 i 1 i 1 yi
i 1
T n
X Y x1i yi
Coloana termenilor liberi ai sistemului este:
i 1
n
x2i yi
i 1
12
3.4.a) Estimarea punctuală a parametrilor modelului de
regresie liniară multiplă NU!
Sistemul normal de ecuaţii se poate scrie:
X T XB X T Y
B ( X T X ) 1 X T Y
Soluţia sistemului este:
( X T X )1 XT X
unde reprezintă inversa matricei , astfel că
T 1 T
, cu I matricea identică
( X X ) X X de
I ordinul trei.
13
3.4.a) Estimarea punctuală a parametrilor
modelului de regresie liniară multiplă
• Interpretare:
- β0 este valoarea medie a lui Y, atunci când valorile
variabilelor independente sunt egale cu zero.
- j reprezintă variaţia medie a variabilei Y la variația cu o
unitate a variabilei independente Xi, în condiţiile în care
variaţia celorlalte variabile independente este constantă.
Măsoară influenţa parţială a variabilei independente Xi
asupra variabilei dependente.
• Vezi sensul legăturii!!!
14
3.4.b) Estimarea prin interval de încredere a
parametrilor modelului de regresie liniară multiplă
Intervalul de încredere pentru parametrul de regresie
j , j 0,1, , p
garantat cu probabilitatea 1 , se scrie astfel:
P( b j t / 2; n 3 sˆ j b j t / 2; n 3 sˆ ) 1
j j
NU! 2
̂ j s
Estimaţiile varianţelor estimatorilor , notate ˆ, jse
găsesc pe diagonala principală a matricei varianţă-covarianţă
estimate pentru estimatorii ,ˆ cu 0 ,1, , p
j , jrelaţia:
n
s2 X T X
1 , ei
2
s2 i 1
nk 15
3.5. Testarea parametrilor modelului
1. Formularea ipotezelor:
H 0 : j 0, j 0 ,1, , p
H1 : j 0, j 0 ,1, , p
16
3.5. Testarea parametrilor modelului
bj
tcalculat
5. Valoarea calculată a statisticii: sˆ
j
6. Regula de decizie
17
Exemplu
În studiul legăturii dintre valoarea vânzărilor (Y) şi cheltuielile
de publicitate (X1), cheltuielile ocazionate de diferite promoţii
(X2) şi vânzările anuale realizate de principalul concurent (X3),
pentru un eşantion de 15 firme, s-au obţinut următoarele
rezultate:
Coefficientsa
Unstandardized Standardized
Coefficients Coefficients
Model B Std. Error Beta t Sig.
1 (Constant) 65,705 27,731 2,369 ,037
X1 48,979 10,658 ,581 4,596 ,001
X2 59,654 23,625 ,359 2,525 ,028
X3 -1,838 ,814 -,324 -2,258 ,045
a. Dependent Variable: Y
18
Exemplu
Se cere:
1. Să se scrie modelul legăturii dintre variabila Y şi variabilele
independente Xi.
19