ECONOMETRIE

Curs 2 – Regresia liniară simplă (I)

Conf. univ. dr. Mariana HATMANU

- anul universitar 2018-2019-

1
 2. Regresia liniară simplă I

2.1. Prezentarea modelului de regresie liniară

simplă
2.2. Estimarea punctuală şi prin interval de
încredere a parametrilor modelului de regresie
liniară simplă – MCMMP
2.3. Estimarea indicatorilor de corelaţie

2
 MODELUL DE REGRESIE LINIARĂ SIMPLĂ

Q4 Y  β0  β1 X
Q3
Q2
Q1
b1

X1 X2 X3 X4 X

Dacă relația este una exactă, observațiile se situează pe o linie dreaptă și

nu am avea nicio problemă în determinarea estimărilor lui b0 și b1.
3
 MODELUL DE REGRESIE LINIARĂ SIMPLĂ

Exemple de dependenţe economice clasice, validate de

practică, ce sunt de natură deterministă:
i) Dependenţa dintre cererea de consum C şi venitul brut sau
net V dată de funcţia de consum C  b 0  b1V , unde
coeficienţii b 0 , b1 sunt constante reale şi 0  b1  1 .
ii) Dependenţa dintre costul total CT şi cantitatea produsă Q
dată de funcţia cost CT  b 0  b1Q ,unde coeficienţii b 0 , b1
sunt constante reale şi b 0  0 , b1  0.

4
 MODELUL DE REGRESIE LINIARĂ SIMPLĂ

P4
Y

YX  β0  β1 X
P1 Q4
Q3
Q2
Q1 P3
b1 P2

X1 X2 X3 X4 X

În practică, cele mai multe relații economice nu sunt exacte și valorile

reale (observate) ale lui Y sunt diferite de cele care se situează pe 5
dreaptă.
 MODELUL DE REGRESIE LINIARĂ SIMPLĂ

P4
Y

Q4 YX  β0  β1 X
P1
Q3
Q2
Q1 P3
b1 P2

X1 X2 X3 X4 X

Pentru a admite aceste diferențe, modelul se va scrie sub forma Y = b0 +

b1X + ε, unde ε este o variabilă aleatoare, numită variabilă reziduală. 6
 2.1. Prezentarea modelului de regresie
liniară simplă
Modelul de regresie liniară simplă este de forma:
Y  b 0  b1 X  

Variabilele cuprinse în modelul de regresie liniară simplă sunt:

—Y - variabila dependentă (endogenă, explicată, regresant,
predictant) - variabilă aleatoare (v.a.);
— X - variabila independentă (exogenă, explicativă,
regresor, predictor) – variabilă nealeatoare;
—  - variabila reziduală - v.a.

7
 2.1. Prezentarea modelului de regresie
liniară simplă
Parametrii modelului de regresie (coeficienții de
regresie) sunt:
• b 0 - ordonata la origine (este valoarea medie a lui Y
atunci când X=0);

• b1 - panta dreptei de regresie (coeficient de regresie)

8
 2.1. Prezentarea modelului de regresie liniară
simplă
Semnul parametrului b1 indică sensul legăturii dintre cele două
variabile:
- dacă b1 >0, legătura este directă sau pozitivă, variabilele
corelate variază în acelaşi sens;

- dacă b1 =0, nu există legătură între cele două variabile;

- dacă b1 <0, legătura este indirectă sau negativă, variabilele

corelate variază în sens invers;

9
.

• Ce este panta unei drepte?

• Cu cine este egală tangenta unghiului dintre dreaptă și
axa orizontală (OX)?

10
.
• Panta unei drepte, de forma YX  b 0  b1 X ,se poate
defini ca fiind tangenta unghiului făcut de dreaptă cu
orizontala, mai exact cu orice dreaptă paralelă cu
axa OX. Ea se calculează, astfel (de reprezentat
triunghiul dreptunghic format de punctele ( x1 , y x1 ), ( x2 , y x1 )
si ( x2 , y x 2 )) :
cateta opusă y x 2  y x1
b1  
cateta alaturata x2  x1

• La modificarea variabilei X cu o unitate, adică x2  x1  1

se obține: b  y  y  y
1 x2 x1 x
11
Prezentarea MODELUL DE REGRESIE LINIARĂ
SIMPLĂ

Parametrul de regresie b1 arată gradul de dependenţă dintre

variabile:
- În cazul unei legături directe, modificarea cu o unitate a
variabilei independente X determină modificarea, în medie, în
acelaşi sens cu b1 unităţi a variabilei dependente Y.
- În cazul unei legături indirecte, modificarea cu o unitate a
variabilei independente X determină modificarea, în medie, în
sens invers cu b1 unităţi a variabilei dependente Y.

12
 2.1. Prezentarea modelului de regresie
liniară simplă
Componentele modelului:
— ( b 0  b1 X ) - componenta deterministă a modelului
(observabilă);
—  - componenta stochastică (neobservabilă),  ~ N (0,  2 )
Y  ( b 0  b1 X )  

Pentru relaţia de mai sus, aplicăm media

E (Y | X )  b 0  b1 X  E ( )  E (Y | X )  b 0  b1 X
Interpretare: componenta deterministă este egală cu media lui Y
condiţionată de X (dă valoarea teoretică a variabilei Y în raport
cu variabila X).
13
 2.1. Prezentarea modelului de regresie liniară
simplă
Estimarea parametrilor modelului este fundamentată pe o serie de
ipoteze care vizează variabilele corelate şi variabila reziduală:
1. - modelul specificat este liniar în raport cu parametrii b 0 , b1
2. - variabilele reziduale  i , i  1, n au mediile nule;
3. - variabilele reziduale  i , i  1, n au varianţele egale cu o aceeaşi
constantă,  2 (ipoteza de homoscedasticitate);
4. - variabilele reziduale  i , i  1, n sunt necorelate;
5. - variabila independentă X nu este corelată cu variabilele
reziduale  i , i  1, n
6. - variabilele reziduale  i , i  1, n sunt identic repartizate
 i ~ N (0,  2 ), i  1, n

14
2.1. Prezentarea modelului de regresie liniară
simplă
-Estimarea coeficienților de regresie-
Dacă dispunem de n observaţii perechi ( xi , yi ), i  1, 2 , , n
asupra variabilelor X şi Y şi se determină estimațiile b0 , b1
ale parametrilor b 0 , b1 modelul de regresie liniară simplă
se scrie astfel:
yi  b0  b1 xi  ei , i  1, n
y xi  b0  b1 xi , i  1, n
yi - valoare observată a variabilei aleatoare Y ;
i
ei —diferenţa dintre valoarea observată yi şi valoarea
estimată, y xi
ei  yi  y xi
15
2.2.a) Estimarea punctuală a parametrilor modelului
de regresie liniară simplă

• Dintr-o populație de volum N, se pot extrage k

eşantioane de volum n, deci se obţin diverse estimaţii
b0 şi b1 ale parametrilor b 0 și b1 .
Ansamblul acestor estimaţii descriu estimatorii b̂ 0 și
b̂1 .

Tabel cu simbolurile parametrilor /estimatorilor/

estimațiilor care apar în regresia liniară simplă.

16
2.2.a) Estimarea punctuală a parametrilor modelului
de regresie liniară simplă

• Estimarea parametrilor b 0 şi b1 are la bază

criteriul minimizării erorilor (abaterilor dintre
valorile observate ale variabilei dependente şi cele
estimate prin modelul de regresie).

17
 2.2.a) Estimarea punctuală a parametrilor
modelului de regresie liniară simplă
Criterii de estimare a parametrilor (criteriul
minimizării erorilor ):
min { | ei | }
1. 1i n

2.  | e i |: minim
2
3.  ( e i ) : minim
De regulă, în practică se utilizează ultimul criteriu,
care defineşte metoda celor mai mici pătrate
(MCMMP)
18
.

• De ce minimizăm suma pătratelor erorilor? De ce nu

minimizăm suma erorilor?

19
 MODELUL DE REGRESIE SIMPLĂ LINIARĂ

P4
Y

Y P1

P3
P2

X1 X2 X3 X4 X

Suma erorilor este zero. Sunt și alte metode de evitare a semnului

minus al erorilor prin care se anulează erorile pozitive, dar MCMMP
este preferată întrucât estimatorii astfel obținuți au proprietăți dorite,
îndeplinite în anumite condiții (vezi ipotezele regresiei).
2.2.a) Estimarea punctuală a parametrilor modelului
de regresie liniară simplă
• Aplicarea MCMMP presupune minimizarea funcţiei:

S   ei2   ( yi  y xi )2  min im
n
S =  ( yi  b0  b1 xi )2  min im
i 1
• Rezolvarea problemei de minim impune două condiţii:
– anularea derivatelor parţiale de ordinul întâi ale lui S în
raport cu necunoscutele b0 şi b1 ;
– matricea derivatelor parţiale de ordinul doi să fie definită
pozitiv.
21
 NU!!! 2.2.a) Estimarea punctuală a parametrilor
modelului de regresie liniară simplă

• 1. Derivatele parţiale de ordinul întâi:

S
= 2  ( yi  b0  b1 xi )( 1 )  0
b0
S
= 2  ( yi  b0  b1 xi )(  xi )  0 , i  1, n
b1

• din care obţinem un sistem de ecuaţii normale:

nb0 + b1  xi =  yi , i  1, n
b0  xi + b1  xi2 =  xi y i
22
 NU!!! 2.2.a) Estimarea punctuală a parametrilor
modelului de regresie liniară simplă

2. Derivatele parţiale de ordinul doi:

 2S S
2 2 S
= 2n ,… = 2 xi ,…
b12
= 2i
x2

 b0
2
b0b1
Matricea derivatelor parţiale de ordinul doi:
n

 xi 

2 
  xi  xi 
este pozitiv definită, deoarece:
n  xi2  (  xi )2  n 2  0
23
2.2.a) Estimarea punctuală a parametrilor modelului
de regresie liniară simplă
• Folosind metoda determinanţilor se obţin relaţiile de calcul
pentru b şi b :
0 1
n n n
n  xi yi   xi  yi
b1 i 1 i 1 i 1
b1  
 2
2  
n n
n  xi    xi 
i 1  i 1 
n n n n
2
 yi  xi   xi  xi yi
b0 i 1 i 1 i 1 i 1
• b0   !!!b0  y  b1 x
 2
2  
n n
n  xi    xi 
i 1  i 1 
24
 Estimarea coeficienţilor de regresie
cu programul SPSS

• Citirea elementelor din tabel (variabila dependentă /

independentă)

Coefficientsa

Unstandardized Standardized
Coefficients Coefficients
Model B Std. Error Beta t Sig.
1 (Constant) 3.901 .937 4.163 .001
GDP_PPC .082 .037 .454 2.221 .039
a. Dependent Variable: CH_Educatie

25
 2.2.b) Estimarea prin interval de încredere a
parametrilor modelului de regresie liniară simplă

• Estimarea prin interval de încredere a parametrilor b 0 şi b1

se bazează pe distribuţiile de selecţie ale estimatorilor
b̂ 0 şi b̂1 . ̂

• Pentru un model liniar, estimatorii parametrilor urmează

o lege de distribuţie normală şi sunt nedeplasaţi.

26
 2.2.b) Estimarea prin interval de încredere a parametrilor
modelului de regresie liniară simplă !!

 Estimatorul b̂ 0
bˆ0  N ( b 0 ,  b2ˆ )
0
E ( bˆ0 )  b 0

 Estimatorul b̂1

bˆ1  N ( b1 ,  2ˆ ) E ( bˆ1 )  b1
b1

27
 2.2.b) Estimarea prin interval de încredere a
parametrilor modelului de regresie liniară simplă

IC pentru b 0 , când nu se cunoaşte  bˆ 0 :

b0  t / 2; n  2  s bˆ
0

IC b1  t / 2; n  2  sbˆ
b1 1

28
 NU!! 2.2.b) Estimarea prin interval de încredere a
parametrilor modelului de regresie liniară simplă
La nivelul unui eşantion obţinem estimaţiile:

i
e 2
 i xi
( y  y ) 2

- Estimaţia varianţei erorilor: s2  i

 i
n2 n2

- Estimaţia varianţei estimatorului b̂ 0 :

n
   x 2
1 x 2  i
s 2ˆ  s2     s2 i 1
b0  n  ( xi  x )2  n  ( xi  x )2
 i  i 2
s 
- Estimaţia varianţei estimatorului b̂ : s 2ˆ 
1 b1  ( x  x )2
i
i
29
 Coefficientsa

Unstandardized Standardized
Coefficients Coefficients 95% Confidence Interval for B
Model B Std. Error Beta t Sig. Lower Bound Upper Bound
1 (Constant) 3.901 .937 4.163 .001 1.940 5.863
GDP_PPC .082 .037 .454 2.221 .039 .005 .160
a. Dependent Variable: CH_Educatie

30