Econometrie curs 2

Modelul clasic de regresie

Modelul de regresie liniară unifactorială

CSIE, anul II, 2021-2022,

specializarea Statistică și previziune economică

Această prezentare urmărește, în principal,

Teorie și practică econometrică, V. Voineagu, E. Țițan, R. Șerban, S. Ghiță, D. Todose,
C. Boboc, D. Pele, Ed. Meteor Press, 2007.
1
 CE ESTE REGRESIA?
 Analiza de regresie se ocupă cu studiul dependenței unei variabile, numită variabila
dependentă, Y, de una, X, sau mai multe variabile explicative X 1 , X 2 ,..., X k , cu scopul
de a estima și/sau previziona media lui Y în colectivitatea generală, în funcție de valori
cunoscute ale variabilelor explicative, adică M Y X 1  x1 , X  x2 ,..., X k  xk  .
 Modelul econometric este cel care pune în evidență dependenţa unei variabile de un
ansamblu de factori principali şi secundari, sistematici sau aleatori, care acţionează în
acelaşi sens sau în sensuri diferite.

Funcţia
Cauze Efect

Variabile f Variabila
independente dependentă
f(x ,x ,...,xk)=Y
1 2

modelul matematic
2
 Modelul econometric
 Modelul econometric este
Y  f  X 1, X 2 ,..., X k   
variabila dependentă
 componenta aleatoare
sau variabila explicată componenta deterministă

unde
 X 1 , X 2 ,..., X k sunt variabilele independente sau explicative ale modelului,
 f  X 1 , X 2 ,..., X k  - componenta deterministă - surprinde influența factorilor
X 1 , X 2 ,..., X k

  - variabila eroare sau variabila perturbație este componenta

aleatoare care are proprietăți probabilistice bine definite și care
surprinde influența altor factori, numiți factori reziduali, asupra
variabilei Y (acei factori care nu au fost luați explicit în considerație).

3
 REGRESIA – Când şi cum o utilizăm?

 Regresia se foloseşte pentru:

 a determina o relaţie cauzală,
 a testa o relaţie cauzală,
 a previziona nivelul mediu al variabilei dependente în funcţie de una sau
mai multe variabile independente,
 a explica efectul în funcţie de cauze.

 Când considerăm relația între o variabilă cauză (X ) și o variabilă efect (Y ),

cea mai simplă forma a dependenței dintre acestea este dată de o funcție
liniară, f x   0  1 x

 Astfel, modelul matematic este Y  f  X   Y  0  1 X

iar modelul econometric este Y  f  X     Y  0  1X  
cunoscut ca modelul de regresie liniară simplă sau unifactorială.
4
 O primă presupunere asupra termenului eroare ε

M Y X  x   M 0  1 X   X  x 
 0  1 M X X  x   M  X  x 
  
x 0
 0  1x
M Y X  x   0  1x

0  M Y X  0
1  M Y X  x  1  M Y X  x 
5
 Specificarea unui model de regresie (1)

 Modelul general de regresie liniara unifactorială:

Y=0 +1 ·X + 
Componenta predictibilă Variabila/eroarea aleatoare
Componenta reziduala

 Parametrul 1 (panta) arată modificarea medie a variabilei efect (Y ) la

modificarea cu o unitate a variabilei cauză (X ).

 Parametrul 0 (intercept) arată media variabilei efect (Y ) când valoarea

variabilei cauză X este de 0 unități; reprezintă ordonata punctului în care
dreapta de regresie de la nivelul populației statistice y   0  1 x
intersectează axa verticala OY.

  reprezintă componenta reziduală (eroarea aleatoare) care surprinde influența

altor factori, numiți factori reziduali, asupra variabilei Y; variabila  are
proprietăți probabilistice bine definite. 6
 Specificarea unui model de regresie (2)
dreapta de regresie
Y M Y X  x    0  1 x

 0+1(x+1)

1 1 ε
0+1x
ε

Y
(0,0)
1

0
x x+1
0
X X

Modelul liniar unifactorial

7
 Specificarea unui model de regresie (3)

 Se efectuează o selecţie de volum n : x1, y1 , x2 , y2 , ..., xn , yn 

 Pe baza acestei selecţii se estimează parametrii 0 şi 1 ai modelului de
regresie liniară simplă sau unifactorială Y  0  1 X   , obținând
estimatorii ˆ0 , ˆ1 .

 Modelul de regresie liniară observat (în eșantion) este:

yi  ˆ0  ˆ1 xi  ˆi , i  1, n

ˆ ˆ
cu componenta predictibilă: yˆ i  0  1 xi , i  1, n , care se mai numeste și valoarea
ajustată sau estimată a valorii observate yi pe baza modelului de regresie;

 ˆ0 este estimatorul parametrului “intercept” 0, estimator obţinut pe baza selecției;
 ˆ1 este estimatorul parametrului “pantă” 1, estimator obţinut pe baza selecției;
 ˆi este valoarea reziduală sau reziduul (pentru unitatea statistică i ) în eşantion:

ˆi  yi  ( ˆ0  ˆ1xi )  yi  yˆi , i  1, n 8

 Estimarea parametrilor modelului clasic de regresie
liniară unifactorială (1)

 Parametrii necunoscuţi ai modelului din colectivitatea generală, adică 0 și 1,

sunt cei ce trebuie estimaţi:

Y  0  1 X  


ˆ ˆ
Modelul estimat va fi scris: yi  0  1 xi  ˆi , i  1, n ,
unde ˆ0 și ˆ1 reprezintă estimatorii parametrilor 0 și 1,
 
estimatori obținuți pe baza unei selecții de volum n : xi , yi , i  1, n

 Pentru estimațiile ˆ0 şi ˆ1 , erorile estimate (valorile reziduale în eșantion sau
reziduurile) vor fi:
ˆi  yi  ( ˆ0  ˆ1xi )  yi  yˆi , i  1, n

9
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (2)

 Metoda celor mai mici pătrate (MCMMP) – Ordinary Least

Squares (OLS):
Pentru estimarea parametrilor 0 şi 1 pe baza datelor observate, un
criteriu natural este cel de maximizare a potrivirii modelului cu datele
observate, deci de minimizare a erorilor observate, prin minimizarea
sumei pătratelor erorilor sau reziduurilor:

 
n n n
min  ˆ  min   yi  yˆ i   min
ˆ ˆ 
yi  ˆ0  ˆ1 xi
2 2
2
i
0 ,1
i 1 i 1 i 1

adică determinarea punctului de minim ˆ , ˆ  al

0 1 funcției
n
S ( ˆ0 , ˆ1)   ( yi  ˆ0  ˆ1xi )2
i 1 10
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (3)

 Modelul de regresie liniară unifactorială: Y  0  1 X   .

 Ecuația dreptei de regresie la nivelul populației statistice este
M Y X  x   0  1 x .
 La nivelul unui eșantion de volum n selectat aleator din
populația statistică:

 Notăm ,
atunci yˆ  ˆ0  ˆ1 x reprezintă ecuația dreptei de regresie
la nivelul eșantionului.

11
Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (4)

12
 Estimarea parametrilor modelului clasic
de regresie liniară unifactorială (5)
n
Derivatele parțiale de ordinul 1 și 2 ale funcției S ( ˆ0 , ˆ1)   ( yi  ˆ0  ˆ1xi )2 sunt:
n  n n  i 1
S ˆ ( 0 , 1 )   2( yi  0  1xi ) 1 2 n 0  1  xi   yi 
' ˆ ˆ ˆ ˆ ˆ ˆ
0  
i 1  i 1 i 1 

S ''ˆ ˆ ( ˆ , ˆ )  2n
00 0 1
n
''
0 1

S ˆ ˆ ( ˆ0 , ˆ1 )  2 xi
i 1
n  n n n 
S ˆ ( 0 , 1 )   2( yi  0  1xi ) xi  2 0  xi  1  xi   xi yi 
' ˆ ˆ ˆ ˆ  ˆ ˆ 2
1  
i 1  i 1 i 1 i 1 
n
''
1 0

S ˆ ˆ ( ˆ0 , ˆ1 )  2 xi
i 1
n
ˆ ˆ

S ˆ ˆ ( 0 , 1 )  2 xi2
''
1 1
i 1 13
 Estimarea parametrilor modelului clasic
de regresie liniară unifactorială (6)
 Condiţiile de ordin 1: determinarea soluţiei sistemului de ecuații
 n n
 S ' ˆ ( ˆ0 , ˆ1 )  0 nˆ0  ˆ1  xi   yi
 0  i 1 i 1
 '  
 S ˆ ( ˆ0 , ˆ1 )  0
n n n
ˆ
  0  xi  1  xi   xi yi
 1 ˆ 2

numit și sistemul ecuațiilor normale.  i 1 i 1 i 1

Matricea coeficienților sistemului liniar de ecuații și coloana termenilor

liberi sunt:

 n
  n 
 n  x i    xi 
A n i 1 ,  i 1 
 n
2  n

  xi  xi    xi yi 
 i 1 i 1   i 1 
14
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (7)

 Determinantul matricei sistemului de ecuații liniare este

n

not
n x i n
 n

2

  det A  n
i 1
n  n  xi
2
  i x
 i 1 
x
i 1
i  xi2
i 1
i 1

 n 2 2
 n  xi  n x  
 i 1 
n
 n  xi  x 
2

i 1
not
   det A  0 dacă există o valoare observată xi  x
și atunci sistemul de ecuații este compatibil determinat,
adică admite soluție unică,
și se poate rezolva prin metoda lui Cramer. 15
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (8)
 Minorul corespunzător necunoscutei ˆ1 este
n
n  yi n  n  n 
 ˆ  n i 1  n  xi yi    xi   yi 
1 n   
   
 xi  xi yi i 1 i 1 i 1
i 1 i 1
 n 
 n  xi yi  nx y 

 
 i 1 
n
 n   xi  x  yi  y 
i 1 n
n n  x  x  y  y
n   xi  x  yi  y   x  x  y  y
i i
i 1
 ˆ i i
sxy
 ˆ1  1
 i 1
 i 1
 n 1 
 n n n
sx2
n   xi  x   x  x   x  x 
2 2 2
i i
i 1 i 1 i 1
n 1 16
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (9)

n
 xi  x  yi  y 
unde s x y  i 1  cov x, y  este covarianța de selecție a variabilelor X și Y,
n 1
n

 ix  x 2

iar s x2  i 1
este dispersia de selecție a variabilei explicative X.
n 1

Dacă prima ecuație a sistemului ecuațiilor normale se împarte la n, volumul

eșantionului, atunci aceasta devine ˆ  ˆ x  y , de unde obținem că
0 1

ˆ0  y  ˆ1 x
 ˆ ssy 
Punctul staționar al funcției S ˆ0 , ˆ1   este ˆ ˆ
  0  y  1 x , 1  2 
 sx 

17
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (10)

 Condiţiile de ordin 2: soluţia găsită este un punct de minim

deoarece matricea hessiană asociată este pozitiv definită.
 n 

 S ''ˆ ˆ ( ˆ0 , ˆ1 ) S ''ˆ ˆ ( ˆ0 , ˆ1 )   2n 2 xi 
    0 1  
H ( ˆ0 , ˆ1 )   '' 0 0  n
i 1

ˆ ˆ '' ˆ ˆ
 Sˆ ˆ ( 0 , 1 ) Sˆ ˆ ( 0 , 1 )   n
 1 0 1 1  2 xi 2 xi2 
 
 i 1 i 1 
Cei doi minori principali sunt strict pozitivi.
1  2n  0
n
2n 2 xi  n 2
  n   n
 2  det H ( ˆ0 , ˆ1 )  n
i 1
n
 4  i  i  
n x 2
  x   4 n  i  x  x 2
0
 i 1  i 1  
2 xi 2 xi2  i 1
i 1 i 1 18
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (11)
Observații:
n n
 xi  yi

x  i 1 , y  i 1 reprezintă mediile de selecție ale variabilelor X, respectiv, Y,
n n

n n
 xi  x  2
  yi  y 2
 s x2  i 1 , s 2y  i 1 reprezintă dispersiile de selecție ale variabilelor X și Y,
n 1 n 1

 sx  sx2 , s y  s 2y sunt abaterile standard de selecție ale variabilelor X și Y,

 x  x  y  y 
i i
 s xy  i 1
 covx, y  este covarianța de selecție a variabilelor X și Y.
n 1
19
 Estimarea parametrilor modelului clasic de regresie liniară
unifactorială (12)
n
Observații: reamintim că n  xi  x  yi  y 
1.  xi  x  yi  y  i 1
s xy
ˆ1  i 1 n  n 1  2
n
sx
 xi  x 2  xi  x 2
i 1 i 1
n 1
2. Coeficientul de corelație liniară de selecție este
cov x, y  sx y
rx, y     1, 1
sx  s y sx  s y
atunci ˆ sx, y s x, y sy sy
1  2    rx, y 
sx sx  s y sx sx

ˆ sy ˆ sx
 1  rx, y  or rx, y  1 
sx sy
3. Coeficientul de corelație liniară rx , y și panta estimată ˆ1 au același semn,
deoarece s x  0 și s y  0 . 20
Relația între pantă și coeficientul de corelație liniară, considerând
o relație liniară între variabillele X și Y

21