Modelul de regresie

clasic
 CE ESTE REGRESIA?
 Modelul de regresie– modelează dependenţa variabilelor complexe de un
ansamblu de factori principali şi secundari, sistematici sau aleatori, care
acţionează în acelaşi sens sau în sensuri diferite

Funcţia Efect
Cauze
Variabile f Variabila
independente dependentă
f(x1,x2,...,xn)=Y
 REGRESIA – Când şi cum o utilizăm?

 Regresia se foloseşte pentru:

 a determina o relaţie cauzală

 a testa o relaţie cauzală

 a previziona o variabilă dependentă în funcţie de una sau mai multe variabile

independente
 a explica efectul în funcţie de cauze
 Regresia simpla liniară

Corelație pozitivă Corelație negativă Nu există corelație

 Specificarea unui model de regresie

 Modelul liniar general de regresie unifactorială:

Y=+·x + 
Componenta Variabila/
predictibilă eroarea
aleatoare
 Specificarea unui model de regresie

0,5 ε
Y

Y
1.0
ε
1

X
X
Modelul liniar unifactorial y=1+0,5x
 Specificarea unui model de regresie

 Se efectuează o selecţie de volum n : (xi,yi)i=1...n

 Modelul de regresie liniară observat este:

yi = a + bxi + ei
cu componenta predictibila:
ŷ i  a  bx i

ei = yi – (a + bxi)
 Estimarea parametrilor modelului de
regresie clasic

 Metoda celor mai mici pătrate:

Pentru estimarea parametrilor  şi  pe baza datelor

observate =>minimizarea erorilor observate:

2 2
min  ei  min  ( yi  a  bxi )
i i
 Estimarea parametrilor modelului de
regresie clasic

 Condiţiile de ordin 1: determinarea soluţiei

  (  ei2 )
  yi  na  ( xi )b


i
a
 0 i i
   2
  (  ei2 ) x y 
 i i  i( x ) a  (  i )b
x


i  0 i i i
 b
 Condiţia de ordin 2: soluţia găsită este un punct de minim.
Matricea derivatelor parţiale de ordin doi trebuie să fie pozitiv
definită.
 Estimarea parametrilor modelului de
regresie clasic

Condiţiile de ordin 1:


 i
yi  xi
i a  y  b x


 xi yi  xi2  yi  xi2   xi  xi yi 
a 
i i
 i i i i
 n  yi
 n x i  
n xi2    xi 
2

 i

  xi  xi yi
i

 x i x 2
i
i  i 
 xi yi  n x y
 i i
  i i i

 n y b  
 i
i


n  xi 2
 xi  n x
2
 x x y n xi yi   xi  yi i

i i i
b  i i
 2 i
 xi  i
i i i
 n x  
2
 x
 n xi2    xi 
i


i
 i i
  xii
x i
2
i
i  i 
 Estimarea parametrilor modelului de
regresie clasic

 Condiţia de ordin 2
  2 ( ei2 )  2 ( ei2 ) 
 
 2 2
i i
  2n 2 xi 
  a ab   i 

  2 ( ei2 )  2 ( ei2 )  2 xi 2 xi2 

 i i   i i
 ba 
  2b 2 


2 n  0

2 xi  0
2

 i Deci matricea este pozitiv definită

4n xi  4( xi )  4n ( xi  x)  0
2 2 2
 i i i
 Estimarea parametrilor
modelului de regresie clasic
 xi yi   x yi   x yi  n x y  ( xi  x) yi
i i i i
b 2
 
2
 i   xi x   xi x  n x
x  xi ( xi  x)
i i i i

 ( xi  x) yi   ( xi  x) y  ( xi  x)( yi  y )
i i i
 
 xi ( xi  x)   ( xi  x) x  ( xi  x) 2
i i i
 Deci: s xy
b 
s x2
 Estimarea parametrilor modelului
de regresie clasic
 sxy este covarianţa între x şi y.

Linii de regresie cu a) pantă pozitivă b) pantă negativă c) pantă egală cu zero

 Exemplu
 Directorul unui liceu dorește să vadă dacă media cu care un elev de clasa a
noua încheie anul depinde de media de la examenul de admitere în liceul
respectiv. În acest scop el selectează aleatoriu 20 de studenți pentru care
înregistrează media la admitere și media obținută la sfârșitul primului am de
studii în liceu. Rezultatele obținute sunt:
Medie
primul an 9 8.3 8.2 7.4 8 9.7 9.5 8.7 8.2 7.8 8.4 8.9 8.5 9.8 8.1 7.8 8.5 9.4 7.6 8.2
Nota la
admitere 9.1 8.3 9 7.9 8.5 9.7 9.4 8.6 8.8 7.6 8 8.9 8.3 9.2 7.8 7.4 8 9.8 8.2 7.5

 Determinați dreapta de regresie ce descrie cel mai bine legătura între media de
la examenul de admitere în liceu și media de la sfârșitul primului an de studii.
Exemplu
 Exemplu
y estimat erori
8,96745 0,03255
8,34465 -0,04465
8,8896 -0,6896
Medie primul an Nota la admitere
8,03325 -0,63325
8,50035 -0,50035
Mean 8,5 Mean 8,5
9,43455 0,26545
Standard Error 0,154919 Standard Error 0,160918
9,201 0,299
Median 8,35 Median 8,4
8,5782 0,1218
Mode 8,2 Mode 8,3
8,7339 -0,5339
Standard Deviation 0,69282 Standard Deviation 0,719649
7,7997 0,0003
Sample Variance 0,48 Sample Variance 0,517895
8,1111 0,2889
Kurtosis -0,59508 Kurtosis -0,9326
8,81175 0,08825
Skewness 0,496952 Skewness 0,238184
8,34465 0,15535
Range 2,4 Range 2,4
Minimum 7,4 Minimum 7,4 9,0453 0,7547
Maximum 9,8 Maximum 9,8 7,9554 0,1446
Sum 170 Sum 170 7,644 0,156
8,1111 0,3889
Count 20 Count 20
9,5124 -0,1124
8,2668 -0,6668
7,72185 0,47815