Modelul de regresie

clasic

CE ESTE REGRESIA?

Modelul de regresie modeleaz dependena variabilelor

complexe de un ansamblu de factori principali i secundari,
sistematici sau aleatori, care acioneaz n acelai sens sau n
sensuri diferite

Funcia
Cauze
Variabile
independente

f
f(x1,x2,...,xn)=Y

Efect
Variabila
dependent

REGRESIA Cnd i cum o utilizm?

Regresia se folosete pentru:

a determina o relaie cauzal
a testa o relaie cauzal
a previziona o variabil dependent n funcie de una sau mai multe
variabile independente
a explica efectul n funcie de cauze

Regresia simpla liniar

Corelaie pozitiv

Corelaie negativ

Nu exist
corelaie

Specificarea unui model de regresie

Modelul liniar general de regresie unifactorial:

Y=+x +
Componenta
predictibil

Variabila/ero
area
aleatoare

Specificarea unui model de regresie

1.0

0,5

X
Modelul liniar unifactorial y=1+0,5x

Specificarea unui model de regresie

Se efectueaz o selecie de volum n : (xi,yi)i=1...n

Modelul de regresie liniar observat este:

yi = a + bxi + ei
cu componenta predictibila:

i a bx i
y
ei = yi (a + bxi)

Estimarea parametrilor modelului de

regresie clasic

Metoda celor mai mici ptrate:

Pentru estimarea parametrilor i pe baza datelor

observate =>minimizarea erorilor observate:

2
min ei
i

min ( yi a bxi )
i

Estimarea parametrilor modelului de

regresie clasic

Condiiile de ordin 1: determinarea soluiei

( ei2 )

ei2 )

yi na ( xi )b

2
x
y

(
x
)
a

(
x
i )b
i i i

Condiia de ordin 2: soluia gsit este un punct de

minim. Matricea derivatelor pariale de ordin doi trebuie
s fie pozitiv definit.

Estimarea parametrilor modelului de

regresie clasic

Condiiile de ordin 1:
i yi i xi
xi yi xi2 yi xi2 xi xi yi

n xi2

2
i

xi

x
x

2
i

xi

xi
i

n xi2

xi xi yi

n xi yi xi yi
i

yi
i

y
x y

x
x

a y bx

2
x
x
i i
i

xi yi n x y
i

2
2
xi n x
i

Estimarea parametrilor modelului de

regresie clasic

Condiia de ordin 2
2 ( e 2 )
i

i
2 2

a
2 ( ei2 )

ba

2 ( ei2 )
i

2n

ab

2
2
2 xi
( ei )

i
i

2b 2

2 xi
i

2 xi2

2n 0

2
2 xi 0

2
2
2
definit
4n xi 4( xi ) 4n ( xi x) 0

Deci matricea este pozitiv

Estimarea parametrilor
modelului de regresie clasic
b

xi yi x yi x yi n x y
i

xi ( xi x) ( xi x) x
Deci:

s xy
s x2

xi ( xi x)
i

( xi x) yi ( xi x) y
i

2
x
i xi x xi x n x
i

( xi x) yi

( xi x)( yi y )
i

( xi x) 2
i

Estimarea parametrilor
modelului de regresie clasic

sxy este covariana ntre x i y.

Linii de regresie cu a) pant pozitiv b) pant negativ c) pant egal cu zero

Exemplu

Directorul unui liceu dorete s vad dac media cu care un elev de

clasa a noua ncheie anul depinde de media de la examenul de
admitere n liceul respectiv. n acest scop el selecteaz aleatoriu 20
de studeni pentru care nregistreaz media la admitere i media
obinut la sfritul primului am de studii n liceu. Rezultatele
obinute sunt:
Medie
primul
an
9 8.3 8.2 7.4
8 9.7 9.5 8.7 8.2 7.8 8.4 8.9 8.5 9.8 8.1 7.8 8.5 9.4 7.6 8.2
Nota la
admitere 9.1 8.3
9 7.9 8.5 9.7 9.4 8.6 8.8 7.6
8 8.9 8.3 9.2 7.8 7.4
8 9.8 8.2 7.5

Determinai dreapta de regresie ce descrie cel mai bine legtura ntre

media de la examenul de admitere n liceu i media de la sfritul
primului an de studii.

Exemplu

Exemplu
Medie primul
an
Mean
Standard Error
Median
Mode
Standard
Deviation
Sample Variance
Kurtosis
Skewness
Range
Minimum
Maximum
Sum
Count

Nota la
admitere

8,5 Mean
0,154919 Standard Error
8,35 Median
8,2 Mode
Standard
0,69282 Deviation
0,48 Sample Variance
-0,59508 Kurtosis
0,496952 Skewness
2,4 Range
7,4 Minimum
9,8 Maximum
170 Sum
20 Count

8,5
0,160918
8,4
8,3
0,719649
0,517895
-0,9326
0,238184
2,4
7,4
9,8
170
20

y estimat
erori
8,96745 0,03255
8,34465 -0,04465
8,8896
-0,6896
8,03325 -0,63325
8,50035 -0,50035
9,43455 0,26545
9,201
0,299
8,5782
0,1218
8,7339
-0,5339
7,7997
0,0003
8,1111
0,2889
8,81175 0,08825
8,34465 0,15535
9,0453
0,7547
7,9554
0,1446
7,644
0,156
8,1111
0,3889
9,5124
-0,1124
8,2668
-0,6668
7,72185 0,47815