Modelul de regresie

clasic


CE ESTE REGRESIA?
Modelul de regresie modeleaz dependena variabilelor complexe de un
ansamblu de factori principali i secundari, sistematici sau aleatori, care
acioneaz n acelai sens sau n sensuri diferite
Cauze
Funcia
Efect
Variabile
independente
f
Variabila
dependent
f(x1,x2,...,xn)=Y
REGRESIA Cnd i cum o utilizm?
Regresia se folosete pentru:
a determina o relaie cauzal
a testa o relaie cauzal
a previziona o variabil dependent n funcie de una
sau mai multe variabile independente
a explica efectul n funcie de cauze



Regresia simpla liniar

Corelaie pozitiv Corelaie negativ Nu exist corelaie
Specificarea unui model de regresie
Modelul liniar general de regresie unifactorial:
Y= + x +


Componenta
predictibil
Variabila/eroa
rea aleatoare
Specificarea unui model de regresie
Modelul liniar unifactorial y=1+0,5x
X
Y

1.0
1
0,5
X
Y



Specificarea unui model de regresie
Se efectueaz o selecie de volum n : (x
i
,y
i
)
i=1...n

Modelul de regresie liniar observat este:
y
i
= a + bx
i
+ e
i

cu componenta predictibila:



e
i
= y
i
(a + bx
i
)
i i
bx a y

+ =
Estimarea parametrilor modelului de
regresie clasic
Metoda celor mai mici ptrate:
Pentru estimarea parametrilor o i | pe baza datelor
observate =>minimizarea erorilor observate:


=
i
i i
i
i
bx a y e
2 2
) ( min min
Estimarea parametrilor modelului de
regresie clasic
Condiiile de ordin 1: determinarea soluiei





Condiia de ordin 2: soluia gsit este un punct de minim.
Matricea derivatelor pariale de ordin doi trebuie s fie pozitiv
definit.

=
c
c
=
c
c

0
) (
0
) (
2
2
b
e
a
e
i
i
i
i

+ =
+ =


b x a x y x
b x na y
i
i
i
i
i
i i
i
i
i
i
) ( ) (
) (
2
Estimarea parametrilor modelului de
regresie clasic

= =
=

2
2
2
x n x
y x n y x
x x
x n
y x x
y n
b
x b y a
i
i
i
i i
i
i
i
i
i
i
i
i
i
i
i
i
i

|
.
|

\
|

= =
|
.
|

\
|

= =













2
2
2
2
2
2
2
2
i
i
i
i
i
i
i
i
i
i i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i i
i
i
i
i
i
i
i
i
i
i
i
i
i
i i
i
i
i
i
i
i
x x n
y x y x n
x x
x n
y x x
y n
b
x x n
y x x x y
x x
x n
x y x
x y
a
Condiiile de ordin 1:
Estimarea parametrilor modelului de
regresie clasic
Condiia de ordin 2




Deci matricea este pozitiv definit


(
(
(

=
(
(
(
(
(
(

c
c
c c
c
c c
c
c
c

i
i
i
i
i
i
i
i
i
i
i
i
i
i
x x
x n
b
e
a b
e
b a
e
a
e
2
2 2
2 2 2 2
2 2
2 2
2 2
2 2
2 2
) ( ) (
) ( ) (

> =
>
>

0 ) ( 4 ) ( 4 4
0 2
0 2
2 2 2
2
i
i
i
i
i
i
i
i
x x n x x n
x
n
Estimarea parametrilor
modelului de regresie clasic
Deci:


2
x
xy
s
s
b =

=
+
+
=
=

=
+
+
=
i
i
i
i i
i
i
i
i i
i
i
i
i i
i
i i
i
i i
i
i
i
i
i
i
i
i
i
i
i
i i
x x
y y x x
x x x x x x
y x x y x x
x x x
y x x
x n x x x x x
y x n y x y x y x
b
2
2
2
) (
) )( (
) ( ) (
) ( ) (
) (
) (
Estimarea parametrilor modelului
de regresie clasic

s
xy
este covariana ntre x i y.












Linii de regresie cu a) pant pozitiv b) pant negativ c) pant egal cu zero





Exemplu
Directorul unui liceu dorete s vad dac media cu care un elev de clasa a
noua ncheie anul depinde de media de la examenul de admitere n liceul
respectiv. n acest scop el selecteaz aleatoriu 20 de studeni pentru care
nregistreaz media la admitere i media obinut la sfritul primului am de
studii n liceu. Rezultatele obinute sunt:




Determinai dreapta de regresie ce descrie cel mai bine legtura ntre media de
la examenul de admitere n liceu i media de la sfritul primului an de studii.
Medie
primul an 9 8.3 8.2 7.4 8 9.7 9.5 8.7 8.2 7.8 8.4 8.9 8.5 9.8 8.1 7.8 8.5 9.4 7.6 8.2
Nota la
admitere 9.1 8.3 9 7.9 8.5 9.7 9.4 8.6 8.8 7.6 8 8.9 8.3 9.2 7.8 7.4 8 9.8 8.2 7.5
Exemplu
y = 0.7785x + 1.8831
R = 0.6538
7
7.5
8
8.5
9
9.5
10
7 8 9 10
M
e
d
i
e

p
r
i
m
u
l

a
n

Nota la admitere
y estimat erori
8,96745 0,03255
8,34465 -0,04465
8,8896 -0,6896
8,03325 -0,63325
8,50035 -0,50035
9,43455 0,26545
9,201 0,299
8,5782 0,1218
8,7339 -0,5339
7,7997 0,0003
8,1111 0,2889
8,81175 0,08825
8,34465 0,15535
9,0453 0,7547
7,9554 0,1446
7,644 0,156
8,1111 0,3889
9,5124 -0,1124
8,2668 -0,6668
7,72185 0,47815
Medie primul an Nota la admitere
Mean 8,5 Mean 8,5
Standard Error 0,154919 Standard Error 0,160918
Median 8,35 Median 8,4
Mode 8,2 Mode 8,3
Standard Deviation 0,69282 Standard Deviation 0,719649
Sample Variance 0,48 Sample Variance 0,517895
Kurtosis -0,59508 Kurtosis -0,9326
Skewness 0,496952 Skewness 0,238184
Range 2,4 Range 2,4
Minimum 7,4 Minimum 7,4
Maximum 9,8 Maximum 9,8
Sum 170 Sum 170
Count 20 Count 20
Exemplu