REGRESIA LINIAR SIMPL

1. Introducere
Procesul de determinare a unei ecuaii matematice care s se potriveasc cel mai
bine cu datele observate este cunoscut sub denumirea de analiz de regresie.
Sir Francis Galton a fost cel care a introdus n 1889 cuvntul regresie pentru a
descrie anumite relaii genetice. Tehnica regresiei este una dintre cele mai populare
instrumente statistice prin care se studiaz dependena unei variabile aleatoare n
raport cu o alt variabil sau n raport cu mai multe variabile.
n funcie de aceast dependen, exist diferite modele de regresie: simpl,
multipl, liniar, neliniar, etc. n cele ce urmeaz vom examina regresia liniar
simpl i vom creea un model ce poate fi folosit n scopuri predictive.

2. Studiul problemei
n cele ce urmeaz vom nota prin y o variabil aleatoare ce urmeaz a fi dedus,
numit variabil dependent (sau de rspuns) i prin x o variabil independent
utilizat pentru a prezice y .
Considerm n observaii de forma x1 , y1 , x 2 , y 2 , ,
prezentate i sub forma unui tabel cum este cel de mai jos

x n , y n

x1

x2

xn

y1

y2

yn

care pot fi

O tehnic descriptiv preliminar pentru determinarea formei relaiei dintre x i

y este diagrama de dispersie. Aceasta este desenat prin trasarea datelor observate
n coordonate carteziene. Punctele astfel obinute ofer o indicaie asupra existenei
unei relaii liniare sau neliniare ntre variabilele studiate. n momentul n care din
diagrama de dispersie se deduce existena unei relaii ntre cele dou variabile, se
poate trece la determinarea modelului matematic care aproximeaz cel mai bine
datele msurate. Evident c modelul regresiei liniare presupune existena unei
dependene liniare ntre variabilele analizate.

n continuare vom presupune c nu exist erori de msurare pentru valorile x i ,

dar imposibilitatea determinrii unui model exact pentru un fenomen natural trebuie
cuantificat cu ajutorul unei erori ntmpltoare , despre care vom presupune c va
avea o distribuie de probabilitate cu media egal cu zero.
2.1. Definiie. Prin model de regresie liniar simpl relativ la variabilele y i x se
nelege o ecuaie de forma
y 0 1 x
unde 0 i 1 sunt parametrii necunoscui.
Problema noastr este una de determinare a unor estimatori buni 0 , respectiv 1 ,
pentru parametrii 0 i 1 , cu ajutorul crora s putem construi ecuaia de regresie
(predicie)

y 0 1 x .
S remarcm c n acest fel, pentru fiecare valoare observat ( x i , y i ) , se obine
valoarea estimat

y i 0 1 x i

2.2. Definiie. Se numete valoare i-rezidual diferena dintre valoarea observat

i valoarea prezis
e y y y x .
i

Suma ptratelor valorilor i-reziduale pentru cele n observaii este dat de

n

i 1

i 1

SVR e i2 y i 0 1 x i

Metoda celor mai mici ptrate presupune determinarea estimatorilor 0 i 1 n aa

fel nct suma ptratelor valorilor i-reziduale SVR s fie minim. Atunci
SVR
0
0
SVR

0
1

Dac inem cont c

SVR
n

y i 0 1 x i
0
0 i1

2y
n

i 1

n
n

x 2 y n

0
1 i
i
0
1 xi
i 1
i1

SVR
n

y i 0 1 x i

1
1 i1

2y
n

i 1

n
n
n
2
x x 2 x y

0
1 i
i
i i
0 i
1 xi
i 1
i 1
i1

se obine sistemul
n
n

yi

0
1
i

i 1
i 1
n
n
n
0 x i 1 x i2 x i y i
i 1
i 1
i 1

cu necunoscutele 0 i 1 .

Pentru rezolvarea acestui sistem, considerm matricile

y1
1 x 1
y
1 x

2
2

0
Y
, X
i

y n
1 x n

i dac notm cu t X transpusa matricii X , observm c

n
1 x1

n
xi

1
1

1
1
x

2
t
i 1

XX
n

2
x1 x 2 x n

x i x i
i 1
i 1

1
x
n

i
y1 n

y yi
1
1

t
2 i 1
XY
.
n

x1 x 2 x n x y
i i

y n i 1
Prin urmare sistemul obinut este echivalent cu ecuaia matriceal

XX XY
t

care are soluia

t XX

1 t

XY .

3. Exemplu
n continuare vom prezenta un exemplu de utilizare a metodei prezentate mai
inainte. Ne propunem s determinm ecuaia de regresie pentru datele prezentate n
tabelul urmtor:
Tabelul 3.1
X
-3
Y
-9

-2
-7

-1
-5

0
-4

2
2

5
6

6
9

8
13

11
21

12
20

Pentru a rezolva problema, vom considera matricile

9
1
7
1

5
1

4
1
2
1
Y i X
6
1
9
1

13
1
21
1

20
1

3
2
1

0
2

5
6

8
11

12

Remarcm c
t

10 38 t
46
XX
, XY

i
38 408
709

XX
t

0.1548 0.0144

.
0.0144 0.0038

Prin urmare

t XX

XY 00.1548
.0144
1 t

0.0144 46 3.1009 0

.
0.0038 709 2.0266 1

Ecuaia de regresie cerut este:

y 3.1009 2.0266x