ECONOMETRIE

CURS 2
- note de curs IAI
- 2015-

C2. REGRESIA LINIAR SIMPL (1)

1. Prezentarea modelului liniar simplu
2. Estimarea punctual i prin interval de ncredere a
parametrilor
3. Testarea parametrilor modelului liniar
Probleme specifice utilizand SPSS

1.Scurt istoric al regresiei

1886 - Francis Galton,. Family Likeness in Stature,
Proceedings of Royal Society, London, vol. 40, 1886, pp. 4272
1897 - G. U. Yule, "On the Theory of Correlation", Journal
of the Royal Statistical Society , pp. 812-54.
1903 - Karl Pearson, G. U. Yule, Norman Blanchard, and
Alice Lee, "The Law of Ancestral Heredity", Biometrika
1925 - R.A. Fisher, Statistical Methods for Research Workers

2.

Noiuni (1)

Regresia este o legtur statistic ntre dou sau mai multe

variabile statistice.
n legturile statistice utilizm variabile aleatoare
(stohastice), ceea ce nseamn c variabilelor le corespund
distribuii de probabilitate (fig. 1).

y1 ... y j ... ym
) =>M(Yxi) = f(xi) => yi=f(xi)+i
xi Y: (
ni ... n j ... nm
X variabil independent - variabil nestohastic
Y variabil dependent variabil stohastic (prezint
distribuii pentru fiecare valoare a lui X)

2.

Noiuni (2) - Fig.1

n legturile de tip funcional unei valori i se asociaz o alt

valoare i nu o distribuie de probabilitate.
xi yi => f(xi)=yi
Analiza de regresie studiaz forma legturii dintre una sau
mai multe variabile => Model de regresie
Analiza de corelaie Studiaz intensitatea legturii dintre
una sau mai multe variabile puse n relaie printr-un model
de regresie.

Modele de regresie

Modele de
regresie
Liniare
Neliniare

Simple
C = 0 + 1P +

Multiple
C = 0 + 1 P + 2V +

C = 0 +1 ln(P) + C = 0 + 1 ln(P) + 2 ln(V) +

3. Modelul de regresie liniar simpl

i = yi - M(YX=xi)=> yi = M(YX=xi)+ i = 0+ 1xi + i
M(YX=xi) media condiionat, corespunztoare variabilei
stohastice Y, condiionat de X = xi
0= f(0) parametrul intersecia dreptei de regresie liniar cu
axa OY (engl. intercept)
1 parametrul panta a dreptei care reprezint variaia
absolut a variabilei Y atunci cnd variabila X crete cu o
unitate (1 =Y/ X):
- 1>0: legtur direct ntre variabile, Y variaz n acelai
sens cu X
1<0: legtur invers ntre variabile, Y nu variaz n
acelai sens cu X

3. Modaliti de scriere ale modelului

liniar simplu
Dac este scris pentru valorile variabilelor

yi = 0+ 1xi + i

Dac este scris pentru variabile n general

Y= 0+ 1X+

4. Componentele modelului de regresie

A.Componenta

B.Componenta

determinist

aleatoare. Factori detreminani ai

componentei aleatoare: natura fenomenului studiat,
specificarea modelului i erorile de msurare

5.

Ipoteze clasice ale modelului de regresie

Ipotezele modelului de regresie vizeaz variabila rezidual i

variabila independent.
Cele mai importante ipoteze cu privire la variabila
rezidual sunt:
- media erorilor de modelare este nul: M(i)=0
2

~
N
(
0
,

) , adic variabila rezidual

- normalitatea erorilor : i
urmeaz o lege de repartiie normal de medie zero i varian
2;
V ( i ) M ( i2 ) 2
homoscedasticitate:
,adic variana erorii
Yi X xi
este constant la nivelul distribuiilor condiionate de tipul
cov( i , j ) 0, i j; i, j 1, n
- necorelarea erorilor:
,adic erorile
nu se influeneaz reciproc;
cov(
i , corelaiei
xi ) 0 dintre variabila independent i variabila eroare:
- lipsa

Ipoteze cu privire la variabilele independente:

X este o variabil observabil, statistic (nestohastic);
necoliniaritatea variabilelor independente (pentru cazul
regresiei multiple);
variabila independent are o dispersie finit i posibil
de determinat.

6. Exemple de modele liniare simple

Funcia de consum
- cererea sau consumul populaiei n funcie de venit:
Ci 0 1Vi i
Ci 1 arat cu ct crete
,unde parametrul
consumul unui anumit produs ( ) la o cretere cu o unitate
a venitului i este de regul pozitiv.
Legea cererii
- cererea populaiei pentru o gam de produse n funcie
dei preul
C
0 acestora:
1 Pi i
, unde parametrul 1 este de regul
negativ i arat cu ct scade cererea la o cretere a preului
cu o unitate.

7. Estimarea punctual parametrilor

modelului de regresie prin MCMMP
MCMMP (engl. Method of Ordinary Least Sqares - OLS)
Fie:
y i -0valorile
1 xi estimate (teoretice ale lui Y)
i
yi 0 - valorile
1 xi ireale, nregistrate
Estimatorul variabilei reziduu de modelare poate fi obinut prin
scderea relaiilor de mai sus:

i yi y i yi 0 1 xi yi 0 1 xi

Conform MCMMP estimatorii parametrilor modelului de

regresie verific condiiile
n

i yi yi yi ( 0 1 xi ) yi 0 1 xi min .
2

i 1

i 1

i 1

i 1

Pentru a uura notaiile n procesul de estimare vom utiliza

notaiile direct pentru estimaii. Astfel relaia de mai sus se va
scrie:
n

ei yi yi yi (b0 b1 xi ) yi b0 b1 xi min .
2

i 1

Notm

i 1

i 1

i 1

S e y i b0 b1 xi
i 1

2
i

i 1

Rezolvarea acestei probleme de minim presupune

ndeplinirea a dou condiii:
1. Anularea derivatelor pariale de ordinul I ale lui S n
raport b0 i b1:
n
S
b 2 yi b0 b1 xi 1 0
0
i 1

i 1

i 1

nb0 b1 xi yi

n
n
n
n

S
2

2 yi b0 b1 xi xi 0 b0 xi b1 xi yi xi
b1
i 1
i 1
i 1
i 1

b0
b0

2
y
x
i i xi xi yi

n xi2 xi

b1 n xi yi xi yi
b1

n xi2 xi

sau b 0 y b1 x

2. Matricea derivatelor pariale de ordinul doi s fie pozitiv

definit:
2S
2 2n
b0

det

2S
2 xi
b0 b1

S 2 xi
b b
0
1

det

x
x
i

0 det

2 xi

S
2

2
x

2b1

2n

2 xi

2 x
2
i

0
2
i

Este pozitiv definit deoarece

n x x i n 2 2 0
2
i

7. Proprietile estimatorilor parametrilor

modelului de regresie
Estimatorii parametrilor modelului de regresie sunt
variabile de selecie care:

2
2
- urmeaz o distribuie normal: 0~ N 0 , 0 , 1 ~N 1 , 1

- sunt nedeplasai: M 0 0 ,

M 1 1

- convergeni (in probabilitate):

0 nN

p 0 ,

- eficieni: dintre toi estimatorii posibili pentru

variana cea mai mic

1 nN

p 1

1 , 1 are

8. Estimarea prin interval de ncredere a

parametrilor modelului de regresie liniar

Att pentru 0 , ct i pentru 1 , intervalele de ncredere se

vor construi astfel:

0 [ 0 t / 2,n k ]

1 [ 1 t / 2,n k ]

La nivelul eantionului, relaiile de mai sus devin:

b t

0 b0 t / 2,n k s , b0 t / 2,n k s

/ 2,n k

s , b1 t / 2,n k s
1

unde k = numrul parametrilor estimai din model (pentru

modelul liniar k=2)

Estimaiile abaterile standard ale estimatorilor se determin

dup relaiile:

x
s s s
2
0
n
xi x

2
0

respectiv,
s s2
1

s2
n

2
(
x

x
)
i
i 1

unde s2 este estimaia acestuia:

s2

2
i

n2

(y b

b1 xi ) 2

n2

5. Testarea parametrilor modelului

liniar

1. Formularea ipotezelor
pentru 0
pentru 1
H0: 0=0
H0: 1=0
H1: 0#0
H1: 1#0
2. Fixarea pragului de semnificaie
=0,05
3. Alegerea statisticii test
H
0 0 0 0
1 1 H 0 1
t

~ t / 2, n 2
t

~ t / 2 ,




0

4. Calcularea statisticii test

tcalc

b0

tcalc

b1

5. Criterii de decizie:
|tcalc| tteoretic= t/2, n-2 => se accept H0 cu o probabilitate de 1-.
|tcalc| > tteoretic= t/2, n-2 => se respinge H0 cu un risc asumat .

n2

EXEMPLU
Se consider datele cu privire la Valoarea
vnzrilor i Cheltuielile cu publicitatea pentru
un eantion de 4 firme. Datele sunt prezentate
n tabelul urmtor.

xi

yi

10
20
50
100

2500
4100
5000
2500

180

14100

OUTPUT SPSS
Model Summary
R

R Square
0.183

0.033

Adjusted R
Square
-0.450

Std. Error of the

Estimate
1492.173

a. Predictors: (Constant), Vanz_X

ANOVAb
Sum of Squares

df

Mean Square

154336.735

1.000

Residual

4453163.265

2.000

Total

4607500.000

3.000

Regression

154336.735 0.069

Sig.
0.817

2226581.633

a. Predictors: (Constant), Vanz_X

b. Dependent Variable: Chelt_Y

Coefficientsa
Unstandardized
Coefficients

Std. Error

Standardized
Coefficients Beta

Sig.

95% Confidence
Interval for B
Lower
Upper
Bound Bound
9006.31

OUTPUT EXCEL
SUMMARY OUTPUT

Regression Statistics
Multiple R

0.183

R Square

0.033

Adjusted R Square
Standard Error

-0.450
1492.173

Observations

4.000

ANOVA
df

SS

MS

Regression

1.000

154336.735 154336.735

Residual

2.000

4453163.265 2226581.633

Total

3.000

4607500.000

Coefficients Standard Error

t Stat

F
0.069

Sig F
0.817

P-value Lower 95% Upper 95%