REGRESIA UNIFACTORIAL

Modelul de regresie clasic.Definiie,

specificare,identificare.
Ipotezele modelului de regresie liniar
Estimarea parametrilor modelului de
regresie
Testarea validitii modelului de
regresie. Metoda ANOVA
7. Regresia simpl

Modelul de regresie clasic

Specificarea modelului unifactorial const n precizarea
variabilei endogene Y i a celei exogene X, pe baza
teoriei economice;ca orice ipotez economic , ea poate
fi adevrat sau fals.

y f(x)

Identificarea modelului const n alegerea unei funcii

sau a unui grup de funcii matematice ,cu ajutorul creia
se urmrete descrierea valorilor variabilei endogene,
doar n funcie de variaia variabilei exogene X.
Ca surs de informaii existena, direcia i forma
legturii dintre variabile poate fi corelograma
sau
diagrama de mprtiere.
7. Regresia simpl

Modelul de regresie clasic

Una dintre funciile matematice utilizate cel mai des o
constituie funcia liniar.Relaia dintre variabila efect(Y)
i variabila cauz(X) studiat de regresia simpl liniar
ntr-o populaie statistic general poate fi descris prin
modelul probabilistic liniar:

yi xi i
, reprezint parametrii ecuaiei de regresie,
xi , yi reprezint valorile numerice ale variabilelor cauz

X i efect Y nregistrate la nivelul unutii ,,i

Aceast legtur este ns valabil numai dac n
evoluia lui Y nu mai intervin alte variabile n afara lui X.
7. Regresia simpl
3

Modelul de regresie clasic

Fie acum un eation din populaia total, eantion de
dimensiune n:

X {xi }i 1,n si Y { yi }i 1,n

Modelul de regresie liniar n eantion este:

yi a bxi ei

sunt estimatorii lui punctul de

Unde a
i b
intercepie i panta liniei de regresie,obinui pe
eantion iar ei estimatorul componentei reziduale i
din colectivitatea generala.
7. Regresia simpl

Ipotezele modelului de regresie liniar

Ipoteza 1 : Forma funcional

yi xi i y i i
Ipoteza 2 : Media erorilor este 0

0
Aceast presupunere indic faptul c media valorilor Y
este condiionat de X ,adic nu exist variabile omise
asociate cu regresia n populaie.
Ipoteza 3 : Homoscedasticitatea: dispersia reziduurilor n
populaie este constant pentru toate valorile xi

2 cst i 1, n
7. Regresia simpl

Ipotezele modelului de regresie liniar

Ipoteza 4 : Non-autocorelarea erorilor (deviaiile
observaiilor de la valorile lor ateptate sunt
necorelate)
Cov( i , j ) 0 i j
Erorile sunt independente i normal distribuite cu
medie zero i variaie constant. Nu exist deci
corelaie ntre reziduuri
Ipoteza 5 : Necorelare ntre regresor i erori

Cov( xi , j ) 0 i si j

Chiar dac valorile xi sunt numere fixate sau sunt

variabile aleatoare ,ele sunt statistic independente de
variabila eleatoare i
Ipoteza 6 : Variabila
aleatoare este normal distribuit
2

i ~ N (0, )

7. Regresia simpl

Estimarea parametrilor modelului de regresie

Criteriul ales pentru determidarea parametrilor a i
b este minimizarea sumei ptratelor deviaiilor
(rezudurilor

Condiiile de ordinul I de minimizare a funciei sunt:

S
x

n
a

b
yi
0

a
i 1
i 1

n
n
n
S
a xi b xi2 xi y i
0
i 1
b
i 1
i 1

Condiiile de ordinul II: matricea derivatelor pariale de ordinul

doi trebuie s fie pozitiv definit
7

Estimarea parametrilor modelului de regresie

Parametrii
i
sunt determinai folosind metoda
determinanilor
astfel
:n
n
n
n

i
i 1

i 1

i 1

n x
2
i

i 1

yi xi2

n xi y i

i 1

i 1

i 1

x y
i

i 1

n x
2
i

x
i 1

i 1
2

i 1
2

xi

xi y i

x y
i

i 1

x
i 1

2
i

nx y
nx2
n

i 1

i 1

n
a

b
Se observ c, n cazul primei ecuaii:
i yi
7. Regresia simpl

Estimarea parametrilor modelului de regresie

mprind prin n, obinem
:
n

x
y b
a

i 1

yi b

i 1

xi

i, nlocuind
n ncea de-a doua
ecuaie :
n
n

a xi b xi2 xi y i
i 1

i 1

i 1

pen xi cu abaterea nfa de medie n

2

obinem:

a xi x b xi x xi x y i
i 1

i 1

i 1

Cum primul termen situat n partea stng a ecuaiei este egal cu zero, rezult:
7. Regresia simpl

Estimarea parametrilor modelului de regresie

i 1
n

x yi

x
i 1

i, n final:

x
n

i 1

i 1

x yi y

i 1

x
i 1

i 1

x y i y xi x
n

x
n

i 1

x
n

i 1

s x, y
s x2

x yi y

cov x, y
s x2

(panta dreptei), numit i coeficient de

Estimatorul b
regresie, are ntotdeauna semnul indicatorului s xy,
Estimatorul a (termenul liber) poate lua valori negative sau
7. Regresia simpl
10
pozitive.

Testarea validitii modelului de regresie folosind

metoda ANOVA
Se bazeaz pe descompunerea variaiei totale (suma
ptratelor abaterilor totale SST ) n variaie rezidual,
neexpicit (suma ptratelor erorilor SSE ) si variaie
explicit (suma ptratelor abaterilor datorate regresiei
SSR )

y
n

i 1

y yi y i y i y SST SSE SSR

2

i 1

i 1

unde : y i a bxi

7. Regresia simpl

11

Testarea validitii modelului de regresie

folosind metoda ANOVA
n concluzie, variaia total n acest caz este:

y
n

i 1

sau
unde

y yi y i y i y
i 1

i 1

2
y

2
e

2
y/x

2y variaia total, suma ptratelor abaterilor totale,SST

2y variaia explicat de model,suma ptratelor abaterilor

x
datorate regresiei,SSR
2e variaia rezidual (neexplicat), suma ptratelor
erorilor,SSE
Pentru calculul statisticii F, utilizat pentru testarea calitii
ajustrii, folosim tabelul ANOVA:
12

Testarea validitii modelului de regresie folosind

metoda ANOVA

Sursa variaiei

SS
(Sum of Squares)
(suma ptratelor=
variana)

2y / x

Regression

i 1

S y2 / x

F
(testul F)

Significance F

2y / x
k
Testul

2
y i y i
2
e

n-k-1

i 1

2e
S
n k 1
2
e

S 2y/x
F
2
Se

< 0,05

SSE
n

yi y
2
y

Total (variaia
total)

SSR

(variaia
datorat regresiei)

Residual
(variaia
rezidual)

y
n

MS
=SS : df
(media
ptratelor
=dispersia
corectat)

df
(degree of
freedom)
(grade de
libertate)

i 1

n-1

S
2
y

2y
n 1

SST=SSR + SSE
7. Regresia simpl

13

Testarea validitii modelului de regresie folosind metoda ANOVA

n evaluarea validitii modelului se verific dac variaia lui x

este un bun predictor pentru variaia lui y.
Doi indicatori alternativi pot fi utilizai pentru a msura calitatea
ajustrii pentru regresia statistic :
Abaterea medie ptratic (eroarea standard) a reziduurilor
(msur absolut a calitii ajustrii pe baza regresiei n
eantion)
coeficientul de determinaie (indicator relativ).
Este necesar s analizm componentele indicatorilor de variaie a
lui y.
n aplicarea metodei regresiei,
dependente y dou medii:
media total ( y ) i
media condiionat (

y i a bxi).

sunt

asociate

variabilei

Testarea validitii modelului de regresie folosind metoda ANOVA

Abaterea medie ptratic a erorilor n eantion,

eroarea standard, este:
n
2

yi yi

2
e
se
i1
n2
n2
unde

s2e este un estimator nedeplasat al dispersiei reziduurilor 2.

O mrime relativ a calitii ajustrii, prin

exprimarea ponderilor dispersiilor (explicat i
rezidual) n dispersia total este:
2y
2y

1,00

2y / x
2y

2e
2y

Testarea validitii modelului de regresie

folosind metoda ANOVA
Coeficientul de determinaie este:

y
n

2y / x

2y
2

2e
2y

i 1
n
i 1

i y
y
i

Raportul y / x / yreprezint proporia variaiei total care este explicat de

linia de regresie. Acesta se mai poate formula astfel:
Coeficientul de determinare reprezint proporia variaiei explicat de
modelul de regresie n variaia total:

SSR
R
0,1
SST
2

Pentru testarea validitii modelului de regresie se formuleaz cele dou

ipoteze:

Testarea validitii modelului de regresie

folosind metoda ANOVA
H0: modelul nu este valid statistic (mprtierea valorilor
t nu difer semnificativ de
datorate factorului timp y
mprtierea acelorai valori datorate ntmplrii)
H1: modelul este valid statistic
Decizia: dac

Fc F ; k ; n k 1

atunci H0 se respinge

Coeficientul de determinaie nu este ajustat cu gradele

de libertate. Dac utilizm estimatorii nedeplasai i
2
s2
s
, obinem valoarea
y
e ajustat a coeficientului de
R 2
determinaie
.

R 1

2e / n k 1
2y / n 1

7. Regresia simpl

17

Testarea semnificaiei parametrilor modelului

de regresie

Testarea semnificaiei parametrilor modelului

Ecuaia de regresie:
y i xi i
la nivelul colectivitii generale este:
la nivelul eantionului este:
yi a bxi ei
Testarea semnificaiei parametrului :
H0 : = 0 (adic nu este semnificativ diferit de zero, deci nu este
semnificativ statistic)
H1 : 0, (adic este semnificativ diferit de zero, deci este
semnificativ statistic)
Daca n 30 avem eantion de volum redus deci vom utiliza testul t
(Student)
Decizia: dac , t calc t / 2;n 2 H0 se respinge
Determinarea lui tcalculat se face cu relaia :

S a s e

x
n x x
2
i

t calculat

a
a

S a

7. Regresia simpl

18

Testarea semnificaiei parametrilor modelului

de regresie

Observaii:
eroarea standard a termenului liber este
proporional cu eroarea standard
,
este mai mic dac volumul eantionului
crete
este mai mare dac
este mai mare (pozitiv
sau negativ)
ine
cont
i
de
dispersia
variabilei
independente ( ).

a det ncredere
a parametrul
t / 2,n2 s a
Intervalul
/ 2 , n 2 s a pentru
dat de:
7. Regresia simpl

este
19

Testarea semnificaiei parametrilor modelului

de regresie

Testarea semnificaiei parametrului :

H0 : 0 ( adic nu este semnificativ diferit de zero, deci nu este
semnificativ statistic)
H1 : 0 , (adic este semnificativ diferit de zero, deci este
semnificativ statistic)
Dac n 30 avem eantion de volum redus i pentru testare vom
utiliza testul t (student)
Decizia: dac , t calc t / 2;n 2 atunci H0 se respinge
b b
Determinarea lui tcalculat se face cu relaia :
t calc
se
S b
S
b

xi
i 1

Intervalul de ncredere pentru parametrul

b t / 2,n 2 s b b t / 2,n 2 s b
7. Regresia simpl

20