Ipoteze în fundamentarea modelului de regresie liniară multifactorială

Unui model de regresie i se asociază o serie de ipoteze pentru a obţine estimaţii de maximă
verosimilitate.
I1) Forma funcţională este liniară : 𝑦 𝛽 𝛽𝑥 𝛽𝑥 𝜀.

I2) Erorile aleatoare au media zero: 𝐸 𝜀 0, 𝑖 1,2, . . . , 𝑛.

I3) Homoscedasticitatea erorilor aleatoare: 𝐷 𝜀 𝑉𝑎𝑟 𝜀 𝜎 𝜎 ,𝑖 1,2, . . . , 𝑛.

I4) Erorile aleatoare nu sunt autocorelate: 𝑐𝑜𝑣 𝜀 , 𝜀 0 pentru 𝑖 𝑗

I5) Necorelarea între regresor şi erorile aleatoare: 𝑐𝑜𝑣 𝜀 , 𝑥 0 pentru orice i .

I6) Erorile aleatoare au distribuţie normală: 𝜀 ~𝑁 0, 𝜎 .

I7) Necoliniaritatea variabilelor explicative. Nu există proprietatea de multicoliniatitate perfectă

între variabilele explicative. Variabilele explicative sunt liniar independente (nu pot fi scrise ca o
combinaţie liniară perfectă a celorlalte variabile explicative). În caz contrar, nu este posibil să se
estimeze efectul liniar separat al fiecărui regresor asupra variabilei dependente.

Comentarii despre ipoteze.

I1) Ipoteza de liniaritate se referă la parametrii modelului şi la termenul eroare.
Modelul trebuie să fie liniar în raport cu parametrii modelului şi cu termenul eroare dar poate să nu fie
liniar în variabilele independente.

I2) Erorile aleatoare au media zero. 𝐸 𝜀 |𝑥 𝐸 𝜀 0, 𝑖 1,2, . . . , 𝑛.

Eroarea aleatoare 𝜀 este văzută ca suma efectelor individuale ale unor factori aleatori, cu semne
diferite. Înseamnă că, în medie, factorii neînregistraţi nu au efect asupra mediei variabilei Y. Valorile
pozitive şi negative ale lui 𝜀 se anulează între ele.

I3) Erorile aleatoare au dispersia constantă pentru toate observaţiile, adică sunt homoscedastice:
𝑉𝑎𝑟 𝜀 𝐷 𝜀 𝐸 𝜀 𝐸 𝜀 𝜎 𝜎 ∀ 𝑖 1, 𝑛.
Deoarece 𝐸 𝜀 0, ipoteza de homoscedasticitate poate fi exprimată într-o formă echivalentă:
𝐸 𝜀 𝜎 𝜎 ∀ 𝑖 1, 𝑛.
Aceasta este proprietatea de homoscedasticitate a erorilor aleatoare. Pe baza acestei ipoteze se poate
admite că legătura dintre variabilele Y şi X este relativ stabilă.
Dacă ipoteza de homoscedasticitate nu este îndeplinită, erorile aleatoare sunt numite heteroscedastice.

I4) Erorile aleatoare nu sunt autocorelate. Nu există corelaţie între doi termeni eroare. Înseamnă că
termenii eroare sunt aleatori. Se scrie sub forma: 𝑐𝑜𝑣 𝜀 , 𝜀 0 sau 𝐸 𝜀 𝜀 0 pentru 𝑖 𝑗.
Nu înseamnă că 𝑦 şi 𝑦 sunt necorelate ci că abaterile valorilor observate de la valorile medii sunt
necorelate.

I5) Necorelarea dintre erorile aleatoare şi regresori: 𝑐𝑜𝑣 𝜀 , 𝑥 0pentru orice i .

Erorile aleatoare sunt independente de variabilele explicative.

I6) Erorile aleatoare sunt presupuse a fi normal distribuite, pentru orice i.

𝜀 ~𝑁 0, 𝜎 , ∀ 𝑖 1, 𝑛.

1
Testarea Autocorelării erorilor aleatoare
Testul Durbin-Watson.
Prin acest test se verifică dacă există autocorelare de ordinul întâi în seria reziduurilor.
∑
Statistica Durbin-Watson: 𝐷𝑊 𝑑 ∑
Proprietăţi ale statisticii DW:
∑
P1. 𝐷𝑊 2 1 𝜌 , unde 𝜌 𝑟 , este coeficientul de corelaţie de selecţie.
∑
P2. 0 𝐷𝑊 4
P3. Statistica DW nu urmează o distribuţie clasică. Valorile sale critice sunt tabelate. Distribuţia de
selecţie a statisticii DW depinde de numărul de variabile explicative (k) şi de volumul selecţiei (n).
Pentru un nivel de semnificaţie dat, tabelul conţine două valori critice:
limita inferioară 𝑑 şi limita superioară 𝑑 .
Se localizează valoarea statisticii DW în una din următoarele 5 regiuni de decizie:
Dacă 0 𝐷𝑊 𝑑 , seria reziduurilor prezintă autocorelare de ordinul 1 pozitivă. ⇒ 𝜌 0
Dacă 𝑑 𝐷𝑊 𝑑 ⇒Indecizie. Se recomandă acceptarea autocorelării pozitive.
Dacă 𝑑 𝐷𝑊 4 𝑑 ⇒ reziduurile sunt independente
Dacă 4 𝑑 𝐷𝑊 4 𝑑 ⇒Indecizie. Se recomandă acceptarea autocorelării negative
Dacă 4 𝑑 𝐷𝑊 4, seria reziduurilor prezintă autocorelare de ordinul 1 negativă. ⇒ 𝜌 0

reg1 reg2 reg 3 reg 4 reg 5

0 d1 d2 4-d2 4-d1 4

Problema1.
Pentru un model econometric se cunosc: 𝜌 0,54 (coeficientul de autocorelaţie de ordinul I din seria
reziduurilor) şi valorile critice d1=1,24 şi d2=1,56. Testaţi autocorelarea erorilor aleatoare.
Precizaţi cele 5 regiuni de decizie şi concluzia privind autocorelarea erorilor aleatoare.
Rezolvare:
Ipotezele de testat sunt:
𝐻 : 𝜌 0 (nu există autocorelarea de ordin I a erorilor aleatoare)
𝐻 : 𝜌 0 (există autocorelarea de ordin I a erorilor aleatoare).

Dacă 0 𝐷𝑊 𝑑 , seria reziduurilor prezintă autocorelare de ordinul 1 pozitivă.

Dacă 𝑑 𝐷𝑊 𝑑 ⇒indecizie. Se recomandă acceptarea autocorelării pozitive.
Dacă 𝑑 𝐷𝑊 4 𝑑 ⇒ reziduurile sunt independente
Dacă 4 𝑑 𝐷𝑊 4 𝑑 ⇒indecizie. Se recomandă acceptarea autocorelării negative
Dacă 4 𝑑 𝐷𝑊 4, seria reziduurilor prezintă autocorelare de ordinul 1 negativă.

Calculăm statistica 𝐷𝑊 2 1 𝜌 = 2*1,54=3,08

.
regiunea1 regiunea2 regiunea 3 regiunea 4 regiunea 5
0 d1 d2 4-d2 4-d1 4
0 1,24 1,56 2,44 2,76 4

Avem 4 𝑑 𝐷𝑊 4
𝐷𝑊 ∈ regiunii 5  Autocorelare negativă de ordin I a erorilor aleatoare.

Problema2.

2
Presupunem ca am obtinut statistica 𝐷𝑊 2 1 𝜌 = 2,68
Avem 4 𝑑 𝐷𝑊 4 𝑑 ⇒
𝐷𝑊 ∈ regiunii 4  Indecizie. Se recomandă acceptarea autocorelării negative.
Aplicaţii la Testarea Homoscedasticităţii erorilor aleatoare

Reamintim Testul White

Mai întâi se estimează modelul prin MCMMP şi se reţin reziduurile.
Testul White implică regresia pătratelor reziduurilor, 𝑒 , în funcţie de toate variabilele explicative, de
pătratele variabilelor explicative şi de produsele lor încrucişate.
Considerăm modelul cu 2 variabile explicative:
𝑦 𝛽 𝛽𝑥 𝛽𝑥 𝜀
Pas1. Estimăm modelul iniţial de regresie prin MCMMP şi reţinem reziduurile 𝑒 .
Pas2. Construim o regresie auxiliară:
𝑒 𝑎 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑥 𝑢
(În modelul cu o variabilă explicativă, regresia auxiliară va conţine ca variabile exogene: 𝑥 şi 𝑥 ).

Pas3. Estimăm regresia auxiliară prin MCMMP. Obţinem coeficientul de determinaţie multiplă din
regresia auxiliară, coeficient notat 𝑅 .

Verificăm validitatea regresiei auxiliare (semnificaţia parametrilor modelului auxiliar), iar dacă unul
din acești parametri este semnificativ, atunci acceptăm ipoteza H1, de heteroscedasticitate a erorilor .

𝐻 :𝑎 𝑎 𝑎 𝑎 𝑎 0 (există homoscedasticitate)
𝐻: ∃ 𝑎 0 (există heteroscedasticitate)

Observație: Există două variante de aplicare a testului White:

 Utilizarea testului clasic F, bazat pe statistica F şi pe ipoteza 𝐻 : 𝑎 𝑎 𝑎 𝑎 𝑎 0
 Utilizarea testului LM, folosind statistica 𝑊 𝑛𝑅
Sub ipoteza nulă, că există homoscedasticitate, White a arătat că statistica 𝑊 𝑛𝑅 urmează
asimptotic o distribuţie 𝜒 cu gradele de libertate date de numărul de regresori din ecuaţia auxiliară.
𝐿𝑀 𝑊 𝑛𝑅 ~𝜒 .
În modelul considerat avem df=5.
Pas4. Dacă 𝑊 𝑛𝑅 𝜒 ; , sau dacă P-value este mai mică decât nivelul de semnificaţie
ales, respingem 𝐻 şi acceptăm 𝐻 ⇒ erorile aleatoare sunt heteroscedastice.

Problema1.
Modelul 𝑦 𝛽 𝛽𝑥 𝛽𝑥 𝜀 a fost estimat prin mcmmp. Am obtinut seria reziduurilor (𝑒 ).
Considerăm regresia auxiliară,
𝑒 𝑎 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑥 𝑢.
Rezultatele estimării modelului auxiliar sunt:

𝑒 = 65,2038 3,4665 𝑥  5,0384 𝑥 + 0,0452 𝑥 + 0,1193 𝑥 + 0,1608 𝑥 ⋅ 𝑥

(249,56) (13,7335) (7,9813) (0,1847) (0,4251) (0,2814)

Să se testeze Homoscedasticitatea erorilor aleatoare folosind testul White (𝛼 0,05 iar 𝑡 2,447).
Rezolvare:
Ipotezele de testat sunt:
𝐻 :𝑎 𝑎 𝑎 𝑎 𝑎 0 (există homoscedasticitate)

3
𝐻: ∃ 𝑎 0, 𝑖 1, . . . ,5 (există heteroscedasticitate)
Dacă toţi coeficienţii din H0 sunt nuli  Erorile aleatoare sunt homoscedastice.
Dacă cel puțin un coeficient este semnificativ 0  Erorile aleatoare sunt heteroscedastice.
Testăm dacă acesti coeficienţi sunt nesemnificativi. În acest scop calculăm statisticile t şi le
comparăm cu t-critic.
, ,
𝑡 0,2524 , 𝑡 0,6313,
, ,
, , ,
𝑡 0,2448, 𝑡 0,2805 , 𝑡 0,5714
, , ,
Comparăm statisticile t cu t-critic. Toţi coeficienţii din H0 sunt nuli 
 Acceptăm H0  Erorile aleatoare sunt homoscedastice.

Problema2.
Modelul 𝑦 𝛽 𝛽𝑥 𝛽𝑥 𝜀 a fost estimat prin mcmmp. Am obtinut seria reziduurilor (𝑒 ).
Considerăm regresia auxiliară, 𝑒 𝑎 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑎 𝑥 𝑥 𝑢.
Rezultatele estimării modelului auxiliar sunt:
𝑒 = 9,9898 + 1,6567 𝑥 + 2,5453 𝑥  0,0436 𝑥  0,1152 𝑥  0,2709 𝑥 ⋅ 𝑥
𝑠𝑒 = (122,36) (1,5572) (55,9422) (0,0133) (6,3935) (0,3484)
𝑡 = (0,0816) (1,0639) (0,0455) (3,2867) (0,0180) (0,7776)
𝑝 = (0,9363) (0,3083) (0,9645) (0,0065) (0,9859) (0,4519)
Să se testeze Homoscedasticitatea erorilor aleatoare folosind testul White (𝛼 0,05 iar 𝑡 2,179).
Rezolvare:
Ipotezele de testat sunt:
𝐻 :𝑎 𝑎 𝑎 𝑎 𝑎 0 (există homoscedasticitate)
𝐻: ∃ 𝑎 0, 𝑖 1, . . . ,5 (există heteroscedasticitate)
Dacă toţi coeficienţii din H0 sunt nuli  Erorile aleatoare sunt homoscedastice.
Testăm dacă acesti coeficienţi sunt nesemnificativi. Putem calcula statisticile t şi le comparăm cu t-
critic. Mai simplu este să ne uităm la probabilităţile asociate statisticilor t.
Coeficienţii 𝑎 , 𝑎 , 𝑎 , 𝑎 au „p-value” > 0,05 , deci nu sunt semnificativi statistic.
Doarece „P-value” = 0,0065 < 0,05  𝑎 0  Acceptăm H1
 Erorile aleatoare sunt heteroscscedastice.

Problema3.
Modelul 𝑦 𝛽 𝛽 𝑥 𝜀 a fost estimat prin mcmmp. Am obtinut seria reziduurilor (𝑒 ).
Considerăm regresia auxiliară,: 𝑒 𝑎 𝑎 𝑥 𝑎 𝑥 𝑢.
Rezultatele estimării modelului auxiliar sunt:
𝑒 = 166,2761 1,7649 𝑥 + 0,0052 𝑥 , 𝑅 0,2255
𝑠𝑒 = (98,97) (1,2525) (0,0036) , 𝐹 1,019
𝑡 = (1,68) (-1,409) (1,4275) , 𝑃𝑟 𝑜 𝑏 𝐹 0,4088
𝑝 = (0,1368) (0,2016) (0,1964)
Să se testeze Homoscedasticitatea erorilor aleatoare folosind testul White (𝛼 0,05 iar 𝑡 2,36).
Rezolvare:
Ipotezele de testat sunt:
𝑯𝟎 : 𝒂𝟏 𝒂𝟐 𝟎 (există homoscedasticitate)
𝑯𝟏 : 𝒂𝟏 𝟎 𝒔𝒊/𝒔𝒂𝒖 𝒂𝟐 𝟎 (există heteroscedasticitate)
Coeficientul 𝑎 nu este semnificativ statistic (p-value=0,2016>0,05).
Coeficientul 𝑎 nu este semnificativ statistic (p-value=0,1964>0,05).
Acceptăm H0  erorile aleatoare sunt homoscedastice.

4
Altă variantă de analiză:
Statistica 𝐹 1,019 şi 𝑃𝑟 𝑜 𝑏 𝐹 0,4088 înseamnă că acceptăm H0  erorile aleatoare sunt
homoscedastice.

Multicoliniaritatea variabilelor explicative

Multicoliniaritatea este un fenomen specific eşantioanelor.
Deşi teoria spune că toate variabilele explicative sunt importante pentru analiza variabilei dependente,
eşantionul obţinut poate să nu permită includerea tuturor variabilelor în analiză.

 Detectarea multicoliniarităţii pe baza coeficienţilor de corelaţie dintre var. explicative.

Între variabilele X1 şi X2 există o legătură directă aproape perfectă.

𝑟 , 0,998962  deoarece 𝑟 , 0,85  Variabilele X1 şi X2 sunt aproape perfect corelate
 Există Multicoliniaritate
 Criteriul lui Klein.
Se foloseşte pentru identificarea dependenţelor liniare dintre 2 variabile exogene.
Variabilele 𝑥 , 𝑥 sunt coliniare dacă 𝑅 𝑟 ,
Pas1. Se estimează modelul complet (cu k regresori) şi se reţine R-Squared, notat 𝑅 .
Pas2. Se calculează matricea de corelaţii liniare ale variabilelor explicative 𝑟 , ,
Pas3. Dacă 𝑅 𝑟 se identifică perechile de variabile puternic corelate (𝑥 , 𝑥 ).
𝑅 0,963504, 𝑟 , 0,998962 iar 𝑟 , 0,997925.
Avem 0,9635 0,9979  𝑅 𝑟 ,  Variabilele X1 şi X2 sunt puternic corelate
 Există Multicoliniaritate

Analiza reziduurilor (erorilor estimate)

În aproape orice analiză de regresie este util un grafic al erorilor estimate sau reziduurilor (pe axa
verticală) raportate la valorile ajustate ale variabilei dependente (pe axa orizontală). O bună aproximare
are nu numai valori mici pentru reziduuri dar şi o reprezentare grafică a acestora în jurul axei orizontale
fără un model aparent, specific. Un grafic al reziduurilor care arată un anumit model cum ar fi o
mulţime de reziduuri pozitive urmate de o mulţime de reziduuri negative, indică faptul că cel puţin una
din ipotezele impuse modelului de regresie nu este îndeplinită sau indică folosirea unei forme
funcţionale greşite.
Testul Jarque-Bera (JB) privind normalitatea reziduurilor (erorilor estimate)
Testul Jarque-Bera este un test asimptotic, bazat pe reziduurile obţinute în urma estimării modelului
de regresie prin MCMMP.
Acest test calculează mai întâi coeficientul de asimetrie şi coeficientul de boltire (aplatizare) pentru
reziduurile obţinute.
Pentru o variabilă X se defineşte 𝜇 𝐸 𝑋 𝐸 𝑋 ca moment centrat de ordinul k.

5
Coeficientul de asimetrie este : 𝑆 / (Skewness).
Coeficientul de boltire (aplatizare) este: 𝐾 (Kurtosis).
Distribuţia Normală are S=0 şi K=3. (K-3) este excesul de boltire.

Ipotezele de testat sunt:

H0: 𝑆 0 şi 𝐾 3 (Reziduurile sunt distribuite normal)
H1: Reziduurile nu sunt distribuite normal

Statistica testului este 𝐽𝐵 𝑛

Sub ipoteza nulă, că reziduurile sunt normal distribuite, Jarque şi Bera au arătat că, pentru eşantioane
mari, statistica JB urmează o distribuţie Hi-pătrat cu două grade de libertate (𝜒 ).
𝜒 𝜒 , 5,99
Dacă 𝐽𝐵 𝜒 acceptăm H0
Dacă 𝐽𝐵 𝜒 respingem H0 și acceptăm H1

Dacă probabilitatea asociată statisticii calculate este mare ( 𝛼), asimptotic, acceptăm ipoteza nulă, că
reziduurile sunt normal distribuite.
Dacă, într-o aplicaţie, probabilitatea asociată statisticii calculate este suficient de mică ( 𝛼) putem
respinge ipoteza nulă, că reziduurile sunt normal distribuite.

Problemă:
Sa se testeze ipoteza cu privire la distribuția normală a erorilor estimate, cunoscând următoarele:
n=15, Skewness=0,30624, Kurtosis=2,296679. Nivelul de semnificaţie este =0,05 iar valoarea
critică este este 5,99.
Scrieţi ipoteza nulă şi ipoteza alternativă. Nivelul de semnificaţie este =0,05 iar valoarea critică
este este 5,99. Spuneţi care este statistica testului, care este regula de decizie şi care este concluzia
aplicării testului.
Ipotezele de testat sunt:
H0: 𝑆 0 şi 𝐾 3 (Reziduurile sunt distribuite normal)
H1: Reziduurile nu sunt distribuite normal

Statistica testului este 𝐽𝐵 𝑛 urmează o distribuţie 𝜒

𝜒 𝜒 , 5,99
Am obținut 𝐽𝐵 0,5824
Deoarece 𝐽𝐵 𝜒 acceptăm H0 , adică reziduurile sunt normal distribuite.