Stepwise regression

Definiție
• Stepwise regression este un proces iterativ de construcție al unui
model de regresie.
• Scop: selectarea variabilelor independente pentru a fi utilizate în
modelul final
• Implică adăugarea sau eliminarea potențialelor variabile exogene în
modelul de regresie
Tipuri de Stepwise regression
• Selectarea variabilelor în model se realizează utilizând testul F sau
testul T, pentru testarea semnificației parametrilor
• Forward Selection: se estimează în primă fază un model de regresie
fără variabile exogene, urmând ca ulterior să se adauge iterativ
variabile exogene, scopul final este minimizarea AIC (Akaike
Information Criteria
• Backward elimination: se estimează un model de regresie liniară ce
include toate potențialele variabile exogene, urmând ca iterativ să fie
eleminată una dintre variabile, scopul final este minimizarea AIC
• Bidirectional elimination: reprezintă o combinație a metodelor
Forward și Backward, scopul fiind minimizarea AIC
Exemplu (Forward selection)
Backward elimination
Bidirectional elimination
Avantaje
• Abilitatea de a gestiona un număr mare de variabile exogene,
identificând cel mai bun model dintr-o varietate de opțiuni disponibile
• Este o metodă rapidă
• Identificând variabilele care sunt eliminate sau adăugate în model, se
poate identifica nivelul de asociere între variabilele exogene ți
variabila endogenă
Dezavantaje
• Dacă două variabile exogene sunt puternic corelate, doar una dintre
ele va fi inclusă în model
• R-Squared și Adjusted R-Squared au valori foarte mari
• Se întâmpla ca seria datelor să nu urmeze o distribuție aferenta
testelor F și Chi Square (p-value nu are întotdeauna valoarea corectă)
• Intervalele de încredere au limite apropiate
• Coeficienții de regresie pot fi deplasați, existând riscul să aibă valori
foarte mari
• Se poate întâmpla ca unele variabile să fie excluse din model, deși
este importantă includerea acestora (variabile dummy)
Aplicatie
• Pe baza setului de date USArrests, a fost estimat un model de regresie
liniara cu (y= UrbanPop, iar ca variabile explicative: Assault, Rape,
Crime). Utilizând algoritmul „forward”, specificați modelul final de
regresie.