Documente Academic
Documente Profesional
Documente Cultură
Regolarizzazione(Shrinkage)(1)
Regolarizzazione (Shrinkage)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
1/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Metodi di regolarizzazione o
shrinkage
In alternativa ai metodi di selezione discussi (best subset, forward,
backward, ibrido) possibile utilizzare dei metodi che utilizzano tutti i
predittori ma vincolano (o regolarizzano) i coefficienti portandoli
verso valori molto piccoli o pari a zero (shrinkage)
Questi metodi si configurano in effetti come metodi di selezione
automatica delle variabili.
Sono particolarmente efficaci quando p ha dimensione elevata
I due metodi di regolarizzazione pi usati sono
La regressione ridge
Il LASSO (Least Absolute Shrinkage and Selection Operator)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
2/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Regressione ridge
Nella stima di un modello di regressione, il metodo dei minimi
quadrati determina ^ = (^ , , ^ ) minimizzando
0
n
2
n
2
+ (
+ + p )
i=1
p
= RSS +
j=1
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
3/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
j=1
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
4/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Standardizzare i predittori
Nella stima dei minimi quadrati (OLS), il cambiamento di scala di una
variabile non ha effetto pratico:
se il predittore X moltiplicato per una costante c, il relativo coefficiente
stimato viene automaticamente diviso per c dagli OLS.
j
xij
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
i=1
(xij x
j )
5/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Dati Credit.csv
credit<read.csv("http://www.cs.unitn.it/~taufer/Data/Credit.csv",header=T)
head(credit)
XIncomeLimitRatingCardsAgeEducationGenderStudentMarried
1114.891360628323411MaleNoYes
22106.025664548338215FemaleYesYes
33104.593707551447111MaleNoNo
44148.924950468133611FemaleNoNo
5555.882489735726816MaleNoYes
6680.180804756947710MaleNoNo
EthnicityBalance
1Caucasian333
2Asian903
3Asian580
4Asian964
5Caucasian331
6Caucasian1151
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
6/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
^
|| ||
^
|| ||
< 1
||||
j=1
j
.
R
^
|| ||
^
|| ||
(OLS)
R
Se = 0 ,
^
|| ||
= 1
^
|| ||
Se ,
^
|| ||
^
|| ||
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
7/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
8/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Trade-off bias-varianza
R
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
9/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Simulazioni
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
10/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Ridge - OLS
Efficienza
Se p molto elevato, quasi quanto n, gli OLS tendono ad avere
elevata variabilit. Se p > n gli OLS non possono essere usati.
In entrambi i casi la regressione ridge pu funzionare piuttosto bene.
Aspetti computazionali
Nella selezione best subset con gli OLS necessario effettuare 2 fit
del modello.
p
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
11/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
12/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Regressione LASSO
L
n
2
+ |j |
j=1
= RSS + |j |
j=1
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
13/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
^
|| ||
^
|| ||
< 1
||||
|j |
j=1
.
L
^
|| ||
^
|| ||
(OLS)
L
Se = 0 ,
^
|| ||
= 1
^
|| ||
Se ,
^
|| ||
^
|| ||
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
14/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
15/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
i=1
con il vincolo
j=1
|j | s
j=1
e
n
i=1
j=1
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
con il vincolo
j=1
16/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
17/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Best subset
Analogamente, possibile verificare che la best subset selection
minimizza
n
i=1
con il vincolo
j=1
I (j 0) s
j=1
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
18/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
19/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Confronto grafico
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
20/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
21/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Selezione di
Per selezionare (dettagli pratici nel laboratorio):
1.
2.
3.
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
22/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
23/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
24/25
4/20/2015
Regolarizzazione(Shrinkage)(1)
Riferimenti bibliografici
An Introduction to Statistical Learning, with applications in R.
(Springer, 2013)
Alcune delle figure in questa presentazione sono tratte dal testo con il
permesso degli autori: G. James, D. Witten, T. Hastie e R. Tibshirani
file:///C:/Users/emanuele.taufer/Dropbox/3%20SQG/Classes/6b_LASSO.html#(1)
25/25