CH 01 Statistical Learning

Statistical Learning
Trevor Hastie and Robert Tibshirani
Statistics in the news

How IBM built Watson, its Jeopardy-playing
supercomputer by Dawn Kawamoto DailyFinance
02/08/2011
Learning from its mistakes According to David
Ferrucci (PI of Watson
DeepQA technology for
IBM Research), Watsons
software is wired for more
that handling natural language processing.
Its machine learning allows the computer to become smarter
as it tries to answer questions and to learn as it gets them
right or wrong.
2 / 29
For Todays Graduate, Just One Word: Statistics

By STEVE LOHR
Published: August 5, 2009
Next Article in Technology (1 of 20)
SIGN IN TO
RECOMMEND
MOUNTAIN VIEW, Calif. At Harvard, Carrie Grimes majored in

anthropology and archaeology and ventured to places like Honduras,
where she studied Mayan settlement patterns by mapping where
SIGN IN TO
E-MAIL
PRINT
artifacts were found. But she was drawn to what she calls all the
computer and math stuff that was part of the job.
REPRINTS
SHARE
Enlarge This Image
People think of field archaeology as

Indiana Jones, but much of what you
really do is data analysis, she said.
Now Ms. Grimes does a different kind
of digging. She works at Google,
where she uses statistical analysis of mounds of data to
Thor Swift for The New York Times
Carrie Grimes, senior staff engineer at

Google, uses statistical analysis of
data to help improve the company's
search engine.
come up with ways to improve its search engine.

Ms. Grimes is an Internet-age statistician, one of many
who are changing the image of the profession as a place for
dronish number nerds. They are finding themselves
Multimedia
increasingly in demand and even cool.

I keep saying that the sexy job in the next 10 years will be
statisticians, said Hal Varian, chief economist at Google.
And Im not kidding.
Quote of the Day,

New York Times,
August 5, 2009
I keep saying that the
sexy job in the next 10
years will be statisticians.
And Im not kidding.
HAL VARIAN, chief
economist at Google.
Subscribe to Technology RSS Feeds
3 / 29

4 / 29
Statistical Learning Problems

Identify the risk factors for prostate cancer.
Classify a recorded phoneme based on a log-periodogram.
Predict whether someone will have a heart attack on the basis
of demographic, diet and clinical measurements.
Customize an email spam detection system.
Identify the numbers in a handwritten zip code.
Classify a tissue sample into one of several cancer classes,
based on a gene expression profile.
Establish the relationship between salary and demographic
variables in population survey data.
Classify the pixels in a LANDSAT image, by usage.
5 / 29
o
o
o oooo
ooo o oo oo
ooo ooo oooo o
ooo oo
ooooooooo
ooo ooooooo o
ooo oooo
ooo
o
o
oooo
o
oo o oooo o
o o
o
o
4
o
o o
o
oo o
o
o ooooooooo oo
oo oooo o
o oooooooo
oooooo
oooo
o
oo
oo
o
o
oooooo ooo
o o
oo
oo
oo oooooo
oo
o
o oo
o
oo oo
lcavol
o o
oo
oo o
ooo o
ooooo
oo
ooooo oo oo
oooo o
oo oooo
oo oooooo
oo
oooooo o
oo o
o oooooooo o o
o ooo
ooooooo
o
oo
o
o
o o o oo
o
oo ooo oo oo oo
o ooo o
oooo ooooo o
ooooo oo
o o o ooooo ooooooo
oo
o
o
o
o
o
o
o
o
oo o oo o o
o
oo
oooo
oo
oo
o
o ooo
o
o
oo o
oo oo
ooo
oooooo
ooooooo oo oo
ooo
oooo o
oooo
ooo
oo
ooooooo
ooooo
o
o
ooo ooo o
o o oo
oo
o
o o
o
o
o
o
o o
ooo
o
o o ooo oo o
o ooo ooo
oo oo o
o
ooooo
o ooo ooo
oo oooo
o
oo
ooo ooo
o
ooooo
oooooo
ooo
oo o ooooooooo o o
o
o
oo o
o
o
o
o
o
o ooo oo
oo ooo
oo oo
o
o ooooooooooo
oo o oo o o
o
o
o o ooo o
o
o
oo
o
o
o
o
oo
o ooooooooooooooooooooooooooooo
o oo ooo
oo o
o oooo ooo o
oo
o
o
o o o oooo o oo
o o o
ooo o o
ooo o
o
o
o
o
oooooo ooooooooo
oooooooooooooo o
ooooooooo
ooooooo
ooooo oo
ooooooooo
40
o
o
o
o o
o o oo o
ooooooo
oooo
oo oo
o oo oo
ooo oo o
oooo
ooo
o
o
o
o
o
o
o ooooo oooooooo
oo
o ooo oo
o oo
o
o
o
oo oo
50
60
70
80
0.4
0.8
6.0
o
o
o
o
o
o
oo
o
o o o oo o oo oo
o
o oooo ooo
o
o
o
oo
o
oo o
o
ooo
oo
o
o
o o
o
ooo oooooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o ooo
ooo
o
o oooo
ooooo ooo o
o ooooooo oo o
oooo oooooooo
o ooo o
oo
oooo oo
o oooooooo o o
o
ooo o o o
oo oooo o o
ooo o
oo
o
o o oo
oo o o
ooo
oooo o oo
oo
oo
oo
oo
ooo
oo
oo
oooo o o
o oooooooooooooo o
oooo oo o
o
o
oo o
o o
o o o o ooo o
o
o o
o
o
o
o
o
o
o
o
o o
o ooo o o
o
o
oooooo
o
o o oooo o o oo oo
o
o
o o o ooo o oo
o
o
oo o
o
oooooo
o
o
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o oo
o
o
o ooo ooooo o
o o
oo
o
o oooooooo
o o
o
ooo
o
o o
oo
o
o
o
o
o ooo
o
o
o oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
lweight
o o
oo
o oo o
o
oo o
oo
o o
ooo oo
ooo
oooo
o
oo
oo
o oo
oooo
ooo
o
ooo
o o o ooo
ooooo oo o
o
o
o oo o
o o
o o o oo
oo o
oo
o
o
o
o
o o o
o o
o
o
o oo oo
o
oooo
o
oooo
o ooo
oo oo
o
o
o
o
o
oo ooooo
o
o oo
o
o
o
oo oooooo
o
o o
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
age
lbph
o
o
o
o
o
o
o
o
o
o
o
o
o oo
o
oo
o
0.0
o oo
o o
oooooooooo
o oo
oo
o o oo
oo
ooo
ooo
oo
ooo
ooooo oo
oo oooo
oooo
ooo o
oooo o
o oo
o
o
o
o o oo o
ooo o oo oo o
o o
oooo
ooooo o
oooo oooo
ooo
oo
oo oooo o
o oo
oooo
o
oooooo
ooooooo
oooo
oooo o
oo
o oo o
o
o
o
oo
o
o
oooooo o
o
oooooo
oooooooo
o o
o o
oooooo
o
oo
ooooo o o
o
o
o
o
o
o oooooooo
oo
ooooooooooooo o o
oooooooooooo
oo o
ooo
o
o o o
o
o oooo
o
oo
o ooo
ooo
o oo
oo
o o
o
o ooooooo
oo
o
o
o
o
ooo o ooo ooooooo
oo
oooooo oo
o
ooooooooo ooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o o o o ooo oo
o oo
o o
o
o
o
o
oooooo oo ooo
o
o o ooo oooo o
o
o
o
o oo
o
o
o
o
o o
o
o
o
oo o o oooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo o
o
oo ooooo oooo
o
o
o o oo o oo
oo oo
o oo oo o o
o
o
o o ooooo
o oo o
o
o
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o oo
o
oo oooooo oo
o
o
o o ooo
o oo o
o o
o
oo o oo
o
oo oo
o
o
o o oo o o o
o
o
o oo
o
o
o
o
o
o
o
o
o o o o o oo
o
o o
o o
o
o
o
o oo
ooo oooooooo ooo o
oo
o
o
o
o
o
o ooo
o oo o o o
o
o
o
o oo o oo o
o
o
o
o
o
o
o
o
o
o oo o
o
o o
o
o
o
o
o o
o o
oooo
o
o ooo o
o o o
o
o o
o
o o
o
o
o
o
o
o
ooo
o ooo oooo o oooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oooo oooooooo
ooooo
7.0
8.0
9.0
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
0.8
40
50
60
70
80
lpsa
o oooo
oo
ooooo
oo
ooooooo
ooooo
oo
o
oo
ooooo
ooooooooooo o
oo oo
o o oooooooooo
ooo
oo
ooooooooo oo
o oo o o o
oooo o
o
ooo o
oo ooooo o o
o o
oo
o oooo
o oo oo
ooooooooooo
o
oo
o oo
oooooooooooooooooooooooo
o
ooooo
oo oo
o ooooooo
ooo o
oo
o oooo
oooooo
o o
o oooo o
oo
ooooooo oooooooo oooooooo o oo
o
o
ooooo oo
oo
ooooo oo
o ooo o
oo
o o o oo o
oo o o
o
o o ooooooo oo
o
o oo ooooo
oo
ooooooooooooooooooo
o
o
o o oo oo
ooooo o
oo
oo
o
oo o
oo
o
o
ooo o
oooo
o
o
o ooo oooo
oo oo
oo ooo o ooooooo
ooooooooooo oo
oooo o
o
6.0
7.0
9.0
ooooooo oooooooooooooo
ooooooooooooooo oo
8.0
0.0
0.4
svi
oo
o oo
ooooooooooooooooooooooooooo
ooooooo
ooooooooooooooooooooo
o oo
oo
oooooooo
oo oooooooooooooooo
oooooo ooooooo ooooooooo o
oo
o
o
oo
o oo oo o
o ooooooo
o oo
ooo o o
oo o o oo
oooo o o
o
oooo
o
o
oooo
o ooo o
o
ooo
oo
o oo
oooooooooooooooo
o
o o
o
oo
o oo o
ooo oo o
oo
o
ooo oo o o
o
o
o
o
oo oo oooooo o o o o
o
o oo oo
oooo
ooo
ooo o
oooooo ooooooooooo
0 1 2 3 4 5
oo o oo
oo
o oo
oooooooooooooooo oo
o o o o
o oooo
oo
oooooooooooo oo oo
o
o o
o oo
ooooo
ooo oo o o
o oo
o
ooooo
o ooo o o o
oo ooo o
o o
o
o oo oo oo
ooooooo
oo
oooooooooooooo ooo oo o
3.5
4.5
o o o ooooooooo
oooooooooo
oo
o
o
oooo
oo
o
o o
o
oo o o
ooo oo o
o
ooo oooooooooooo
o
o
o
o
o o
o
o o
o oooooooo o oooooo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o o oooooooooo
o
o
o
o o o
o
o
o oo
oo
o
o
o
o
o ooooo
o
o o
o oo
o
oo ooo oo o
o o
o
o
o
o o
o
o o o ooooooooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o o
o o
o
o oo o
oo oo
o o ooooo o
o o
oo oo
ooo oo o
oo oo
ooooo oo o
o o
o o
o o oo o
oo o
ooo ooooo
o ooo
ooooooooo
o
o
o
o
o
o
o
o
o
o
o
o
lcp
o
o
o
o
o
o
o oo
o o oooo o oooo
oo
oooooooo
ooo
oo ooo o oo ooo
ooooooooo
ooooo ooooooo
oo
oooooooo
oo
oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
ooo
oo
ooooooooo oo
o o oooooooooooooo
oo
2.5
o oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o o o oo o
o oo ooo
o
o
o
o ooo
o o o
o
o
o
o
o o o
o
o oo o
o
o oo
o
oo oo o o o
oo
o
0
o
o
o
o
o
gleason
o ooooooooooo ooooooooo
ooo o
o oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
6 / 29
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o oo
oo
oo
o oo ooo o
ooo o
ooo
lweight
o
oooo ooo o
oooooo
o oo
ooooooo oooooooo
ooo
o o ooo
oo
oooo o o o oooooo o
ooo
o
ooo
oo
oooo
ooooooo
ooooooo
oooooooo oo
ooo
oo
oo
o
ooo
ooooooooooooooooooooooo
oo
ooooo
ooo o
oo ooooooo
ooooooo
oooo o
ooo
o
ooo
ooo
oo
oo oo oo
o oo oo
o
o
o
o
oooo
oo oo
o ooo o
o
o
o
o
o ooo
o o ooo
o oo oo o
oo
ooooooo oo o
oooooo
oooo
oo ooo oooo oo oooooo
oooooo
o
o
o
o
o
oo ooooo o
oooooo o
o ooo
ooooo
o
oooo oooo
o ooo
oo oo
o oo
ooooo
oo
oo
oooooooo
oooooooo
ooooooo
o
ooooooooo
o oo
age
o o oo o
oo o oooooooooo o
oo
oo
o
o
o
o
oo o
o o
o oo o
o
o o
o
o
o o
o
o
o
o
o o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooo o
o
oo
oo oo
oo
o
o oo
o ooooo oooo
oo o
oo o
oo
oooooooooooo
o
ooooooo
o
ooo o
o ooooooooo
o oooo
o
ooo o o o
o o o oooo o oo
o oo
oo
oooooo
oo
o o
o o
o oo
o o o
o o oooo
o
ooo o o
oooo
o
oo
oooo
oooooooo
o o
o oo
o
o
o
o
o o
oo
oo o
o
ooo
o
ooooooooooooooooooooooooo
oooo
oooooooooooo
oo
oooooo
ooooooooooooo
ooooooooo
oo
oooooooooooooo o ooooooo
oooooooo
ooooooooooooooo
ooooo oo
oooooooo
oooooo
ooo
oooo o
o o oooo
ooooo ooo
o
o
o
o
o o ooooooo
oo
o o o
o
oooooooooooo
o
o
o
o oooo
oooo ooo
o
o
o
o
o
o
o o o
o
o o o ooo oo
o
ooo
ooooo oooo
o
o
o
o ooooo
oo
o
o oo
o
o
o ooo
o o
o o oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
lbph
o
o
o
o
o
o
o
o
o
o
o
o
o oo
o
o
o
oo o
o
o
ooooo oo ooo
o o
o
o oo ooo
o o
oooooooo o
o oo
o
o
o
o
o o
o o ooooo
o
o oo
oo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o o
oo
o
oo oooooo oooo
o o o
o
oo oo
oooo
o
oo oo o
o
o
o oooooo o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o oo
o
o
o
oo o ooooooo oo
o
o
o
o
o
oo
o oo oooo
o
o o
o ooo ooo ooooo ooo
o
o o
o oo oooo o o
o
o
o o
o
oo
o o
ooo o oo
oo
o
o
o o
o
o
o
o o
o ooo oooooo o
o
o
oo oo oo ooo oo
o
o o
o o oo
oo
o
oo
o
o
o o
o
o
o
o o
o
o
o oo
o
o
o o oo oo oo o o
o
o
o
o
o
o
o ooo
o
o o
o o o
o
o
o o
o
o
o o oo
o
o
o o
o o
o o ooo ooooo oooooo
ooo
o
oooooooooooo
ooooo
o
o
o
o o o o o ooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
7.5
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
9.0
o
o
o
o o
o o
o
o
o
o o o oo o o
oo o
o oooooo o o o
o oo
o
o o
o
o
oo
o o
o
ooo
oo
oo
o
oo o o
o o oo
o
o
o
o
o
o o
o
ooo o
o o o o o oo
o
oo oo o o
o
oo
oo o o
oo o
o o
o
oooo
oo
oo
ooo o o oo
o
ooo oo o o o
o o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
0 1 2 3 4 5
6.0
o
o
o
o
o
o
o
o oo
o o
o
o oo o o
o
o
o
oooo oooooooo
o
o
o o oo o o
oo o oo
o
oo oooooo o
o
o
o
o
o
o
o
o
o
o
o
o
o
0.8
o
o
o
o
o oo o o
oooo
o
o
o
oo
oooo
ooo
o o
ooo o
ooo o
o o
o o
oo
oo
oooo
o
o o
ooo o o o o o
o o
o
o
o
o oo
o
o
o o
o
ooooo o o
o
o oo
o oo
oooo
ooo
o o
oo o o
oo
oo
ooo o
oo o o o o
o o
oo o
o
ooo
o
oo
o
o
o
o
ooo
oo
o o
ooo o o o o
o o oo o o
o oo oo o o oo
o oo o o o
o o
o
o
o o o
o oooooo o o o o o o o
o
ooo ooo o o ooo o o
o
oo
o o
o o ooo
oo
o o ooooo
ooo o
o
oo
o
o
ooo
oo
oo
o
oo
oo
oo
oooooo o
o oooooooo
oooo
oo
o
o
o oo oo
o oo o ooo o
o o
oo
o
o
0.4
o
o
o
o
o
o
o
o
o
o
o
o
o
o
0.0
o o
o
o
o
o
oo
o
o o oo o o oo
o
o oooo
o
ooo
o
o
o
o ooo
ooo
o
o
o
ooo ooooooooooo
o
o o
o
o
o
o o
o
o
o
60
80
o
o oo
o o
ooo
oo
oooooo
o
o
ooo
oooo o
ooo
o
o oo oooo
oo
oo
oooo o
ooo
o
o oooo
oo
o
oooo
oo oo o
oooo
oo
o
o o
o
40
3
o
o
o
o oo
o
oo o
ooo o
o oo
oo
oooooo
oooo
oooooo
oo
oo
o
ooo
o ooooooooooooo ooo
oo
oo
oo
oooo
o oooo
oooo
oo o
lpsa
o
oo
o
o
o o
o
oooo
ooo o
oo
o
oo
oooooo oooo
ooooo
oo
o
oooo
o
oo
o ooo o
oo oo oo
o
o
o
o
o
oo
o
o
ooo
oo o
o
o
o
oooo
o ooo o
ooo
oooooooooo oo
oooooooo o
ooooo
ooo oooo
ooo
ooo
oo
oooo
oo
oooooo
ooo
ooooooo
o
o
o
oooo o
ooo
oo oooo
lcavol
oo
oo
oo ooo
ooooo
o
o
o
o
o
o
o
ooooo
ooooo o
o
o o
oo ooo
oo oooo o
o
ooooo
o oo
o
o
-1
0.8
40 50 60 70 80
-1 0 1 2 3 4
-1
oooooooooooooooooooooooo
oo oooooooooooooo
oo
oooooooo oooooooooooo
oo
oo
oo
oooooooooo
oo
ooo
oooooooooooo oo
oooooooooooo ooooooooo o
ooo
oooo
o
oo
ooooooooooo
oo
o
o
o
o o
oo
oo
o oo
oo
o
o
o oo ooo
ooo
o oo o
o ooooooo
oo oo o
oooo oo
o oo
oo
o oo
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo o o oo
o ooooo
o
oo oo
o oooo
oo oo oooo
oooooo
o
ooo
ooo o o o oo oo
ooooo o o
o
o oo
ooo
ooooooooo
oooo
oooo
oo
ooo
ooooooooooooooooo oo
ooooooooooooooo
ooooo
oo
oo
oooo
ooooooooooo
ooo
0
2
4
3 4 5
o
oo o ooooooo
oo
oooo
oooooooooo
o oo ooo o oooooooooooo
o o
o
o oo o
oooo
ooooooo o
oo
o
oooo
o
ooo o o
oo
oooooo
ooo
ooo
o o
ooooo
ooooo
ooooooooo
ooooo
o oo o
6
oo ooooooooo
o
o
o
o o o
o
o
o oo
o
o
oo
o
o
o
o ooooo
o oo
o o
oo
o
oo oooo
o
o o
o
o
o
o
o ooo oooooooooo
-1 0 1 2
lcp
o
o o
o
o
o
o
o o
oo
oooooo o o o o o o
o
o
o
o ooo
oo
o
o o oo oo o o o
o
o o o
oo o
o
o o
o oo o
oo o o
o oo
oo o o
oo
o
oo o
o oooooo o o o
o o ooo
o
o
oo
o
o
o o o oo o
o oo ooo
o
o
o
o o o o ooo
o oo oooo o o o
o
o
o o
o oo
o
o
o
o
ooo ooo o
-1
1 2 3
gleason
ooooooooo o o ooo
o oo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o oo o
oooo
o o oooooooooooooooooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o o oooo oooo
oo
ooooooo
ooo o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o ooooooooooooooo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
-1 0
o oo oooo oooooo
oo
oooooooo
oo
o
o
o
oo
o
o
o
o o
oooo
o
o
o oo
o o
o o
o
o
o
o
oo o o
o
o
ooo oo o
o
o
o o ooo oooooooooo
o
o o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
100
o
o
o oo o
ooo ooooooooo
oo
oo
oo
oooo
oo
ooooooo
o o
o
o o o oooooo
oo
o
o oo
o
oo o
oo
oo
o
ooo
ooo
oo oooooo o
o
oo o
oo
o oo ooo o oooooooooooooooooo
oo o o
o
o
o
o
o
pgg45
60
ooooo
ooooooooooooooo
ooooooooooooooo
ooooooo
ooo
ooo
o
oo
oooo
ooo
oo
oooooo
o
oo
ooooooo
o
o ooo oo
ooo o
oooooo o
oooo o
o o oo o
oo
o
oo
o ooooooo
oooooo
oooo oooo o o
ooo o
oooooo
oo
oo
o o
o
oo
o oooo
ooooo
o oooo
o o
ooo oo
oooooo
oooooo
o o
ooooooooooo
ooooo o
ooooo o o
oo
ooooo
ooo
oooooooooo
oooo
oooooooooooooooooo
ooooo
ooo oooooooooooooo o oo
oo
oooooo
ooooo
o o oo
ooooo
0 20
6.0 7.0 8.0 9.0
0.0
0.4
svi
oooo
oooooooooooooooooooo
o
0
40
80
7 / 29

8 / 29
25
Phoneme Examples
15
10
0
Log-periodogram
20
aa
ao
50
100
150
200
250
Frequency
0.2
0.0
-0.2
-0.4
Logistic Regression Coefficients
0.4
Phoneme Classification: Raw and Restricted Logistic Regression
50
100
150
200
250
Frequency
9 / 29

10 / 29
0.8
o o
oo oo o o
o
o ooooo oo
ooooooo
o
o
o
o
o
o
o
o
o
ooooooooooooooooooooooooooo o
ooooooooooo oo
oo
oo
o
ooooo
oooo
ooo ooo
ooo
oooooo
oooooooo
oooo
oo
o
o
o
oooooo
oooooo ooo
oooo
ooo
oooo
o
oo
oo
ooooooo
o
ooo
o
oooo
o
oo
ooo
oooooo
oo
ooo
oooo
ooo
o
oo
ooo
o
oo
oo
ooo
o
oo
o
o
o
o
o
o ooo o
oooooo
oooo
ooo
oooo o
o
o
ooooo
oo
ooooooooooo o oo
oo
oooo
oooo
o
ooooooo
oo
oo
ooooo
o
oo
ooo
o
oo
oooo
oo
oooo
ooo
ooo
oo
ooooo
oo
ooooooo ooooo
oo
o
oooo
o
oo
o
o
o
oo
ooo
o
oo
o
o
o
o
o
o
ooo
o
o
ooooooo o
oo
oooo
oo
oooooooo
oooo
oo
ooooo
oo
oo
oo
tobacco
o
o
o
o
oooo
ooo o
o
o
o oo o
oo
ooooo oo
o
o
ooo
ooo ooo
o
o
o
o
oo
o
o
oo
oooooo
ooooooooo
ooo
oo
o
ooooooooo
ooooooo o o
oooooo
ooo
oooo
o
o
oo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooo
o
oooo
o
oooo
ooo
oo
o
ooooo
oo
oooooo
ooooooo
ooo
oo
oo
ooo
ooo oooooo o
oo
ooo
ooo
oo
oo
oooo
ooooooo
o
ooo
oo
oooo
o
o
ooooooo
o
oo
oo
oo
oooo
oo
o
ooo
oo
ooooooo
oo
o
ooo oo
oo
oo
oo
o
oo
ooooooo
ooo
ooooo o
o
o
oo
oo
o
oo
oo
o
o
o
oooooo
oo
oo
o
o
o
o
ooooo
oo
o
o
o
oo
o
o
oo
o
oo
o
oo
oo
o
oooooooo o o o o
oooo
o
oo
o
o
o
oooo
o
o
o
o
o
o
ooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooooooooooo oo
oooooo oo
oo
ooo
ooo
ooo
oo
o
oo
ooooooooooo o o
oo
oooooooooooooo
o
o
ooo
o
o
o
oo
o
oo
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
oo
oo
o
o
o
ooo
o
oooo
oooo
o
oo
oo
o
o
ooo
o
o
oo
o
o
o
oo
o
o
o
ooo
o
50
100
o o oo
o
oooo o
o o
o ooo
o
oo o ooo
oo ooo ooo
oo
o oooooooo
ooooo
o o
o
oo
o
oooo
ooooo
oooo
oooo
oo
ooo
o o ooooooo
oo
ooooo
oooooooo oo o
ooooooo
o
oo
ooo
o
o
oo
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
o
o
ooooooooo
oo
oo
ooo
oooooo
oooo
oo
oooo
oooo
oooo
ooooooooooo
oooooo
ooooo
ooooooo
oo oo o oo oooooooooooo
oooooo
o
oo
o
ooooooo
ooooo
oo
oo
ooo
ooo
ooo
o
ooo
ooooo
o
o
oooooo
ooo
ooooo
o
o
oooooo
ooo
oo
ooooooo
o
oo
o
oo
o
o
oooo
o
ooo
oo
oo
ooo o
oo
o
oo
oooo
oo
ooo
o
o
o
oooo
oo
ooo
oo
oo
ooo
ooo
oo
ooooo
oooo
ooo
oo
oooooooo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oooo oo oo o
oo ooooooooooo
oo
ooooooooooo
ooo
ooooooooo
oo
oo
oooo o o
o
o
o
o
ooooo o
o
o oooo
o
oo
o
oo
ooo
oooo oo
ooo
oo
o
o
o
o
o
o
o
o
o
ooo
oo
ooo
ooooooooooo
oooo
o
o
o
ooooo
o
oo
o oooo o
oo
ooo
oooo
ooo
oo
oooo
oo
oooo
ooo
o
oo
o
oo
o
ooooo
o
o
oo
o
o
oo
o
oooo
oo
oooo
oo
o
o
oo
oo
ooo
ooo
o
o
oooo
o
o
o
oooo
oo
o
oo
oo
oo
oooooooooooooo o
o ooo
ooo
oooo
oo
oo
ooo
oo
oo
oo
o
o
ooo
oo
o
o
o oo
oooo
ooo oooo o
o
o
ooooo
ooooo o
ooo
ooooo
o
ooo
ooooo o
oooo
ooooo
oo
o
o
o
oo
o
o
o
o
o
o
oooo
ooooo o
ooo
o
oo
o
o
oo
ooo
oo
oooooo
ooo
oooooo
o
oo
o
o
ooo
o
oo o
ooooo
oo
ooo
oo
o o oooo
oo
oo
oooooo
o
oooo
ooo
oooo
o
o
o
ooooooo
o
o
o
oo
ooo
oooo
oo
oo
o
oo
oo
o
ooo
oo
oo o
ooooooooooooooo
oo
oo
o
o
ooo
oo
oo
ooo
ooo
o
oooo
o
o
oooooo
o
o
o
o o
o
o o ooo
ooo o o
o o
o
o
o
o
oo oooooo
oooo o o o o
oo
o
oo o
ooo
ooooooo o o
oooo
o
o
o
o
o
o
o
oooooo
ooooooooooo oo
oo
ooo
oooooo
oo ooo
o
ooo
o
o
oo oo o o
o
oooooooooo
ooo
ooo
ooooo
o
oo
oooooooooo
o
oo
oo
oooo
ooooooooo
ooooo
o
ooo
oooooooo
oo
o
oo
o
oo
o
ooo
oooo
ooooo
oooooooo
ooo
ooo
o
oo
o
oo
oo
o
ooo
ooo
oo
o
ooo
oo
oooo
o
ooo
ooooooooooo
o
oooooooooo
ooo
ooo
o
o
o
oooooooooooooo oo oo ooo
oo
oo
oo
oo
o
ooo
o
oooo
ooo
oo
ooo
oooo
oo
oo
o
ooooooo
oo
ooooo
oo
oo
oooooo
o
ooo
oo
ooooo
o
oo
oo
oooo
ooo
ooo
o
o
o
o
ooooooooooooooo
oooo
o
o
o
o
o
o
o oo o o
oo o
o
o oo
o oo
ooooooooo o
o oo o
oooooooooo o o oo
oo o oo ooooooooooooooooooooooo
o
o
o
ooooooooo o
ooo
oo
oooo
o
oo
oo
o
oo
oooooooo
ooooooo
oo
ooooooo
o
oo
oo ooooooooooo
oo
oo
oo
o
oo
oo
oo
oooo
ooooo
ooo
oo
ooooooooooo o
oo
ooo
oo
oooooo
oo
oo
oo
oo
o
o
o
ooo
o
o
o
o
o
oooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
oooooo
oooo
oooooooooooo
ooooo
ooooooooo
oooo
o
oooooo
oo
oooo
o
o
ooooooooo oooo oo o o o
oo
o
ooooooo
oooooooooo
ooo
oooo
ooo
ooooo
oooo
oooooooo
o
o
o
ooo
o
oo
oo
o
ooooooo
ooo
o
ooooooooo
ooo
ooooooooooooo
o
oo
o
oo
o
ooo
o o ooo
ooooooo
ooooo oo oo
o
o
oo
o
oooooooo
ooooooooooo
o
ooo
ooo
oo
o oo
ooooooo
o
o
oo
oo
oooooo
ooooooo
oooo
ooooooooooooooo
oooooooo
ooooo
oo
oo
oooo
ooooooo
oooooo
ooooo oooo
ooooooooooo
ooo
o
oooooooooooooo
oooooo
ooo
oo
oo
ooooo
oooooooo
oooo
ooooo
oo
0.8
oooooooooooooooooo
ooooo
ooo
oo
oo
oo
ooo
ooo
ooooooooooo
oo
ldl
0
o oo
ooo
o o
ooo
oooooo o
oooooooo
ooo
oooo
oo
oooooooooo o
ooooooooo
o
ooo
o
oo
o
o
o
o
o o
oooooooo
o
o
oo
ooooooooo
ooooo
o
oooooo o
ooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
oo
oooooooo
o oooo
oooooooo
oooooooooooo
oo
o
oo
ooo
oo
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooooooooo
oooo o o
ooo
ooooooo o
ooooooo
o
o
oo
o
ooo
o
o
oo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
ooo
oo
oo
o
o
o
o
oo
o
o
oo
ooo
220
0.4
160
0.0
100
30
10 14
20
10
20
30
sbp
10
o
o
o
oo
oo o o
o
o
oo ooo
ooo o
o
o
ooo
o
ooooo
oo
o o
o
oooooo
ooooooo
oo
oo
ooo
ooooooo oooo
o
oooooo o
ooooooo
oo
o
oo
o
o
oo
oooooooooooo
ooooo
oo
ooooo
oo
o
oo o
oooo o o o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
oooooooooo o
oooooooo
ooooooooooooooooo
o
ooooooooo
ooo
oo
o
oo
o
oo
o
oo
oo
o
o
o
oo
ooo
ooo
oo
ooooo
o
o
o
o
oo
o
o
ooo
o
o
oooooooo
ooo
oo
o
oooooooo
ooo
oo
o
o
o
ooo oo
oo
o
oo
ooo
o
oooo
ooo
o
oo
ooo
ooo
oo
o
ooo
oo
oo
o
oo
o
ooo
oo
o o oo
o
oo
ooo
oo
oooo
o
oo
o
o
oo
o
o
o
o
o
oo
ooooo
oo
oo
oo
oo
ooo
oo
oooo
o
o
oo
ooo
ooo
oooooooo oo
oooo
oo
ooo
oo
oo
oo
ooooo
oooooooo ooo o o
ooo
o
o
o o
o
o
oooo
ooooo o o o
o
ooo
oo
ooooooooooooooooo
oooo
100
160
220
oo o
o oo
o
oo o
ooo ooo oo
o
o
oo o
oo oooooo
o
oo o
o
oooo
oooooooo
oooooo o
ooooo
ooooo
oo
ooooooooo oo o
ooo
o
oo
oo
ooooo
ooo
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oooooooo
ooo
oo
ooo
oo
oo
oo
oooo
oo
ooooooooooooooo o
oo
oo
ooo
ooo
ooo
o
oooo
o
ooo
oo
oooooooo
oooooo
o
o
o
ooo
ooo
oooo
ooooooo
ooooo
ooo
ooo o o
oo
oo
ooo
oooo
ooo
oooo
ooooo
ooooooo o
ooo
oooo
o
o
oo
ooo
oooooooooooo o
oooooo
ooo
o
oooo
oooo
o
oooooo
o
oooo
o
o
o
o
o
o
o
oo
oooooooo oo o
ooo
ooo
ooo
o
ooo
oo
oooo
oo
oo
o
o
ooooo o
oooo
ooooo
o
oooooooooooooo
ooo
oooo
oooooooooo
o o
oooo
o
oooo
oooo
oo ooo
ooooooooooooo
2
10 14
o
ooo
o
o
o
ooo
o
oo
o
o
o
o
oo
o
o
o
oo
oo
o
o
o
o
oo
o
oo
o
o
o
o
o
ooo
o
o
oo
o
o
o
o
o
oo
ooo
o
oo
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
oo
o
o
o
o
oooo
oo
oo
oo
o
o
oo
o
o
oo o
o
oo
ooo
oo
o ooo
o o
ooo
ooooo
ooooo
o oooo
o
oo
o
o
o
ooo ooo
ooooo
o
ooooo o
oo
oo
o
oooooooo
o
oooooo
oooooooo
oo
oo
o
ooo
oo
o
oo
oo
oo
oo
oooo
ooo
oo
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooooo
oo
ooooo
ooo
ooooo oo
o
oo o oooo
oo
ooo
ooo
oo
oooooooo
oooooooooo
oo
oo
oo
ooo
oo
ooo
o
o
oooo
o
o
o
o
o
oooooooo
oo
ooo
o
ooooo
ooooo
oo
oooo
ooo
o
o
ooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oooo
oooooo
ooooo
ooo
oo
ooo
ooooo
ooooo o o
ooooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oooooo
oooo o ooo
ooooooooooo o o
o
ooo
o
oo
oooo
oooo
ooo
oooooooo
o
oo
o
oo
oo
ooooooo oo
ooooooo
ooo
ooooo
o
o
oo
oo
ooo
oooooo
ooooooooo
oooo
o
oooo
o
oooooo
oo
oo
o
oooooo
ooooo
oo
ooooo
oooo
o
o
o
oo
ooooo oo
o
oo
o
o
oo
ooooo
oooooo
oo
ooooo
15
25
35
45
alcohol
o o
o
o o o
oo oo oo ooo
o
o ooo ooooo ooo
oo o ooooooo
o
oo o o ooooo
o oooooooooooooooooooo
o
ooo
oooo
ooooo
oooooooooooooooo
oooo
o
ooooo
oo
oooo
oo
ooooo
oo
ooooooo
ooooooooo
oo
o
oo
ooo
o
oo
oooooo
ooo
ooo
o
ooo
oo
oo
o
o
ooo
ooooooo
ooooooo
o
oooooo
oo
ooo
oooooo
oo
ooo
oo
oo
oo
oo
ooooo
oo
oooo
o
ooo
oo
oo
o
o
oo
oo o o
ooooooo
oo
oo
ooo
o
ooooooooo
o
o
o
oooooooooooooo
oo
ooo
oo
oo ooo o o oo
o
o
oo
oo
o
o
oo
o ooo
oooooooooo
ooo
o
oo
o
ooooo
oo ooo o
o
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
o
oo o
o ooooo
o
oo
oo
o
ooo
ooo
o
o
o
o
ooooooo
o
o
o
oooooooooo oooo
o
oo
oo
o
ooooo
o
ooooooooo oo
oooooooo
ooo
o oo o
oo
oo
oo
o
oooo o
age
45
35
obesity
oooo
ooo
ooooo
oooo
oo
o
oo
ooooooo
ooooo
oooooooooo
oo
ooo
ooo
o
ooo
ooooo
ooo
oooooo
ooooooooo
ooooo
o
oo
o
oo
oo o
o
o
ooooo o
o oooo
oo
oooo
ooo
oooooooo
oooooooooo
oo
ooo
oooooo
oo ooooo
ooooooooooo
oo
oo
o
o
oo
oo
ooooooooo
oo
ooooooo
oo
o
o
ooooo
oooo
ooooo
oo
ooo
o
oo
oo
ooo
ooooooo
o
ooo
oooo
oooo
oooo
oo
o
ooooo
o
o
oo
o
o
ooooo
oooooooo
oo
oo
ooo
oooooooo
oo
oooo
o
ooooo
o
ooooo
oooo
ooooooo
oooooooo
oo
oo
ooo
oo oooooooo
oo
oo
o
ooo
oooo
oooo
oo
oo
ooo
oo
ooooo
o
ooo
oooo
oooo
oo
oooooo
ooo
oo
oo
ooo
ooo
o
ooooo
ooo
ooo
oo
o
ooo
o
o
o
ooooo
o
oooooooooooo oo o oo oooo
o
oo
ooo
oooo
ooo
oo
o
o
o
o
o
o
oo
oooooo
o
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oooo ooo
oooooooo
o oo
ooo
ooo o oo
o
o
o
o
o
ooo
ooo
oo
oo
oo
oo
oo
o
o
o
o
oo
ooo
ooooooooooooooooo
ooooooo
oo
25
oo
o
ooooo
o
o
o
ooo
oo
o
o
ooo
o
o
o
o
oo
oo
o
o
o
o
o
ooo
oo
oo
o
o
oo
o
o
oo
o
oo
oo
o
o
o
oo
o
o
o
o
oo
o
o
ooo
o
o
o
15
oo
60
o o
oo
o o
oooo
oooooooooo oo
o
oooo o o
oooooooooooooooo
ooo
o
o
o
o
ooooooooooo o
oo
ooo
oo
o
oo
ooooooo
oo
oo
o
oo
ooo
oo
ooooo
o
ooooo
o
oo
oooooo
o
oooooooo o o o
o
o
o
o
ooo
o
o
o
o
o
o
oo
o
o
o
oooooooooo
oo
o
oo
o
ooooooooo
oo
oooo
oooooooooooo
oo
oo
oo
o
oo
ooo o
o ooooooooo
o
oo
o
oooooo
o
ooo
oo
oo
ooo
oo
ooo
ooooooo
oo
oo
ooo
oo
o
oooooooooo
oo
oo
oo
oo
oo
ooooo
oooooo
o
oo
ooooooooooo o o o
ooo
ooooo
ooo
o
oo
ooo
ooo
ooooooo
oo
40
oo
20
50
100
0.0
0.4
famhist
o
ooo
oo
oo
o
oooo
o
oo
ooo
ooooooo
o
oo
oo
ooo
oo
oo
ooooo
oo
ooooooo
oo
ooo
oooo
o
ooooooooooooooooo
o
ooooooooooo
ooooooooooooooooooo ooooo
oo
oo
oo
o o
o o
o
o
o
o
o
o o o oo
oo o o
oo oooooo
oooooo ooo
o ooooooo o
oooooooo
ooo
ooooo
oo
oooooooo o
oooo
ooo
ooo oooo
o
ooo
ooooooooo
ooo o o
ooo
oooooooo
oo
oo
oo
oo
ooooooooo
o
ooo
o
oo
o
oo
o
oooooooo
oo
o
o
o
ooo
oo o
ooo
ooooooooooo
ooo
oo
oo
oooo
oo
o
oooooo
oo
oo
oo
oooo
ooo
o
oo
ooo
ooo oo
o
o
oo
o
ooo
ooo
ooo
oo
ooooooo
ooo
oo
o
oooo
oo
oo
o
oo
oooooo
o
oo
ooo
o
oo
oo
oo
ooo
ooo
oooo
o
oo
oooo
o
oo
ooo
oooo o
oo
ooo
ooo
o
o
oo
oooo
oo
oooo
o
o
oo
ooo
oo
oooo
o
o
ooo
o
o
o
oo
ooo
ooo
o
o
o
o
o
o
o
o
o
ooo
o
o
oooooo
o
o
ooo
o
o
ooooooo
ooo
ooo
o
ooooooooo
o
o
o
ooo
o oo
o
o
oo o o
o
o
o
oo ooooo o o o o
oooooo oo
o
oo
o oo
ooooooo ooo
oooo
ooooooooo o o
o
o
o
o
o
o
o
o
o
oo
oooooooooo o o
oooo
ooooo
oooooo oo
ooo
ooo
oooooo
o o
oooo
o
ooooooo
oo
oo
ooo
oooo
ooo
oo
oooo
ooo
ooooo
oooo
oo o oooo
oo
oooooo
oooo
o
o
ooo
oooo
oooooo
oooo
ooooo
oo
ooooo
ooo
ooooo o
oo
o o ooooo
oo
o
oooooooooo
ooooo
o
o
oooo
oo
ooo
oooo
ooo
oo
oo
ooooo
oo
ooooooo
oo
ooo
o
o
oo
oo
oooo
ooooooo
oooo
oooooooo
oo
ooo
oo
o
ooooo
ooooo ooo o
oo
oooooo
ooooo
ooooooooo
ooo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oooooooo
oo ooooo ooo
o oo
oooo
oo
ooooo
oooooo o
oo
oo
oo
oooo
ooo
oo
o
oo
oooooo
oooo
oooo o
oooooo
o
oooooo oooooo o
oo
ooooooooo
o
oo
oo
oo
ooo
ooo
o
oo
oo
o
oo o
ooo
ooo
ooooooooooooo
ooo
oooo
oo
ooo
oooooooooo
oooooooooooo o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oooooo
ooooooooooo
oooooo
o o
oooooo
ooooo o
o
oooo
o
ooo
o
o
oooo
ooooooooo
oooooo
ooo
ooo
ooo
oooo
oooo oo o
oo
oooo
oo
oo
oo
ooooooo
ooo
ooooo ooo
oo
oo
ooooo
o
o
ooo
ooooooo
oo
o
o
o
o
o
o
o
o
o
o
o
ooooooo
ooo
o
ooooo
oo
ooo oo
oo
ooo
oooooo
ooo
o
oooooooo
o
ooo
ooo
ooo
ooo
oooo
ooo
oooo
oo
ooooo o o
oooo
o
o
o
o
o
o
o
o
o
oooooo
oo
oo
oo
o oo
oo
oo
o
o
oooooo
oo
o
oooo
o
oooo oo
20
40
60
11 / 29

12 / 29
Spam Detection
data from 4601 emails sent to an individual (named George,
at HP labs, before 2000). Each is labeled as spam or email.

goal: build a customized spam filter.
input features: relative frequencies of 57 of the most
commonly occurring words and punctuation marks in these

email messages.
spam
email
george
0.00
1.27
you
2.26
1.27
hp
0.02
0.90
free
0.52
0.07
!
0.51
0.11
edu
0.01
0.29
remove
0.28
0.01
Average percentage of words or characters in an email message equal

to the indicated word or character. We have chosen the words and
characters showing the largest difference between spam and email.
13 / 29

14 / 29
15 / 29

16 / 29
17 / 29

18 / 29
40
Age
60
80
300
Wage
50 100
200
300
50 100
Wage
200
300
200
Wage
50 100
20
2003
2006
Year
2009
Education Level
Income survey data for males from the central Atlantic region
of the USA in 2009.
19 / 29

20 / 29
Spectral Band 1
Spectral Band 2
Spectral Band 3
Spectral Band 4
Land Usage
Predicted Land Usage
Usage {red soil, cotton, vegetation stubble, mixture, gray soil, damp
gray soil}
21 / 29
The Supervised Learning Problem

Starting point:
Outcome measurement Y (also called dependent variable,
response, target).
Vector of p predictor measurements X (also called inputs,
regressors, covariates, features, independent variables).

In the regression problem, Y is quantitative (e.g price,
blood pressure).
In the classification problem, Y takes values in a finite,
unordered set (survived/died, digit 0-9, cancer class of

tissue sample).
We have training data (x1 , y1 ), . . . , (xN , yN ). These are
observations (examples, instances) of these measurements.
22 / 29
Objectives
On the basis of the training data we would like to:

Accurately predict unseen test cases.
Understand which inputs affect the outcome, and how.
Assess the quality of our predictions and inferences.
23 / 29
Philosophy
It is important to understand the ideas behind the various
techniques, in order to know how and when to use them.

One has to understand the simpler methods first, in order
to grasp the more sophisticated ones.

It is important to accurately assess the performance of a
method, to know how well or how badly it is working

[simpler methods often perform as well as fancier ones!]
This is an exciting research area, having important
applications in science, industry and finance.

Statistical learning is a fundamental ingredient in the
training of a modern data scientist.
24 / 29
Unsupervised learning
No outcome variable, just a set of predictors (features)
measured on a set of samples.

objective is more fuzzy find groups of samples that
behave similarly, find features that behave similarly, find

linear combinations of features with the most variation.
difficult to know how well your are doing.
different from supervised learning, but can be useful as a
pre-processing step for supervised learning.
25 / 29
The Netflix prize
competition started in October 2006. Training data is
ratings for 18, 000 movies by 400, 000 Netflix customers,

each rating between 1 and 5.
training data is very sparse about 98% missing.
objective is to predict the rating for a set of 1 million
customer-movie pairs that are missing in the training data.

Netflixs original algorithm achieved a root MSE of 0.953.
The first team to achieve a 10% improvement wins one

million dollars.
is this a supervised or unsupervised problem?
26 / 29
BellKors Pragmatic Chaos wins, beating The Ensemble by a
narrow margin.
27 / 29
Statistical Learning versus Machine Learning

Machine learning arose as a subfield of Artificial
Intelligence.
Statistical learning arose as a subfield of Statistics.
There is much overlap both fields focus on supervised
and unsupervised problems:

Machine learning has a greater emphasis on large scale
applications and prediction accuracy.

Statistical learning emphasizes models and their
interpretability, and precision and uncertainty.

But the distinction has become more and more blurred,
and there is a great deal of cross-fertilization.

Machine learning has the upper hand in Marketing!
28 / 29
uthern California. He has

domain of statistical learnional data. The conceptual
ses in this area.
versity of Washington. Her

machine learning. She has
es to the eld of genomics,
Medicine committee that
at Stanford University, and

tical Learning. Hastie and
ote a popular book of that
software and environment
shirani proposed the lasso
he Bootstrap.
al, including graphical

ath algorithms for the
e is also a chapter on
and false discovery rates.
ors of statistics at
stie and Tibshirani
that title. Hastie cont in R/S-PLUS and
o and is co-author of the
-inventor of many datant boosting.
The Elements of Statistical Learning
and information techsuch as medicine, biolota has led to the devels such as data mining,
mon underpinnings but
he important ideas in
h is statistical, the
re given, with a liberal
s and anyone interested
from supervised learning
ral networks, support
hensive treatment of this
Hastie Tibshirani Friedman
me Friedman
rning
1
An Introduction to Statistical Learning
arning (Hastie, Tibshirani

for statistics and machine
ng covers many of the same
e. This book is targeted at
ting-edge statistical learna previous course in linear
STS
James Witten Hastie Tibshirani
sible overview of the eld

e of the vast and complex
to nance to marketing to
me of the most important
pplications. Topics include
age approaches, tree-based
or graphics and real-world
e the goal of this textbook
es by practitioners in sciorial on implementing the
ar open source statistical
Course Texts
Springer Texts in Statistics
Gareth James
Daniela Witten
Trevor Hastie
Robert Tibshirani
An Introduction
to Statistical
Learning
with Applications in R
The course will cover most of the material in this

Springer book (ISLR) published in 2013, which
the instructors coauthored with Gareth James
and Daniela Witten. Each chapter ends with an R
lab, in which examples are developed. By January
1st, 2014, an electronic version of this book will be
available for free from the instructors websites.
Springer Series in Statistics
Trevor Hastie
Robert Tibshirani
Jerome Friedman
The Elements of
Statistical Learning
Data Mining, Inference, and Prediction
Second Edition
This Springer book (ESL) is more mathematically

advanced than ISLR; the second edition was published in 2009, and coauthored by the instructors
and Jerome Friedman. It covers a broader range
of topics. The book is available from Springer and
Amazon, a free electronic version is available from
the instructors websites.
29 / 29

CH 01 Statistical Learning

Încărcat de

Informații document

Descriere originală:

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

CH 01 Statistical Learning

Încărcat de

Drepturi de autor:

Formate disponibile

Statistical Learning

Trevor Hastie and Robert Tibshirani

Statistics in the news

For Todays Graduate, Just One Word: Statistics

Next Article in Technology (1 of 20)

MOUNTAIN VIEW, Calif. At Harvard, Carrie Grimes majored in

Enlarge This Image

People think of field archaeology as

Thor Swift for The New York Times

Carrie Grimes, senior staff engineer at

come up with ways to improve its search engine.

increasingly in demand and even cool.

Quote of the Day,

Subscribe to Technology RSS Feeds

Statistical Learning Problems

6.0 7.0 8.0 9.0

Statistical Learning Problems

Logistic Regression Coefficients

Phoneme Classification: Raw and Restricted Logistic Regression

Statistical Learning Problems

Statistical Learning Problems

at HP labs, before 2000). Each is labeled as spam or email.

commonly occurring words and punctuation marks in these

Average percentage of words or characters in an email message equal

Statistical Learning Problems

Statistical Learning Problems

Statistical Learning Problems

Statistical Learning Problems

Predicted Land Usage

The Supervised Learning Problem

regressors, covariates, features, independent variables).

unordered set (survived/died, digit 0-9, cancer class of

observations (examples, instances) of these measurements.

On the basis of the training data we would like to:

techniques, in order to know how and when to use them.

to grasp the more sophisticated ones.

method, to know how well or how badly it is working

applications in science, industry and finance.

training of a modern data scientist.

No outcome variable, just a set of predictors (features)

measured on a set of samples.

behave similarly, find features that behave similarly, find

pre-processing step for supervised learning.

The Netflix prize

competition started in October 2006. Training data is

ratings for 18, 000 movies by 400, 000 Netflix customers,

customer-movie pairs that are missing in the training data.

The first team to achieve a 10% improvement wins one

BellKors Pragmatic Chaos wins, beating The Ensemble by a

Statistical Learning versus Machine Learning

and unsupervised problems:

applications and prediction accuracy.

interpretability, and precision and uncertainty.

and there is a great deal of cross-fertilization.

uthern California. He has

versity of Washington. Her

at Stanford University, and

al, including graphical

The Elements of Statistical Learning

Hastie Tibshirani Friedman

arning (Hastie, Tibshirani

James Witten Hastie Tibshirani

sible overview of the eld