chap1 - ESL Chapter 1 -- Introduction Trevor Hastie and Rob...

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani Statistical Learning Problems Identify the risk factors for prostate cancer (Fig 1.1). Classify a recorded phoneme (Fig 5.5) based on a log-periodogram. Predict whether someone will have a heart attack (Fig 4-12) on the basis of demographic, diet and clinical measurements Customize an email spam (Tab 1.1) detection system. Identify the numbers in a handwritten zip code (Fig 1.2), from a digitized image Classify a tissue sample into one of several cancer classes, based on a gene expression (Fig 1.3) profile Classify the pixels in a LANDSAT (Fig 13.6) image, by usage: {red soil, cotton, vegetation stubble, mixture, gray soil, damp gray soil} 1 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani -1 1 2 3 4 o o o o oo o o o o o o o oooooo o ooo o o oo o ooo o oooooooo oo o oo oooo ooo o o o oo oo o o oo o oo o oo ooo o o ooo o o o oo o o o o o o o oo ooo o o o oo o o oooo o o oo o oo o o o o oo o oo o o o oo ooo o oo o oooo o ooo oo o o o o o ooo o o o o o o oo o o oo o o ooo o o o o o o o o 40 o 50 o 60 70 o 80 o o o o o o oo o o o o o o oo o o o o o o oo oooo o oo o o o oo o o o o o oo o oo o o o oo oooo o o o o o o o o o o o o o o o o o o o o o oo o o oo o o o o o o o oo oo o o o o o o oo o o o o o o o o o o o o o o oo o o o o o oo oo o o o o o o o o o o o o o o o o o oo o o oo o o o ooo o o o oo oo o o o oo o o oo o o ooo ooo o o oo o oo oo o o o o o o o ooo o o oo o o o o o o o o o o o o o o o o o o oo o o o o ooo o o oo o oo o oo o o o o o o o oooo o o oo o o o o o oo o o ooo o o o o o o o o o o o o o o o o 0.0 0.4 0.8 o o o o o o o o o o o o o o o o o o ooo oo o o oo o o o oo o o oo o o o o o oo o o o oo o o oo o o o o o o o o 6.0 7.0 o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o 8.0 9.0 o o o o o o o o o o o o o o oo o oo o oo o o o oooo o o o o ooo o o oo o oo o ooo oo oo o o ooo oo o o o o o o o o o o o oo o oo o oo oo oo o o oo ooo o o oo o o o o o ooooo o o o o oo oooo o o o oo o o o oo oo o o oo o o oo o o o o o o o o o o oo o o ooo o oo o o oo o o o o o o o o oo oo o o oo oo o o oo o o o ooooooo o o o oo o oo oo o o o o o o oo o o o o o ooooo o o o o o ooo o oo o o o o o oo oo o o o o o o o o oo o o o o oo oo o o o oo o oo oo oo o ooo o o o o o o o ooo o oo ooo o oo o o o o o oo ooo o o oo o o o o o oo oo oo o 2 0 20 0 20 60 100 60 100 -1 0 1 2 3 -1 0 1 4.5 2.5 3.5 0 1 2 3 4 5 lpsa 4 o o ooo o o ooo o oo oo o oo oo oo o o oo o o o ooo o o ooo oo ooo o o oo o o o o oo oo o o oo o o oo o oo o o o o oo o oo o o o o o o o oo oo o o oo oooo o o o o ooo o oo o o oo o oo o o o o ooo oo ooo o oo o o o o o oo o oo o o oooo o o ooo o o oo o o oo o o o o o o oo o 80 o oo oo o o o oo oo o oo ooo o o o o oo ooooo oo o o ooo o oo oo o oo o o ooooooo o o o o oo o o o o o ooo o o o oo o oo o o o o o o o o o o o o o o oo o ooo o oo o o oo o o ooooo o o o o o ooo o o o oo o o o o o oo o o o o o o o o o oo ooo oo oo ooooooooooooooo o oo oooo o ooo oo o o o ooooo oo o 0.8 o o o o o o o oo o oo o o o ooo oooo o oo o o oo oo o o o o o ooo o oo o ooo o ooo o o oo oo o o oo o oooo o o o o oo o o oo o o o o o oo o oo o oo o o o oo o oo o oo o ooooo o o o o o oo o o ooo oooo o oo o o oooooo o o o oooooo o o oo o ooo o o oo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o lcavol o o o o o oo oo oo o o o o o oo o o o o oo o ooo oo oo oo oo o o o o o o o ooo ooo ooo o oo o o oo oo o o oo o ooo o oo o oooo o o o o o o o o o o oo o o o oo o o o o oo o o o o o o oo o oo oo o oooo o oo oo oo o o o ooooo o o oo oo o o o o ooo o oo o o o oo o o o o o ooo o o o o o o oo o o o o o o o o oo o o o oo o o o oo o o o oo o o o o o o o o o oo o o o o o o o o o o oo o o o o o o o oo o oo oooooooo oooo o o o o ooooo ooo ooo ooooo oo oo o oo o o oo o o o oo o o oo o o oo oo o ooo o oooooo o o oo o o o oo oo o o ooooo o oo o o oo o o oo oo o ooo o o o o oo o oo o o o o o oo o o o o o o o o oo oooo o ooo o o o ooooo oo o ooo o o oo oo o o o o oo o o o oo ooo oooo oo oooo o o o ooo ooo oo o o o o o o oo o o oo o o 1 o o o o o o o o o o o o o -1 o o o oo oo ooo oo o oo o o oooo o o oo o o o o oo o o oo o o o ooo o o o 3 o o o o 2 o o o o o o o o o o lweight o o oo o o o o oo o oo o o oo o o oooo ooooo oo o o o oo o o oooooo o oo o oooooo o o o oo o ooo oo oooo oo oo oo o oo o o oo o o o o oo o o o oo oo o o oo ooo o oo oo o o o o o o oo o oo o o o oo o o oo o o o o oo o o o o o o o 70 o o o o o o o o o o o o o o o o o o o o o o o o o age o oo o o oo o o oo o oo o ooooooo o o oo o oo oo o o o o oo o o o ooo o o o oo o o oo o ooo ooooooo oo oo oooooo o o ooooo o o ooo o o 40 o oo o oo oo oo ooo o o o oo o o o oo oo o o o oooo o o oo o o o o oo o oo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o 50 60 ooo o oo o oo o o ooo oo o oo o o oo o o o oo o oo oo o o o ooo o o o o o o o o o o o oooooooo oo o o o ooo oo o oooo ooooooo ooo oo o lbph o o o o o oo o oo o o oo o o o o o o o o o o o o o o o ooo o o o o o o o o o o o o o o o o o o o o o oo oo o oo ooo o o o o oo o o oo o ooooo o o o oooo o o o o o o o o o o o o oo oo oo o o o o o o o ooo ooo o o ooo o o 0.0 0.4 svi oo ooooooooo ooo o o oo oooo o o oooo o o o o o o o oo o o oo o o oo oo o o o o o o o o o o o oo o o oooo o o o oo o oo o o ooo oo o o oo ooooooooo o o o o oooo oo o o o oo o o o oooo ooooooo oooo o o o oooooo ooo o o oo ooo o ooo o o ooo o o o oo o o o ooo oo o oo o o o o ooo o o ooo oo o o o ooo oo o o oooo ooo o ooo o o o o ooo o o o o oo o o o o o ooooooo oooo o o o o ooo oooo o oo oo o oooo ooo ooooo o o o ooo oo o o o o o o oo o o oo o oo oo o o o oo o o oo o o o o o o o o o ooo o o o o o o oo o o ooooooo oo oooo o o oooo ooo oo o o ooo oo o o o o o o o ooooooooooo o o o o oooooooooo o o oooooo o o o ooo o o oo o oo o o o o ooo o o oo o oooo o o o o oo o o oo o o oo o o o oo o o o o o oo oo o o o o o o oo ooo o o oo o o oo o o ooooooo oooo o o o oo o o o o ooooooooooo o o o ooooooo oo o o o oo oo o o o o oooooo oo oo oooooo ooo o o o o o o o o oo ooo oo o o o o o o oo oo o o oo o oo oo o o o o ooo oo o o o o o o oo oooo o ooooooooo oo oo o o o oooo o ooo o 2.5 3.5 4.5 oo o o ooooooooooo o oo ooooooooo o oo oo o o o o oo oo o oo oo o o oo o o oo o o o o o o o oo o ooo o oo o oo oooo o oo oo o ooooooo o o oo oo oo o ooooooo o o o o o o o o o o o oooooo oooo o oooooo o oo oo oo o o ooooo o o o oo oo oo o o o o o o o oo oo o o oo o o oo o o oo oo o o oo oo o o o ooo o o oo o o o ooo o o o o o ooooooooo oo oo ooo oooooo o oo o o o o oo o o o o o o o o o o o ooo oooooooo o o ooo ooo ooo o oo o o o o o o o o oo ooo oo o o o o o oo o o o o oo o o o o o o oo oo o ooo o o oo o o o o o o ooo o ooo oo o ooo oo ooo oo oo o o o ooo o oo o oo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o oo o o oo oooo o oo oooo o o o o oo ooo o o o oo o o o o o o o o o oooooooo o o ooo o o o oo oo o o oo o o o oo oo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o ooooo o o o o o o oo o o o o oo ooo o o oo o o oo o o o o oo o o o o o o o ooooo oo o ooo o o o o oo oooooo o o o o o ooo o lcp o o o o o o o o o o o 9.0 ooo o o o o oo ooooooo o oooo ooo o o o o ooooo o o 8.0 6.0 7.0 gleason oo ooooooooo oo o o ooo oo o o o oo o oo o o o oo oo o o o oo oo o oo o o o o o o o o oo o o o o ooo o o o o oo oo ooo oooooo o o o oooo o o oo ooooooo o o o oo o o 0 1 2 3 4 5 o o o o o o o o o oo o o o o o o o o oo o oo o o o o o o o o oo o o o o o o o o o o o oo oo o o o o oooo oo o -1 0 1 2 o o o o o o o o o o o oo o o o o oo o o o o oo o o o o o o oo o ooo o o o o oo o o o o oo o o o oo o 0 1 2 3 o o o o o o o o o o o o o o pgg45 o -1 2 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani 3 o oo o oo o o ooo oo o o o o oo ooo oo o o o oo o oooo o ooo oo o o oo o ooo o o o o ooo oo oo o oooo oo o ooooo oo oo oo oo o oooo lpsa o o o o o o oo ooo ooo o oooo oo ooo oo o ooo o o o ooo o oooo o oooo o oo o o oo o o o o o o oo oo o oo oo o o o o o o o oo o oooo o ooo o oo oo oo o oo oo o o ooooo oo o o o o oo o oo oo oo oo oo ooooo oo o ooo oooo o o o oo ooo o oooooo o oooo o o o oo o oo lcavol ooo o o oooo o oo ooo o o o ooo oo oo o oo o oo o o o o o o oo o o o ooo o o o o oo o oo o oo o o -1 1 40 o o 60 o 80 o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o oo o o o o oo o o ooooo ooo oo o ooo o o oo o oo ooooo oo o o oo o o o oo o o oo o o oo oo o o o o oo o o o oo oo o o ooo o o o ooo o o o o o o o o o 0.0 o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o ooo oo 0.4 0.8 o o o o o o o o o o o o o oo o oo o ooo o ooo o oo o o o o ooo o o o oo o oooo o o o ooo o o o oo o o o o oo o oo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o oo o o o oo o o o o o o oo o oo ooo ooo oo o oo oo oo oo oo o o o o o o o oo o o o oo o o o o o o o o oo oo o o o o o o o oo o ooooo o o o oo o o oo oo o oo o o o oo oo oo oo o o oo o o o o o o o o o o oo o o o o o oo o o ooo o oo oo o o o o o o o o o oo o o o o o o o o o o o oo o ooo oo o o o o o oo o o o o o o o oo oo o oo oo o o o oo o o o o 6.0 o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o 7.5 9.0 o o o o o o o o o o o o oo o o o o o o oo o ooo oooo oo o o ooo o o o oo o oo o o o o o o o oo o o o o o o o o o o o o o ooo oo o o o o o o o o oo o o oo o o o o o o oo o o o o o o o o o o o o oo o o o o o o o o o o oo o o o o o o o o oo o o o o o o o o ooo o o o o o oo o o o o o oo o o o o oo o o o o o oo o o o oo o o o o oo o o o o o o o o o o o o o o o o o o o o o o oo o o oo o o o oo o oo o o o o o o o o oo o oo o oo o o o o o o o o o o o o oo o o o o o o o o oo o oo o o o o oo o oo o o o o o o o oo o o o o o o o o o o o o o o o o oo o o o o o o o o oo o o oo o o o oo o o o o o 0 1 2 3 4 5 0 20 0 40 80 60 100 -1 0 1 2 3 -1 0 1 2 3 4 5 6 o oo oo o ooo o oo ooooo o o o o oooo o o oo oo o o oo oooo o o o oo o oooo o o o o ooo oo oo ooooo o o oo o o o o o o o o o o oo o o o oo oo o o o o o oo o oo oo ooooo o o oo o o oooo oo o oo ooooo o ooooooo o oo o oo o o oo o o o o o o o o o oo o oo o o oo o o o -1 0 1 2 3 4 o o o o o o o o o o o o o o o o o o o o ooo o o oo o oo o oo o o oo lweight oo oo oo o oo o o o o oooo o o oo oooo ooo o oo o o oo o o oooooo o o o o o oooo o oo ooo o o ooo o o o o ooo oooooo oo o o oo oo ooooo o o oo o o oo ooooo o o oooooo o o o o oo o o ooo oo o ooo o ooooo o o o oooooooo oo o oo oooooo o o ooooooo o o o oo oo o oo o o oo o o o o o oo o o o o o ooo o o o o oo o oo o o o o o oo o o o o o oo o oo o o o o oo o oo ooo o o o o o oo o oo oo o oo o o o oo oooooo oo o oo oooo o o oo o o o o oo oo o ooooo o o o o oo o o oo o o o o o oooooo o oo o ooo oo o ooo oooooo o o o ooo o oo o oooooooo o o o oooo o ooo o oo o ooo age o o o oo o o o o ooo o o o oo o o o o ooo o o o o o o o o oo o oo o o o o o o o o o o o o o o o oo o o oo o o o o oo o o o oo oo o o o o o o o ooo oo o oo o oo oo o o o o oooo o oooo ooo o o oo o ooo o o o oo oo o o o oo ooooooo o o o o oo oo o oo oo o oo o o ooo oo o o oo o o ooo oo o o o oo o o o o o o o o o o o o o ooo oo o o oo o oo oo oo o ooo o o o ooooo oo o o o o o o o o o o o oo oo o o ooo o o ooooo ooooo o ooooooo oo oooo ooooooooo o oooooooooo o o ooo o ooo oo o oooo oo o ooo o ooo oo oooo oooooo o o o ooooo o o ooo o o o oo oo oooooo o oooo ooo o ooo ooooo o ooo oo o oooo o oooo oo oo o o o oooo oo oo o o oo 40 50 60 70 80 o o oo o o o o ooo o o o oooo o ooo o o o o oooo o o oo o o oooo o o o oo o o oo o o o o o o o o o o o o o o o oo oo o o o ooo o o o oo o o oo o o o o oooo o o o oo o oo o o o oo o o o o o o o o o o o o o o o o o o lbph o o o o o o o o o o oo o o o oo ooo ooooo o o oooo oooooo o o ooo oo 0.8 0.0 0.4 svi o ooooooo o o o o ooooo o ooooo o oooooooooooooo o o oo ooooo o oo oooo o o o oo oooooooooo oooo ooo oooo ooo ooo oo oooo oo ooo oo o o o o o o oo oo o o o o o o oo o o o o o o oo o ooo o o o o oo o ooo o oooo o oo o oo oo o o oo o o o o o o oo o oo oo o o oo oo o oo o o oo oo ooooo o oo o o o ooo o o o o o ooo o oo o o o oo o o oo oo oooo oo o ooooo o o oo o o oo o ooooooooo oo o o ooooo oo o o o o ooo oo o ooooo oooo oooooo o o o o oo oo o o oo o oo ooooo oo oo oo oo oo oo o oo o o o o o oo o o o o ooooooooo o oooooo o ooo o oo o o o o o oo oooooooo o o oo oooooooo o oooo o o oo oo o o o oo o o o ooo o oo o o oo o oo o o o o o oo o ooo o o ooo o o o oo o o o oo o o oo o o oo o ooooooo o o o ooooo o o oo o o o oo o ooooooo oo ooooo oo oooo o oo o o oo o o oo ooo o o o ooo oo o o o o o o o oo oo o ooooo o o oo o oooo o o oo o o o oo o oo o o o oo o o o ooo o oo o oo oooooooo o o oo oooooooo o 6 o oo oo oooooo oo ooo oo ooo oo o o o o o oo o o o o ooo o o o o o oo o o o oo o o o o o o o o o o oo o o o o o o oo ooooo o oo o oo o o o o o o ooo oooooo o o oo oo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o oo o o o oo o oo o o o o o o oooo o o o o oo o o o o o o oo o o o o o o o o o o o o oo o o o oo o o o oo o o o o o o ooo oo o o oo oo o o o lcp oo o o o o o o o 6.0 7.0 8.0 9.0 o ooooooooo o oooooooooo o ooooooooo o oo oo o ooooooo o oooo o oo oo o o o ooo oooooo o o ooo oo oo o o o o o oo oo o o oo o oo o o o o o o o o oo o o o o o o o o o oo oo o o oo o oo o o o o oo o ooo o o oo o oo oo o o ooo oo oo -1 0 1 2 o o o o o o o o o o o o o o o o ooo ooooo ooo o o oo ooooo oo o oo o o o o o o o o o o o o o o o o o oo o o o o o oo o o o o o oo o o o o o o o oo o o o o ooo o o o o o o o oo o o o o o o ooo o o o o -1 1 2 3 gleason o o o o o oo o o o o o o o oo o o o o o oooo o oo o ooooo ooo o o ooooooo ooo o o o o o o oo oo o o o ooooo oo oooo oo ooo oo o oo o o o o o o oo o o oo o o oo o o o o o oo o oo o oo o oo o o o o oo o oo oo o oo o o o oo o o o oo o o o oo o o o o oo o o o oo o o o oo o o o o o o o o o o o oo o oo o o oo o o oo o oooo o o o o oo o o o o oo oooo o o o o ooo o o ooo oo ooooo o o oo o o oo o ooooo oo o oo o oooooo oo o oooooo ooo ooo o oo oooooooooo oo o o o o o ooo o oooo ooooo oo ooo ooo ooo oo 0 2 4 3 4 5 o o o o o o o o o o o o o pgg45 o 3 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani Phoneme Examples 25 aa ao Log-periodogram 0 0 5 10 15 20 50 100 150 Frequency 200 250 Phoneme Classification: Raw and Restricted Logistic Regression 0.4 Logistic Regression Coefficients -0.4 0 -0.2 0.0 0.2 50 100 150 Frequency 200 250 4 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani 0 10 20 30 0.0 0.4 0.8 o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o oo oo o o o oo o o oo o o ooo oo o oo o o oo oo o o ooooooooo o ooo o o oo o ooo ooo o o o oo o ooo o ooooo o o o ooooooooo o ooooo oooooo o oooo o oooooo oooooooooo ooooo oooooo oooooo oooo o o ooooooooooo oooooooo oooooooo o o oo o o ooooooo ooooo ooooooo o o ooooo o oo oo o o o oo oooooooo ooooo o o o o oo 0 50 100 220 20 20 40 60 40 60 15 25 35 45 2 6 10 14 100 160 sbp o o o o o o o o o o o o oo oo o o o o o oo ooo o o oo o o o o o ooo o o oooo o ooo o oo o ooooo o o o ooo o o oo o ooo o ooooo ooo o o o ooo o o ooo ooo o o oo o o o ooo o o oo oo oo o o oo o oooooooo o o o o o oooooo o o oooo o oooooooo o o oo oo o o o oooooo o o oo o o oo ooooo oo o o ooooo oo oooooooo o o o ooooo oo o o o oo o ooo o o o oo o oo o oooo o o oooooooo o o ooo oo ooooo ooooo ooo o o ooooooooo o oooo o o oo o oooooooo o o oooooo oo oooooooooo o oooo oo o o o o ooooo ooooooooo o o o oooo oooo o o o o oo o o o o oooooooo o oooo ooooo oo o o o ooooooo o o ooooo o oo o ooooooooo o o o o ooo o o o ooooooo o o o ooooooooo o o o o ooooooo oo ooo oo o o o o o ooooo oo oo o o oo o o o o oo o o o o o o o o o o oo o o oo oo oooo oooooo o ooo ooo o oooo ooo o o o oo o o o ooooo ooooo ooo o oooooooo o ooooooo o ooo o oo oooooo ooooooo ooo oo oooooo o o oo ooooooooo o o o o oooo o o o oo o o oooooooooo o oooo o o oo ooooooooooo ooo o oooooo ooooooooo o o o oo ooo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o oo oo o o o o o o o o o o o o o oo o o o oo o o oo oo ooo o o oooo ooo o oo oo o ooo oooo o o oo o o o oo o oo o oooooo o o o o ooooooooo oo oo o o o oo o ooooo o o o oo o ooooooo oo ooo o oo oooooooooooo oo o o oo o o o o oo oooooooooooo o oooooo oooo ooo o oo o o ooo o oo oo oooooooooo ooo o o ooooooo oo oooooo o oooooo o o oooooooooo o o o oooooooooooooooooo ooo oo o oo oo o ooooo o oo o oo oo oo o o o ooooooooooooooooo o o o ooo ooo o oo o oooooooo o ooooooo oooooooooo oo o o o oo o oooooooo o oo o ooooo o o ooo o oo o o o o oo oo o oo oooo oooooooo oo o oooooo ooo oo oo o oo o o ooo o o o o o o o o oo o o oo oo o o oo o o o o o o oo o o ooo o o o oo o o o o o oo o o oo o o o o o o o o o o o o o oo o o o o o o oo oo oo o o oo o o o ooo o oo o o ooooo o oo oooo oo o oo oo o o ooooo oo ooo o o o oo ooo o oo oo o oo ooooooooo o oo o oooooooo o o oo ooooo o oo o o oo o ooo oooooooo ooooooooo o oo o oooo o o oooo o o o o oooo oo o o o o o ooooooo o o o oo oo o o ooooooo o oooo o oo ooooooo oooooo oo o oooo o o oooo ooooooooo oo oo o ooo oooooooooo o o o oooooooooooooooooo ooooo o o ooooooo oo oo ooo oooo oooo oooo o ooooooo oooo o o oooooooooooooooooo ooo o oo oooooooooooooo ooo oo ooooo o o o ooo oooooo ooooooo o o o o o o o o o oo o o o o o o oo o o o o o oo o o oo o oo oo o oo oo o o oo o o o o o o oooooooo ooo o o o oo oo oo oooooo o o oo o ooooooooooooo oo o o o o o ooo o o ooooo o oo o o o oo o oo oo o o ooooo oooooooooo oo o o ooo oo ooo oo oo o ooooo oooooo oo o oo o o ooo o ooooo o oo oo ooo oooooooooo o o o o ooooooooooooooo oooooo o o oooooooooooooo o ooooo oo ooooo o oo o ooooooooooooo ooo oo o o o o ooooo o o oooooo o oo o o o oooooooooooo ooooo o o o ooo oooo oo o o o o ooooooooooooooooooo o o oo o o ooooo ooo o o o oo o o o o oooo ooo o o o o o o o oo o ooo o o o o o oooo o o oo oooo ooooo ooooo o ooo o o o oo o o o o oo o oo ooooooooo oo oo o oooo ooo oooooooooo oo o oo o o o oo o oo o oo o o o o oo o ooooooo oooooo ooo o oo oooo oooooooooo o ooo o o o 30 o o oo o o oo o oo o o o o o o oooo o o oooo oo oo oooo ooo oooooooooo o ooo o o o ooo o oo oo o oooooooo ooooooooooo oo o oooooooooo oooooooo o o oo oo o o oooo oo o oo oo ooo oooooo ooo o o o oooooooooooooo oo oooooooooo ooo oooooooo o ooooooo o o o oo oo o oooo ooooo o o o o o oo o o o o o oo o ooo ooo o ooo o ooooooooo o o ooo oooooo oo o ooo ooo oo o o o ooo o ooo o ooo o oo oooooooooo o o ooo o ooooo o o ooooooooooo o oo o oooooooooooo o oo ooo o oo o ooooooooooooooo ooooooo o oooooo oo ooooooooooooo oo oooooo oo o ooooo oooooo ooooooooooo o o oo o o ooo o ooo o o ooo o o o o o 0 10 tobacco o o o o oo o o o o o o o o o oo o o o o ooooo o o o o ooooo o o o oooooooo o o ooooo o o o o oooooooo o o o o o o o ooooo o o o o o o o o ooo o ooooooo oooo o o ooooooooooo o o o ooo ooo o oooooo o o oo o o o o o oo o oo o o o o o o o oo oooooo o o ooooooooooo o oooooooo o o ooooooooooooo oo o o ooooooooooo oooooo ooooo o o o oo o o o o o o oo oo o o o ooooo oo o oo o oo oooooo o o o o o ooo o o ooooo oo o o ooooo o o o ooooo oo oooo oo oooooo oo o o o ooo o o o oooooo o ooo o ooooooooo o o o oo oo o o o oooooo o o o ooooooooo oo o o oooooooo o ooooooo o o oooooo o oooo o o o ooooooooo oo o o o o o oooooooo ooo o oooo o o o oo o oooooooo o oooo o o o o oo o ooo o o oooooo o o oooo o ooooooooooooo ooooooo o o oo oo oooo o ooooo o ooooooo oo o 20 o o ooo oo o o o oo oo o o o oo ooo oooo oo oo ooooo oo ooo ooooo ooooo o oooooo oo o o ooo o oooo o oo o ooooo ooo o o o oo o o ooooooooo o ooo o oooooo oo oo ooooo o o ooo o ooooooo o oo oo oooo o ooooooooo o o o o ooo o o o ooooooo oo o oooooooo oo o o o oooooooooooooooooo oooooooooo o o oooo oooooo o oo oo ooooo ooo ooo o o oo oo oo ooooooo oo o o oo oo o oo o oo oo oo oo oo 0.8 ldl oo o oooooooo ooo o o oooooooooo oo ooooo o o oo 0.0 0.4 famhist oo oooooo ooo o ooooooooo oo oooo ooo oo o oo oooo oooo ooooooooooooo oooo ooooooo oo oo ooooooooooo o oo oooo ooooo o oo oooo o ooooo o o oo ooo o oooo o o o o o o o o oo o oo o oo o o o oo oo oo o o o oooo o o oo ooo ooooo o ooooo o o ooooooo o oo o oo oooooo oooo o o o ooooo oooo oo o o o oo o ooooooo oo o ooo ooooooo o o oo oooo o o oo o o ooooooooooooo oo oooooooooo oo oooooooo o o ooooo o oo ooooooooo o oo o oooooo o oooooooo ooo o o ooo o ooooooooooo o oo ooo oooooooo o oo ooooooo oo o oooooooo o oooooooooooo o o oooooooooo o o o ooo oo o o oo o oo o o oo ooooooooo oo o oo ooooooo o o oo o oooooo oooo o ooo o oooo oo oooooo o o o oooo ooo oooooooooo o oooooo o o oo ooo oooo o ooo o oooo o o o o ooo o oo o o o o o o o o o o o o o o o oo o o oo oo o oo o o o oo o o o o o oo oooooooo o oo o ooo oo o oo oo o oo oo o o oo o oo o oo oo o ooooo ooo o o ooooo ooo ooo ooooooo oo o o o oo oooooo o o o oo oo o o o oo o oo ooo ooo o ooooooooooo o ooooooo ooooooo oo o o o oo oooooo o ooo oooooooooooo o ooooooooo o o ooooo o o oooo ooooo o ooooo oooooooooooo o o oo ooooo o o oooo ooooo o o ooooooooo o oo ooo ooooo oo oooooooooooo o oo oooooooooooo oo ooooooo o ooooooooo oooo o ooo oo oo oo o ooo o o oooo o ooo oo o o oo ooo oooooo o oo o o o o o oooo o ooo o oooo o o oooooooooo o oo ooooooooo o oo oooooo oo o oo ooooo o o ooo oo o o o o oo ooooo o ooo o ooo oo o o o o ooooooooo ooooooooo o o o ooo o o o ooooooooo o o ooo o o oooooo o ooooo o ooooooo oo oo o o ooooooo o o oo ooooooo o oooooo o oo o o o oooooooo o o ooooo o o oo ooooo o ooooo o ooo o ooooo o ooo oo o oooo ooooooo o o oo ooooo ooo o o oo oo o oooo o oo ooo ooooooooo o oooooo o o oo o ooooo o o o o ooooooo ooo oooo o o oo o o ooooo oo ooo oo ooo o ooo o oooo oo ooo oo oo oooooo o o oo oo oooo ooo oooo o o ooooo oo o oo ooo o oo oo o oooo o o oo o o o oo o o o o o oo ooo ooooo oo o ooo oo ooooo o o ooo oooo oooooo oo o 100 160 220 oo ooooo oo o ooooooooooo ooooooooooo o o o oo oo ooooo oo o ooooooo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o ooo oooooo o ooo oooooooooooo ooooooooooo oooo oooooooo ooooo o oo oooooooo ooooo oooo oo o oo oo ooooooo oo oo oo oooo o o oo ooo oo oooooooooo oooo o o o oo ooo ooo oooooo ooooooooooooooooooo o o ooo o o oo o oo ooooooo oo oooo o o o o o oo o oo o o o o o ooo o oo o oo oooo o o o o o oo oo o o o o o oo oo ooo oo oo o o o o oooo o ooooo o o ooooo o oo o o o oo o oooo ooooooo o o oo o oooo oooooooooo o ooooo oooo ooooooo oo o o ooooooooooo o ooo ooooooooo ooo o o oooo oooo o o o oooooooooooooooo ooooo o o oooooooooooooo ooooo ooooo oo ooo o o ooo ooooooo o o ooo o ooo ooo oo o oooo oooooooooo oo o ooo oo oooo o o oo oooo oooooooooo ooooo oo o o o oo ooooooooooooooo o o ooo o o ooo o oo oooooooo oooo ooo o o o o o oo o oooo oo o o o o oo oooo ooo oooooooo ooooo oo oo oo o o ooo o oo o o ooo o o o o o o o o o ooooo o o o o o oo o oo o oo o oo o ooo o o o o o o o o o o o o o o ooo o oo o o o o o o oo o oo o o o ooo o o oo o o oo o o oooo o oo o oo oooooo oooo o oo ooo oooo o o o o o o oo oooo ooooo ooooooooooooooo ooo oooo ooo o oo o ooo oo oo o ooooo oo o o oooo oo ooooo oo oo o ooooo oooo o oo o oo oooooooooooooooooo o ooooooooooooooooo oo o oo oooooooooo oo oo oooooooooooooo o o o o oo o o o o o o ooooo oo oo o o oooooo o o o o o oo o o o oo oo o ooooooooo o o o o o ooooooooo o o o ooooooo o o o ooooooooo o ooooooooo o oo o ooo o o o oooooooo o oo o o o o ooooooo o o ooooo o o oo oo oooooo o o o ooooooooo o o o ooooo o o o ooo o o o ooooooo o oooooo o ooo o o ooooooo o o ooooo o o o oo ooooo o ooooo o o oo o oo o ooo o o o o o oo o o o o o o o o o o oo o o o o o o oooo o oooo o oooooo o o oo o oo ooooooo oo o oooooo oo o oo o oo ooo o o ooooooo oo oo o o o oooo oooo ooooo o o o oooo o oo o oooo o ooooooooo o ooooooooo ooooooooooooo o oo oooooo ooooooooo ooooooooooooo ooo o o ooo o o oooooo o oo ooooooo ooooo oo o ooooooooo o o o oo o oooooo o ooooooooooo o oo o oooooooooo oo o oooooo o oo o oooo oo o ooo oo o ooooooooo ooooooo o oooo oooo o o o oooooo o oo o oo ooooo o oo oooooooo o o o o oooo oooo ooooo oooo o o ooooooo ooo o o o oo o ooo oooo o o oo o ooooo o oooo oo ooo oooo o o ooo ooo o ooooo oo ooooo o oo o ooooo ooo 2 6 10 14 obesity o o o oo o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o oo o o o o o o o o oo o oo o o o o o o ooo o o o o o o o oooo o o oo o o o oooo o o o oo o oo o o o ooooooo o o o o o oooooooo oooo o o o o o ooooooo o ooooo ooooo o o o oo o ooooo o o oooooooo o o o o o o ooooooooooo o o ooooooo o o o ooooo o oo o o oooooooooo ooooooo oo o o o oooooo o o ooooooooooooo o o o oo o oo o o ooooo o o o o oooooo o o o o o oo o o ooooooooo ooooooo o o o o o o o oooooo o o o o ooooooo o o o oooooo o ooo o o oooo o o o ooo o o ooo o ooooo o oo o o o oooooo ooo oo o o oo o o o o o oo ooooo o oooooo oooooo oo o o o oo o o ooo ooo o o ooooo o ooooo o o o ooo ooo o ooo oo o o o o o o o oooo o o o o o o oo o o o ooo o o o ooo o oo o ooooooo ooo o o oo o o o oooooooo o oo o oooo o o ooo o o oooooo o o oo ooo o ooooo oo o o o o ooo o oo 15 25 35 45 100 0 50 alcohol ooo o o o oo ooo o ooo oo o o o oooooooo o o o o oo ooo o o o ooo o oooooooo o oo ooooo o oo oo oooooooo o o o oo oo o o oo o o o oooooo o oo o o oo o ooo o oo oooooo oooo o oooooo o o o oo o o oooooo o o oo o ooo oooo o oooo o o oooooo o o ooooo o o oo o o o oo o oooo o ooo oooooo oo o ooo o o ooo o o o ooo oo o o oo oo ooo o o o oo o age 5 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani Spam detection data from 4601 emails sent to an individual (named George, at HP labs, before 2000). Each is labeled as spam or email. goal: build a customized spam filter. input features: relative frequencies of 57 of the most commonly occurring words and punctuation marks in these email messages. george spam email 0.00 1.27 you 2.26 1.27 hp 0.02 0.90 free 0.52 0.07 ! 0.51 0.11 edu 0.01 0.29 remove 0.28 0.01 Average percentage of words or characters in an email message equal to the indicated word or character. We have chosen the words and characters showing the largest difference between spam and email. 6 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani 7 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani 8 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani Spectral Band 1 Spectral Band 2 Spectral Band 3 Spectral Band 4 Land Usage Predicted Land Usage 9 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani The Supervised Learning Problem Starting point: Outcome measurement Y (also called dependent variable, response, target) Vector of p predictor measurements X (also called inputs, regressors, covariates, features, independent variables) In the regression problem, Y is quantitative (e.g price, blood pressure) In the classification problem, Y takes values in a finite, unordered set (survived/died, digit 0-9, cancer class of tissue sample) We have training data (x1 , y1 ), . . . , (xN , yN ). These are observations (examples, instances) of these measurements. 10 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani Objectives On the basis of the training data we would like to: Accurately predict unseen test cases Understand which inputs affect the outcome, and how Assess the quality of our predictions and inferences 11 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani Philosophy It is important to understand the ideas behind the various techniques, in order to know how and when to use them. One has to understand the simpler methods first, in order to grasp the more sophisticated ones. It is important to accurately assess the performance of a method, to know how well or how badly it is working [simpler methods often perform as well as fancier ones!] This is an exciting research area, having important applications in science, industry and finance. 12 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani Unsupervised learning No outcome variable, just a set of predictors (features) measured on a set of samples. objective is more fuzzy -- find groups of samples that behave similarly, find features that behave similarly, find linear combinations of features with the most variation. difficult to know how well your are doing. different from supervised learning, but can be useful as a pre-processing step for supervised learning 13 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani The Netflix prize competition started in October 2006. Training data is ratings for 18, 000 movies by 400, 000 Netflix customers, each rating between 1 and 5 training data is very sparse-- about 98% missing objective is to predict the rating for a set of 1 million customer-movie pairs that are missing in the training data Netflix's current algorithm achieves a root MSE of 0.95. The first team to achieve a RMSE of 0.85 wins 1 million dollars. is this a supervised or unsupervised problem? 14 ESL Chapter 1 -- Introduction Trevor Hastie and Rob Tibshirani 15 ...
View Full Document

Ask a homework question - tutors are online