06-LecBoostingTheory - A Formal View of Boosting y1(xm ym yi 2 f;1 1g correct label of instance xi 2 X for t = 1 T construct distribution Dt on f1 mg

# 06-LecBoostingTheory - A Formal View of Boosting y1(xm ym...

• Notes
• 11

This preview shows page 1 out of 11 pages.

Unformatted text preview: A Formal View of Boosting y1) : : : (xm ym) yi 2 f;1 +1g correct label of instance xi 2 X for t = 1 : : : T : construct distribution Dt on f1 : : : mg given training set (x1 ﬁnd weak hypothesis (“rule of thumb”) ht : X ! f;1 +1g with small error t on Dt: t = PrDt ht(xi) 6= yi] output ﬁnal hypothesis Hﬁnal AdaBoost [Freund & Schapire] constructing Dt : D1(i) = 1=m given Dt and ht: Dt+1(i) = = where if yi = ht(xi) Dt i e Zt e if yi 6= ht(xi) Dt(i) exp(; y h (x )) t i t i Zt 0 BX ( ) = sign B @ ﬁnal x t Zt = normalization constant 1 0 1 ; tC B = 1 ln B A t 2 @ t C>0 ﬁnal hypothesis hypothesis: H 8 > < () > ; > > t : 1 C ( )C A t ht x t > 1 Toy Example D1 Round 1 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 111111111111 0000 000000000000 h1 D2 ε1 =0.30 α1=0.42 Round 2 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 111111111111 0000 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 00000 111111111111 000000000000 11111 000000000000 00000 111111111111 11111 h2 D3 ε2 =0.21 α2=0.65 Round 3 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 111111111111 0000 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 00000 111111111111 000000000000 11111 000000000000 00000 111111111111 11111 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 h3 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 000000000000000 111111111111111 ε3 =0.14 α3=0.92 Final Hypothesis H final = sign 11 00 1111111 0000000 1111111 0000000 11 00 1111111 0000000 11 00 11 00 1111111 0000000 1111111 0000000 11 00 11 00 1111111 0000000 11 00 1111111 0000000 1111111 0000000 11 00 11 00 1111111 0000000 11 00 1111111 0000000 0.4200 + 11 1111111 0000000 11 00 1111111 0000000 1111111 0000000 11 00 11 00 1111111 0000000 11 00 1111111 0000000 11 00 0000000 1111111 00 0000000 11 1111111 = 11 00 11111111 00000000 11111111 00000000 11 00 11111111 00000000 11 00 11 00 11111111 00000000 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 + 11 00 0.65 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 00000000 11 00 11111111 00000000 11 00 11111111 111111111 000000000 111111111 000000000 111111111 000000000 000000000 111111111 000000000 111111111 111111111 000000000 111111111 000000000 111111111 000000000 111111111 000000000 0.92 111111111 000000000 111111111 000000000 111111111 000000000 111111111 000000000 111111111 000000000 000000000 111111111 000000000 111111111 1111111111111 0000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 0000000000000 11111 00000 1111111111111 111111111111 000000000000 0000000000000 111111111111 000000000000 1111111111111 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 00000 11111 111111111111 000000000000 00000 000000000000 11111 111111111111 * See demo at ˜yoav/adaboost Analyzing the training error Theorem Theorem: run AdaBoost let t = 1=2 ; then t 2 s Y4 training error(Hﬁnal) t 2 t(1 ; t 3 )5 v u Yu = t1 ; 4 2 t t 0 1 B C exp B;2 X 2C @ A t t so: if 8t : t >0 then training error(Hﬁnal) ;2 2T e adaptive adaptive: does not need to know or T a priori can exploit t Proof let f (x) = X tht(x) ) Hﬁnal(x) = sign(f (x)) t Step 1 unwrapping recursion: 1: Dﬁnal(i) = = 1 m 1 m 0 B exp B; @ yi X tht(xi t Y Zt t e;y f (x ) Y Zt t i 1 C )C A i Y Step 2 training error(Hﬁnal) 2: Zt t Proof: Hﬁnal(x) 6= y ) yf (x) 0 ) e;yf (x) 1 so: training error(Hﬁnal) = 1 8 > < X> 1 > >0 : mi if yi 6= Hﬁnal(xi) else 1 X ;yif (xi) e = = mi X Dﬁnal(i)Y Zt t i Y Zt t Step 3 3: Proof (cont.) s Zt = 2 t(1 ; t) Proof: Zt = = X Dt(i) exp(; t yi ht(xi)) i X = t + X i:y 6=h (x ) i:y =h (x ) e + (1 ; t) e; t s 2 t (1 ; t ) t i = Dt(i)e t i i t t i Dt(i)e; t UCI Experiments [Freund & Schapire] tested AdaBoost on UCI benchmarks used: C4.5 (Quinlan’s decision tree algorithm) decision stumps”: “decision stumps very simple rules of thumb that test on single attributes eye color = brown ? yes no predict +1 predict -1 height > 5 feet ? yes predict -1 25 20 20 C4.5 30 25 C4.5 30 no predict +1 15 15 10 10 5 5 0 0 0 5 10 15 20 25 30 boosting Stumps 0 5 10 15 20 25 boosting C4.5 30 ...
View Full Document