06-LecBoostingTheory - A Formal View of Boosting y1(xm ym yi 2 f;1 1g correct label of instance xi 2 X for t = 1 T construct distribution Dt on f1 mg

06-LecBoostingTheory - A Formal View of Boosting y1(xm ym...

This preview shows page 1 out of 11 pages.

Unformatted text preview: A Formal View of Boosting y1) : : : (xm ym) yi 2 f;1 +1g correct label of instance xi 2 X for t = 1 : : : T : construct distribution Dt on f1 : : : mg given training set (x1 find weak hypothesis (“rule of thumb”) ht : X ! f;1 +1g with small error t on Dt: t = PrDt ht(xi) 6= yi] output final hypothesis Hfinal AdaBoost [Freund & Schapire] constructing Dt : D1(i) = 1=m given Dt and ht: Dt+1(i) = = where if yi = ht(xi) Dt i e Zt e if yi 6= ht(xi) Dt(i) exp(; y h (x )) t i t i Zt 0 BX ( ) = sign B @ final x t Zt = normalization constant 1 0 1 ; tC B = 1 ln B A t 2 @ t C>0 final hypothesis hypothesis: H 8 > < () > ; > > t : 1 C ( )C A t ht x t > 1 Toy Example D1 Round 1 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 111111111111 0000 000000000000 h1 D2 ε1 =0.30 α1=0.42 Round 2 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 111111111111 0000 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 00000 111111111111 000000000000 11111 000000000000 00000 111111111111 11111 h2 D3 ε2 =0.21 α2=0.65 Round 3 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 0000 111111111111 000000000000 1111 111111111111 0000 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 111111111111 000000000000 11111 00000 00000 111111111111 000000000000 11111 000000000000 00000 111111111111 11111 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 h3 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 111111111111111 000000000000000 000000000000000 111111111111111 ε3 =0.14 α3=0.92 Final Hypothesis H final = sign 11 00 1111111 0000000 1111111 0000000 11 00 1111111 0000000 11 00 11 00 1111111 0000000 1111111 0000000 11 00 11 00 1111111 0000000 11 00 1111111 0000000 1111111 0000000 11 00 11 00 1111111 0000000 11 00 1111111 0000000 0.4200 + 11 1111111 0000000 11 00 1111111 0000000 1111111 0000000 11 00 11 00 1111111 0000000 11 00 1111111 0000000 11 00 0000000 1111111 00 0000000 11 1111111 = 11 00 11111111 00000000 11111111 00000000 11 00 11111111 00000000 11 00 11 00 11111111 00000000 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 + 11 00 0.65 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 11111111 00000000 11 00 00000000 11 00 11111111 00000000 11 00 11111111 111111111 000000000 111111111 000000000 111111111 000000000 000000000 111111111 000000000 111111111 111111111 000000000 111111111 000000000 111111111 000000000 111111111 000000000 0.92 111111111 000000000 111111111 000000000 111111111 000000000 111111111 000000000 111111111 000000000 000000000 111111111 000000000 111111111 1111111111111 0000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 1111111111111 0000000000000 11111 00000 1111111111111 0000000000000 11111 00000 111111111111 000000000000 0000000000000 11111 00000 1111111111111 111111111111 000000000000 0000000000000 111111111111 000000000000 1111111111111 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 11111 00000 111111111111 000000000000 111111111111 000000000000 11111 00000 11111 00000 111111111111 000000000000 00000 11111 111111111111 000000000000 00000 000000000000 11111 111111111111 * See demo at ˜yoav/adaboost Analyzing the training error Theorem Theorem: run AdaBoost let t = 1=2 ; then t 2 s Y4 training error(Hfinal) t 2 t(1 ; t 3 )5 v u Yu = t1 ; 4 2 t t 0 1 B C exp B;2 X 2C @ A t t so: if 8t : t >0 then training error(Hfinal) ;2 2T e adaptive adaptive: does not need to know or T a priori can exploit t Proof let f (x) = X tht(x) ) Hfinal(x) = sign(f (x)) t Step 1 unwrapping recursion: 1: Dfinal(i) = = 1 m 1 m 0 B exp B; @ yi X tht(xi t Y Zt t e;y f (x ) Y Zt t i 1 C )C A i Y Step 2 training error(Hfinal) 2: Zt t Proof: Hfinal(x) 6= y ) yf (x) 0 ) e;yf (x) 1 so: training error(Hfinal) = 1 8 > < X> 1 > >0 : mi if yi 6= Hfinal(xi) else 1 X ;yif (xi) e = = mi X Dfinal(i)Y Zt t i Y Zt t Step 3 3: Proof (cont.) s Zt = 2 t(1 ; t) Proof: Zt = = X Dt(i) exp(; t yi ht(xi)) i X = t + X i:y 6=h (x ) i:y =h (x ) e + (1 ; t) e; t s 2 t (1 ; t ) t i = Dt(i)e t i i t t i Dt(i)e; t UCI Experiments [Freund & Schapire] tested AdaBoost on UCI benchmarks used: C4.5 (Quinlan’s decision tree algorithm) decision stumps”: “decision stumps very simple rules of thumb that test on single attributes eye color = brown ? yes no predict +1 predict -1 height > 5 feet ? yes predict -1 25 20 20 C4.5 30 25 C4.5 30 no predict +1 15 15 10 10 5 5 0 0 0 5 10 15 20 25 30 boosting Stumps 0 5 10 15 20 25 boosting C4.5 30 ...
View Full Document

  • Left Quote Icon

    Student Picture

  • Left Quote Icon

    Student Picture

  • Left Quote Icon

    Student Picture