Lec10 - School of Computer Science and Technology...

Info iconThis preview shows pages 1–9. Sign up to view the full content.

View Full Document Right Arrow Icon
Nature Inspired Computation and Applications Laboratory School of Computer Science and Technology University of Science and Technology of China Pattern Recognition Lecture 10 Ensemble Learning
Background image of page 1

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Nature Inspired Computation and Applications Laboratory 主要内容 什么是分类器集成 (Classifier ensemble) 为什么要 ensemble ensemble 成功的要素 一些 ensemble learning 算法
Background image of page 2
Nature Inspired Computation and Applications Laboratory 何为分类器集成 两种定义: 狭义:利用多个同质的分类器共同解决一 个问题,“同质”指的是分类器所属同一 种类型,例如都是决策树,神经网络等。 广义:只要使用多个分类器即可,可以不 同质
Background image of page 3

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Nature Inspired Computation and Applications Laboratory 为什么要 ensemble 训练分类器就是是寻找最优权值的过程,这是一 个优化问题,有很多局部最优。 不同的训练过程(初始点,输入数据的顺序等不 同),得到的神经网络,在输入空间的不同子集 上的表现不同。 相比于由单个神经网络做出的决策,由多个神经 网络共同做出的决策错误的可能性低。 集成分类器比单个分类器好。 以神经网络为例:
Background image of page 4
Nature Inspired Computation and Applications Laboratory 训练好组件分类器后,最常用的集成方法是 majority voting 为什么要 ensemble
Background image of page 5

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Nature Inspired Computation and Applications Laboratory ensemble 成功的要素 ensemble 中的每个分类器具有足够高的分类精度 (Accuracy) ensemble 中的分类器之间是有差异的 (Diversity) Accuracy 可以通过对个体分类器进行充分训练获得, 那么如何获得 Diversity 关键在于:如何使得训练的过程有所不同
Background image of page 6
Nature Inspired Computation and Applications Laboratory ensemble 成功的要素 分类器的训练总的来说由两大基本要素确定:训 练样本和训练算法。因此,要获得 diverse 的分类 器,主要可从这两方面入手。 使用不同的训练样本 使用不同的训练算法 分类器采用不同的模型(如神经网络、决策树、 SVM 采用相同的模型,但是使用不同的初始参数进行训练 (多用于随机性比较强的训练算法) 在训练过程中使用不同的参数,如学习速率
Background image of page 7

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Nature Inspired Computation and
Background image of page 8
Image of page 9
This is the end of the preview. Sign up to access the rest of the document.

Page1 / 28

Lec10 - School of Computer Science and Technology...

This preview shows document pages 1 - 9. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online