第3章���度

第3ç« æ¦�ç��å¯�度 - 第 3

Info iconThis preview shows pages 1–2. Sign up to view the full content.

View Full Document Right Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: 第 3 章概率密度函数的估计 3.1 引言 在第 2 章中,我们讨论了设计贝叶斯分类器的方法,即在先验概率 ( ) i P ω 和类条件概率密度 ( | ) i p x ω 已 知的情况下,按一定的决策规则确定判别函数和决策面。但在实际工作中,类条件概率密度常常是未知的。 以例 2.1 来说,我们不可能直接知道先验概率和类条件概率密度 ( | ) i p x ω 。但是我们可能从经验中知道玉米 和杂草的大致比例,因而可能推断出先验概率 ( ) i P ω 。此外我们还可能得到一些玉米和杂草的样本。这就需 要我们从这些样本中去估计出玉米和杂草的类概率密度 1 ( | ) p x ω 及 2 ( | ) p x ω 。这就是本章要讨论的有关概率 密度函数的估计问题。 在实际中,我们能收集到一些样本,而未知的则可能是: 1 . 类条件概率密度,即各类的概率密度分布 ( | ) i p x ω ; 2 . 先验概率 ( ) i P ω 。 我们的最终任务是利用样本集设计分类器。一个很自然的想法是把分类器设计过程分为两步:第一步, 利用样本集估计 ( | ) i p x ω 和 ( ) i P ω ,分别记为 ( | ) i p x ω ∧ 和 ( ) i P ω ∧ 。解决这样的问题可以利用统计推断中的估 计理论。第二步,再将估计量 ( | ) i p x ω ∧ 和 ( ) i P ω ∧ 代入第 2 章的贝叶斯决策规则中,完成分类器设计。我们将 这样的分类器设计过程称为基于样本的两步贝叶斯决策。 利用两步贝叶斯决策方法得到的分类器性能与第 2 章理论上的贝叶斯分类器有所不同。我们希望当样本 数目 N → ∞ 时,基于样本的分类器能收敛于理论上的结果。为此,只要说明 N → ∞ 时, ( | ) i p x ω ∧ 和 ( ) i P ω ∧ 收敛于 ( | ) i p x ω 和 ( ) i P ω 就可以了。这在统计学中可通过对估计量性质的讨论来解决。 一旦得到了 ( | ) i p x ω 和 ( ) i P ω ,我们就可以利用第 2 章的方法实现一个分类器。因此,我们本章的主要 任务是利用样本估计 ( | ) i p x ω 和 ( ) i P ω 。一般来说,有两类方法估计概率密度函数。一类是参数方法。在参 数方法中,假设函数形式是已知的,未知的是函数的参数。通过估计参数来完成概率密度函数的估计。这里 我们只考虑两种常用的方法。一种是最大似然估计方法,另一种是贝叶斯估计方法。虽然这两种估计的结果 通常是近似相等的,但从概念上和观点上来说它们是完全不同的。最大似然估计把参数看作是确定而未知的, 最好的估计值是在获得实际观察样本的概率为最大的条件下得到的。这时的参数估计基本上依赖于使用的样 本。而贝叶斯估计则把未知的参数当作具有某种分布的随机变量,考虑了未知参数的先验分布,从而得到对 参数的更好的估计。 另一类方法是非参数估计。在非参数估计中假设概率密度函数的形式是未知的,要求我们直接推断概率...
View Full Document

This note was uploaded on 06/02/2010 for the course ELECTRONIC PC2010S taught by Professor Zhangchangshui during the Spring '10 term at Tsinghua University.

Page1 / 34

第3ç« æ¦�ç��å¯�度 - 第 3

This preview shows document pages 1 - 2. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online