C bc b b 0 1 1 2 2 s0 s pai s j i 01

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: 方差 2 Var log p ( x i ) q E log p( xi ) H ( X ) pi log2 pi H2 ( X ) 2 2 i1 取 2 N 0 2 2 2 ,则当 N N 时 , 有 2 2 0 N N0 总结 总结 2 0 ,令 N 0 2 对离散无记忆信源,给定 , 取 N N 0 ;那么对长度为N的信源序列,满足 下式的为典型序列,否则为非典型序列。 {x : Ni pi , i 1, , q} N log p ( x) 定理说明,当N 定理说明,当N足够大时,典型序列 x 的 N 的值接近信源的熵 对于有记忆的马氏源,定理也成立 渐进均分特性 渐进均分特性 典型序列的概率估计 设 x G1 log p ( x) H (X ) N N [ H ( X ) ] log p ( x) N [ H ( X ) ] 设取2 设取2为底 2 N [ H ( X ) ] p ( x) 2 N [ H ( X ) ] 简记为: 简记为: p ( x ) 2 N [ H ( X ) ] 当 足够小时,每个典型序列的概率 p ( x) 接近, NH ( X ) 2 其偏差不大于 2 N ; 此时序列的长度需要很大 典型序列的个数估计 设 N G 为 G1 中序列的个数 先估计上界: 利用概率估计的下界 N G 2 N [ H ( X ) ] N G min p( x) 1 x N G 2 N ( H ( X ) ) 再估计下界: 利用概率估计的上界 1 N G max p( x) N G 2 N [ H ( X ) ] x NG (1 )2N[H ( X ) ] (1 )2 N [ H ( X ) ] N G 2 N [ H ( X ) ] 渐近均分特性 当 取值很小时(N要求很大),对于典型序列 取值很小时(N NH ( X ) NG 2 , p( x ) 2 NH ( X ) 含意: 当长度N 当长度N足够大时: 典型序列接近等概率 2NH( X),...
View Full Document

This document was uploaded on 02/10/2014.

Ask a homework question - tutors are online