2 2 02 3 01 4 2 22 12 pili2 l 2 0422 0222

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: q N Ni p i i 或N ,其中 i 1 由于信源是无记忆的,所以 x 的概率为 p ( x ) =p N1 1 p Nq q ,x q log p( x) Ni log pi i 1 的自信息负值为: q N(p i 1 q i NH ( X ) N i log pi i 1 i ) log p i q log p ( x ) H ( X ) i log pi 所以 所以 N i 1 q q log p ( x ) H ( X ) i log pi log pi N i 1 i 1 选择 ,使得 q log p i 1 i 下面证明定理的后半部分。设 x G 2 , log p ( x ) H (X ) N 因为信源是无记忆的,所以 p ( x ) p ( x1 ) p ( x N ) , N 得到 log p ( x ) log p ( xi ) 有 i 1 得 1 N N log p( x ) H ( X ) i 1 i 令 z i log p ( x i ) , 可得 E ( zi ) H ( X ) , 所以 1 N 1N E log p( xi ) E(zi ) H( X ) N i1 N i1 Var( ) 根据Chebyshev不等式: p ,其中 2 为随机变量;这样就得到: 1 pr z : N 2 zi z N 2 i 1 1N z ( z1, z2 , zN ) , E( zi ) , 2 Var ( zi ) z 其中 N i1 所以, log p( x) 2 H( X ) pr x : N N 2 N 其中,自信息...
View Full Document

This document was uploaded on 02/10/2014.

Ask a homework question - tutors are online