Z p ř í kladu 22 p ř evezmeme tyto meziv ý sledky

Info icon This preview shows pages 23–25. Sign up to view the full content.

View Full Document Right Arrow Icon
Z p ř í kladu 22 p ř evezmeme tyto meziv ý sledky: P = 0,95, Q = 0,05, 5 , 0 ) ( ) ( ) ( ) ( 2 1 2 1 = = = = y P y P x P x P , H ( X ) = H ( Y ) =1 Sh/znak. Nejprve vypo č teme simult á nn í pravd ě podobnosti P ( x i , y j ) pomoc í vzorce (27). Budeme je pot ř ebovat pro v ý po č et H ( X / Y ) podle (34). 475 , 0 95 , 0 . 5 , 0 ) / ( ). ( ) , ( 1 1 1 1 1 = = = x y P x P y x P , 025 , 0 05 , 0 . 5 , 0 ) / ( ). ( ) , ( 1 2 1 2 1 = = = x y P x P y x P , 025 , 0 05 , 0 . 5 , 0 ) / ( ). ( ) , ( 2 1 2 1 2 = = = x y P x P y x P , 475 , 0 95 , 0 . 5 , 0 ) / ( ). ( ) , ( 2 2 2 2 2 = = = x y P x P y x P . Nyn í m ůž eme ur č it pravd ě podobnosti ze zp ě tn é matice kan á lu podle (28): 95 , 0 ) ( ) ( ) / ( ) / ( 1 1 1 1 1 1 = = y P x P x y P y x P , 05 , 0 ) ( ) ( ) / ( ) / ( 2 1 1 2 2 1 = = y P x P x y P y x P , 05 , 0 ) ( ) ( ) / ( ) / ( 1 2 2 1 1 2 = = y P x P x y P y x P , 95 , 0 ) ( ) ( ) / ( ) / ( 2 2 2 2 2 2 = = y P x P x y P y x P . Dosad í me do (34) a ur čí me podm í n ě nou entropii: PDF byl vytvo ř en zku š ebn í verz í FinePrint pdfFactory
Image of page 23

Info icon This preview has intentionally blurred sections. Sign up to view the full version.

View Full Document Right Arrow Icon
Datov á komunikace p ř edn á š ky 20 Sh/znak. 286 , 0 ] 95 , 0 log 475 , 0 05 , 0 log 025 , 0 05 , 0 log 025 , 0 95 , 0 log 475 , 0 [ )] / ( log ) , ( ) / ( log ) , ( ) / ( log ) , ( ) / ( log ) , ( [ ) / ( 2 2 2 2 2 2 2 2 2 1 2 2 1 2 2 1 2 2 1 1 1 2 1 1 = = + + + - = + + + + - = & & y x P y x P y x P y x P y x P y x P y x P y x P Y X H Vz á jemn á informace ze vstupu na v ý stup vyjde podle (35) 714 , 0 286 , 0 1 ) / ( ) ( ) , ( = - = - = & Y X H X H Y X I Sh/znak. Podm í n ě nou entropii H ( X / Y ) jsme zavedli jako ur č itou neur č itost p ř í jemce, kter ý je na v ý stupu kan á lu a podle toho, co p ř ijme, se sna ží uhodnout, co bylo vysl á no. Na cel ý probl é m se m ůž eme ale d í vat i z pozice vys í la č e informace na vstupu kan á lu. Podm í n ě n á entropie v ý stupn í ho souboru { Y } p ř i zn á m é m vstupu x i : - = j i j i j i x y P x y P x Y H ) / ( log ) / ( ) / ( 2 . (36) Neur č itost pozorovatele na vstupu kan á lu o tom, co je p ř ijato na v ý stupu, je H ( Y ). Zjist í -li v š ak, ž e byl vysl á n znak x i , pak tato neur č itost je zmen š ena na hodnotu H ( Y / x i ). V p ř í pad ě bezhlukov é ho kan á lu je dokonce neur č itost zmen š ena na nulovou hodnotu. Zpr ů m ě rujeme-li entropie (36) pro v š echny mo ž n é vstupy x i , dostaneme tzv. podm í n ě nou entropii v ý stupu po č ten í vstupu : = i i i x Y H x P X Y H ) / ( ) ( ) / ( . (37) Po dosazen í (36) do (37) a s vyu ž it í m vztahu (27) dostaneme ∑∑ - = i j i j j i x y P y x P X Y H ) / ( log ) , ( ) / ( 2 . (38) K v ý po č tu t é to entropie tedy pot ř ebujeme nyn í zn á t krom ě simult á nn í ch pravd ě podobnost í jen prvky p ř í m é matice kan á lu. Konkr é tn ě pro bin á rn í kan á l vede dvojit á suma v (38) na č ty ř i č leny: )]. / ( log ) , ( ) / ( log ) , ( ) / ( log ) , ( ) / ( log ) , ( [ ) / ( 2 2 2 2 2 2 1 2 1 2 1 2 2 2 1 1 1 2 1 1 x y P y x P x y P y x P x y P y x P x y P y x P X Y H + + + + - = (39) Podm í n ě n á entropie v ý stupu po č ten í vstupu p ř edstavuje pr ů m ě rnou neur č itost pozorovatele o stavu v ý stupu kan á lu po p ř e č ten í vstupu. P ř ed p ř e č ten í m byla jeho neur č itost H ( Y ). Rozd í l t ě chto hodnot je tedy informace o v ý stupu, kterou pozorovatel z í skal č ten í m vstupu a kter á pro š la zp ě t kan á lem z v ý stupu k p ř í jemci. Nazv ě me ji vz á jemnou informac í z v ý stupu na vstup I ( Y , X ) : ) / ( ) ( ) , ( X Y H Y H X Y I - = [Sh/znak]. (40) Podm í n ě nou entropii H ( Y / X ) lze ch á pat jako pr ů m ě rn é mno ž stv í informace na znak zpr á vy, kter
Image of page 24
Image of page 25
This is the end of the preview. Sign up to access the rest of the document.