GT_LTTT - Gio trnh L thuyt thng tin MC LC GII THIU TNG...

Info iconThis preview shows pages 1–3. Sign up to view the full content.

View Full Document Right Arrow Icon
Giáo trình: Lý thuy ế t thông tin. M C L C GI I THI U T NG QUAN. ............................................................................................................ 6 1. M C Đ ÍCH. .......................................................................................................................... 6 2. YÊU C U ............................................................................................................................. 6 3. N I DUNG C T LÕI. .......................................................................................................... 7 4. K T TH C TIÊN QUY T .................................................................................................. 7 5. TÀI LI U THAM KH O..................................................................................................... 8 6. PH ƯƠ NG PHÁP H C T P................................................................................................. 8 CH ƯƠ NG 1: GI I THI U............................................................................................................... 9 1. M c tiêu. ................................................................................................................................ 9 2. Đố i t ượ ng nghiên c u............................................................................................................ 9 3. Mô hình lý thuy ế t thông tin theo quan đ i m Shannon . ....................................................... 10 4. L ượ ng tin bi ế t và ch ư a bi ế t ................................................................................................. 10 5. Ví d v l ượ ng tin bi ế t và ch ư a bi ế t.................................................................................... 10 6. Đị nh lý c ơ s c a k thu t truy n tin . ................................................................................. 11 7. Mô t tr ng thái truy n tin có nhi u.................................................................................... 11 8. Minh h a k thu t gi m nhi u............................................................................................. 12 9. Chi phí ph i tr cho k thu t gi m nhi u ............................................................................ 13 10. Khái ni m v dung l ượ ng kênh truy n............................................................................ 13 11. V n đề sinh mã. ............................................................................................................... 13 12. V n đề gi i mã. ................................................................................................................ 13 CH ƯƠ NG 2: ĐỘ Đ O L ƯỢ NG TIN. .............................................................................................. 15 BÀI 2.1: ENTROPY . ...................................................................................................................... 15 1. M c tiêu. .............................................................................................................................. 15 2. Ví d v entropy. ................................................................................................................. 15 3. Nh n xét v độ đ o l ượ ng tin. ............................................................................................... 15 4. Khái ni m entropy. .............................................................................................................. 16 5. Entropy c a m t s ki n...................................................................................................... 16 6. Entropy c a m t phân ph i ................................................................................................. 16 7. Đị nh lý d ng gi i tích c a Entropy. ..................................................................................... 16 8. Ví d minh h a.................................................................................................................... 17 9. Bài toán v cây tìm ki ế m nh phân- Đặ t v n đề ................................................................... 17 10. Bài toán v cây tìm ki ế m nh phân - Di n gi i................................................................ 17 11. Bài t p ............................................................................................................................. 18 BÀI 2.2: CÁC TÍNH CH T C A ENTROPY . ............................................................................ 19 1. M c tiêu: . ............................................................................................................................ 19 2. Các tính ch t c ơ b n c a Entropy. ....................................................................................... 19 3. Minh h a tính ch t 1 và 2. ................................................................................................... 19 4. Minh h a tính ch t 3 và 4. ................................................................................................... 19 5. Đị nh lý c c đạ i c a entropy . ............................................................................................... 20 6. Ch ng minh đị nh lý c c đạ i c a Entropy. ........................................................................... 20 7. Bài t p ................................................................................................................................. 21 BÀI 2.3: ENTROPY C A NHI U BI N ..................................................................................... 22 1. M c tiêu. .............................................................................................................................. 22 2. Đị nh ngh ĩ a Entropy c a nhi u bi ế n..................................................................................... 22 3. Ví d Entropy c a nhi u bi ế n.............................................................................................. 22 4. Đị nh ngh ĩ a Entropy có đ i u ki n......................................................................................... 22 Biên so n: TS. L ê Quy ế t Th ng, ThS. Phan T n Tài & Ks. D ươ ng V ă n Hi ế u. 1
Background image of page 1

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Giáo trình: Lý thuy ế t thông tin. 5. Ví d Entropy có đ i u ki n ................................................................................................. 23 6. Quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y độ c l p................................................. 23 7. Quan h gi a H(X,Y) v i H(X) và H(Y) khi X, Y t ươ ng quan. ......................................... 24 8. Bài t p ................................................................................................................................. 25 BÀI 2.4: MINH H A CÁC ENTROPY. ....................................................................................... 26 1. M c tiêu. .............................................................................................................................. 26 2. Yêu c u c a bài toán . .......................................................................................................... 26 3. Xác đị nh các phân ph i ng u nhiên c a bài toán . ............................................................... 26 4. Minh h a Entropy H(X), H(Y) và H(X,Y). ......................................................................... 27 5. Minh h a Entropy H(X/Y) và H(Y/X). ............................................................................... 27 6. Minh h a quan h gi a các Entropy. ................................................................................... 27 BAI 2.5: Đ O L ƯỢ NG TIN (MESURE OF INFORMATION) . ..................................................... 28 1. M c tiêu. .............................................................................................................................. 28 2. Đặ t v n đề bài toán. ............................................................................................................. 28 3. Xác đị nh các phân ph i c a bài toán. .................................................................................. 28 4. Nh n xét d a theo entropy . ................................................................................................. 28 5. Đị nh ngh ĩ a l ượ ng tin . .......................................................................................................... 29 6. Bài t p ................................................................................................................................. 29 CH ƯƠ NG 3: SINH MÃ TÁCH ĐƯỢ C (Decypherable Coding). .................................................. 31 BÀI 3.1: KHÁI NI M V MÃ TÁCH ĐƯỢ C.............................................................................. 31 1. M c tiêu. .............................................................................................................................. 31 2. Đặ t v
Background image of page 2
Image of page 3
This is the end of the preview. Sign up to access the rest of the document.

This note was uploaded on 01/18/2012 for the course INFORMATIK 2011 taught by Professor Phanthuongcang during the Winter '11 term at Cornell.

Page1 / 95

GT_LTTT - Gio trnh L thuyt thng tin MC LC GII THIU TNG...

This preview shows document pages 1 - 3. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online