信息理論與編碼習(xí)題

1、2.72.7離散無記憶信源的擴(kuò)展離散無記憶信源的擴(kuò)展2.3每幀電視圖像可看成是由個(gè)獨(dú)立變化的像素組成的，每個(gè)像素又取1285103?個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)的。問每幀圖像含有多少信息量？現(xiàn)假設(shè)有一個(gè)廣播員，在約10000個(gè)漢字中選1000個(gè)字來口述這一電視圖像，（1）試問廣播員描述此圖像所廣播的信息量是多少？（2）假設(shè)漢字字匯是等概分布的，并且彼此無依賴，試問若要恰當(dāng)?shù)孛枋龃藥瑘D像，廣播員在口述中至少需要多少個(gè)漢字？答案

2、：王虹解：設(shè)電視圖像每個(gè)像素取128個(gè)不同的亮度點(diǎn)平，并設(shè)電平等概率出現(xiàn)，每個(gè)像素的亮度信源為128121281()1()112811281128iiiXaaaPaPa?????????????????????????????????????得每個(gè)像素亮度含有的信息量為：()log1287HX????比特像素一幀中像素均是獨(dú)立變化的，則每幀圖像信源就是離散亮度信源的無記憶次擴(kuò)展信源。N得每幀圖像含有的信息量為6()()2.110NHXN

3、HX?????比特每幀廣播口述時(shí)，廣播員是從10000個(gè)漢字字匯中選取的，假設(shè)漢字字匯是等概率分布的，則漢字字匯信源是121()110000()111qqjijYbbbPbqPbqqq?????????????????????????????????????得該漢字字匯中每個(gè)漢字含有的信息量2()loglog1000013.29HYq??????比特字廣播員口述電視圖像是從此漢字字匯信源中獨(dú)立地選取1000個(gè)字來描述。所以，廣播員描述此

4、幀圖像所廣播的信息量為442()()1000log101.32910NHYNHY??????比特千字若廣播員仍從此漢字字匯信源中獨(dú)立地選取漢字來描述電視圖像，每次口述一個(gè)漢字含Y有信息量是每幀電視圖像含有的信息量是則廣播員口述此圖像至少需用的()HY()NHX漢字?jǐn)?shù)等于65()2.1101.5810158000()13.29NHXHY?????字字2.5一副充分洗亂的牌（含52張），試問：（1）任一特定排列所給出的不確定性是多少？（2）

5、隨機(jī)抽取13張牌，13張牌的點(diǎn)數(shù)互不相同時(shí)的不確定性是多少？解：（1）一副充分洗亂的撲克牌，共有52張，這52張牌可以按不同的一定順序排列，可能有的不同排列狀態(tài)數(shù)就是全排列種數(shù)，為6752528.06610P????因?yàn)閾淇伺瞥浞窒磥y，所以任一特定排列出現(xiàn)的概率是相等的。設(shè)事件A為任一特定排列，則其發(fā)生概率為的概率分布如下ZXY?07()8zZPZ????????????118z?????27711()()loglog)0.544888

6、8kKHZpbitsymbolz?????????????由得()()()pxzpxpzx?1(00)(0)(00)2pxzpxpzx???????(01)(0)(10)03(10)(1)(01)(1)(01)(10)81(11)(1)(11)(1)(11)(11)8pxzpxpzxpxzpxpzxpxpyxpxypxzpxpzxpxpyxpxy???????????????????????????????????113311()()l

7、ogloglog1.406228888ikikHXZpxzbtsymb???????????????由對稱性可得()1.406HYZbtsymbol??()()()()1pxyzpxypzxypzxy?由又要么等于，要么等于0.1(000)(00)(000)(00)8pxyzpxypzxypxy?????????????(001)(00)(100)03(010)(01)(001)(01)8(011)(01)(101)03(100)(10

8、)(010)(10)8(101)pxyzpxypzxypxyzpxypzxypxypxyzpxypzxypxyzpxypzxypxypxyzp??????????????????????????????????????????????????(11)(110)0(110)(11)(011)01(111)(11)(111)(11)8xypzxypxyzpxypzxypxyzpxypzxypxy???????????????????????