信息論習(xí)題集

1、信息論習(xí)題集信息論習(xí)題集第二章第二章2.1同時(shí)擲2顆骰子，事件A、B、C分別表示：（A）僅有一個(gè)骰子是3；（B）至少有一個(gè)骰子是4；（C）骰子上點(diǎn)數(shù)的總和為偶數(shù)。試計(jì)算A、B、C發(fā)生后所提供的信息量。2.3一信源有4種輸出符號(hào)，=0，1，2，3，且p()=14。設(shè)信源向信宿發(fā)出，但由于傳輸中ixiix3x的干擾，接收者收到后，認(rèn)為其可信度為0.9。于是信源再次向信宿發(fā)送該符號(hào)（），信宿準(zhǔn)確無(wú)誤3x3x收到。問(wèn)信源在兩次發(fā)送中發(fā)送的信息量

2、各是多少？信宿在兩次接收中得到的信息量又各是多少？2.5一信源有6種輸出狀態(tài)，概率分別為=0.5，=0.25，=0.125，==0.05，=0.025()pA()pB()pC()pD()pE()pF試計(jì)算。然后求消息ABABBA和FDDFDF的信息量（設(shè)信源先后發(fā)出的符號(hào)相互獨(dú)立），并將之()HX與長(zhǎng)度為6的消息序列信息量的期望值相比較。2.6中國(guó)國(guó)家標(biāo)準(zhǔn)局所規(guī)定的二級(jí)漢字共6763個(gè)。設(shè)每字使用的頻度相等，求一個(gè)漢字所含的信息量。設(shè)每

3、個(gè)漢字用一個(gè)1616的二元點(diǎn)陣顯示，試計(jì)算顯示方陣所能表示的最大信息量。顯示方陣的利用率?是多少？2.7已知信源發(fā)出和兩種消息，且。此消息在二進(jìn)制對(duì)稱(chēng)信道上傳輸，信1a2a12()()12papa??道傳輸特性為，。求互信息量和。1122(|)(|)1pbapba????1221(|)(|)pbapba???11()Iab12()Iab2.8已知二維隨機(jī)變量的聯(lián)合概率分布為：，XY()ijpxy(00)(11)18pp??，求。(01)

4、(10)38pp??(|)HXY2.13有兩個(gè)二元隨機(jī)變量和，它們的聯(lián)合概率分布如表2.5所列，同時(shí)定義另一隨機(jī)變量XY（一般乘積）。試計(jì)算：ZXY?A表2.5（1）熵；()()()()()()HXHYHZHXZHYZHXYZYX0101838138182.24設(shè)隨機(jī)變量的概率分布為。隨機(jī)變量是的函數(shù)，其分布為X222111110101010101010??????YX將的4個(gè)最小的概率分布合并為一個(gè)：。X222410101010???

5、???（1）顯然，請(qǐng)解釋原因；2()log7HX?（2）請(qǐng)解釋為什么？2()log5HX?（3）計(jì)算，；()HX()HY（4）計(jì)算并解釋其結(jié)果。(|)HXY第三章第三章3.2有一無(wú)記憶信源的符號(hào)集為，已知信源的概率空間為。??01011344XP???????????????（1）求信源熵；（2）求由個(gè)和個(gè)構(gòu)成的某一特定序列自信息量的表達(dá)式；m“0“(100)m?“1“（3）計(jì)算由100個(gè)符號(hào)構(gòu)成的符號(hào)序列的熵。3.3有一離散無(wú)記憶信源

6、，其輸出為，相應(yīng)的概率為，，，設(shè)計(jì)兩??012X?014p?114p?212p?個(gè)獨(dú)立的試驗(yàn)去觀(guān)察它，其結(jié)果分別為，，已知條件概率如表3.1所列。??101Y???201Y?表3.1（1）求和，并判斷哪一個(gè)實(shí)驗(yàn)好些；1()IXY2()IXY（2）求，并計(jì)算做和兩實(shí)驗(yàn)比做或中的一個(gè)實(shí)驗(yàn)可多得多少關(guān)于的信息；12()IXYY1Y2Y1Y2YX（3）求和，并解釋它們的含義。12(|)IXYY21(|)IXYY3.4某信源符號(hào)集的概率分布和對(duì)應(yīng)