信息理論與編碼參考答案教案

1、2.3一副充分洗亂的牌（含52張），試問：（1）任一特定排列所給出的不確定性是多少？（2）隨機(jī)抽取13張牌，13張牌的點(diǎn)數(shù)互不相同時的不確定性是多少？解：（1）52張撲克牌可以按不同的順序排列，所有可能的不同排列數(shù)就是全排列種數(shù)，為526752528.06610P????因?yàn)閾淇伺瞥浞窒磥y，任一特定排列出現(xiàn)的概率相等，設(shè)事件A為任一特定排列，則其發(fā)生概率為??6811.241052PA?????可得，該排列發(fā)生所給出的信息量為bit??

2、??22loglog52225.58IAPA?????dit67.91?（2）設(shè)事件B為從中抽取13張牌，所給出的點(diǎn)數(shù)互不相同。撲克牌52張中抽取13張，不考慮排列順序，共有種可能的組合。13張牌點(diǎn)數(shù)1352C互不相同意味著點(diǎn)數(shù)包括A，2，…，K，而每一種點(diǎn)數(shù)有4種不同的花色意味著每個點(diǎn)數(shù)可以取4中花色。所以13張牌中所有的點(diǎn)數(shù)都不相同的組合數(shù)為。因?yàn)槊糠N組合都是134等概率發(fā)生的，所以??1313413524413391.056810

3、52PBC?????????則發(fā)生事件B所得到的信息量為bit????13213524loglog13.208IBPBC?????dit3.976?2.5設(shè)在一只布袋中裝有100只對人手的感覺完全相同的木球，每只上涂有1種顏色。100只球的顏色有下列三種情況：(1)紅色球和白色球各50只；(2)紅色球99只，白色球1只；(3)紅，黃，藍(lán)，白色各25只。求從布袋中隨意取出一只球時，猜測其顏色所需要的信息量。解：猜測木球顏色所需要的信息量等

4、于木球顏色的不確定性。令R——“取到的是紅球”，W——“取到的是白球”，Y——“取到的是黃球”，B——“取到的是藍(lán)球”。（1）若布袋中有紅色球和白色球各50只，即????5011002PRPW???則bit????221loglog212IRIW?????（2）若布袋中紅色球99只，白色球1只，即對于女性，是紅綠色盲的概率記作，不是紅綠色盲的記作??10.5%Pb?，則平均每個回答中含有的信息量為??299.5%Pb???????112

5、2()()HBPbIbPbIb??22510009951000loglog100051000995????bit回答0.045?????HAHB?聯(lián)合熵和條件熵聯(lián)合熵和條件熵2.9任意三個離散隨機(jī)變量、和，求證：XYZ。()()()()HXYZHXYHXZHX???證明：方法一：要證明不等式成立，等????????XHXZHYXHYXH???Z價(jià)證明下式成立：????????0????XHZXHYXHZYXH根據(jù)熵函數(shù)的定義??????

6、????????????????????????????????????????loglogploglogloglog1(zijkijkijkijXYZXYZijkikijkiXYZXYZijkiijkXYZijikijikijkXYZijkiHXYZHXYHXZHXpxyzpxyzpxyzxypxyzpxzpxyzpxpxyzpxpxyzpxypxzpxypxzepxyzpxypx???????????????????????????

7、????????????信息論不??????????????????????????????????????)loglog|log110ZijikijkXYZXYZijiikijkXYZXYZijikiijkpxypxzepxyzpxepyxpxzpxyzeHXYHXYHXZHXpxypxzpxpxyz????????????????????????????????????????等式所以等號成立的條件為得證方法二：因?yàn)?)()(|)H