概率論習題

1、六、計算（每題六、計算（每題1010分）分）（2020道）道）1、設有一個信源，它產生0，1序列的信息。它在任意時刻且不論以前發(fā)生過什么符號，均按P（0）=0.4，P(1)=0.6的概率發(fā)出符號。試計算：（1）H（X2）（2）H（X3X1X2）（3）)(limXHN??解：解：根據題意，此信源在任何時刻發(fā)出的符號概率都是相同的，即概率分布與時間平移無關，且信源發(fā)出的序列之間也是彼此無依賴的，所以這個信源是平穩(wěn)信源，且是離散無記憶信源。Ｈ

2、（Ｘ）Ｈ（Ｘ）＝0.4LOG20.40.6LOG20.6≈0.971比特／符號Ｈ（ＸＨ（Ｘ2）＝2Ｈ（Ｘ）Ｈ（Ｘ）≈1.942比特／二符號Ｈ（ＸＨ（Ｘ3|Ｘ1Ｘ2）＝Ｈ（ＸＨ（Ｘ3）＝Ｈ（Ｘ）Ｈ（Ｘ）≈0.971比特／符號)(limXHN??=lim1NH(X1X2…XＮ)＝lim1NNＨ（Ｘ）＝Ｈ（Ｘ）≈0.971比特／符號２、已知信源X和條件概率P（YX）如下：?????????????2121)(21xxXPX??????????

3、???43414143)(22211211xyxyxyxyXYPXY試計算：H（X）、H（Y）、H（XY）、H（XY）、H（YX）、Ｉ(X；Y)解：解：根據題意，(1)由p(xiyj)=p(xi)p(yjxi)，求出各聯合概率：p(x１y１)=p(x１)p(y１|x１)＝1234＝0.375p(x１y２)=p(x１)p(y２|x１)＝1214＝0.125p(x２y１)=p(x２)p(y１|x２)＝1214＝0.125p(x２y２)=p(

4、x２)p(y２|x２)＝1234＝0.375(2)由p(yj)=∑i=1np(xiyj)，得到Ｙ集合消息概率：p(y１)=∑i=1２p(xiy１)＝p(x１y１)p(x２y１)=0.3750.125=0.5p(y２)=∑i=1２p(xiy２)＝1p(y１)=10.5=0.5(3)由p(xi|yj)=p(xiyj)p(yi)，求出X的各后驗概率：p(x１|y１)=p(x１y１)p(y１)＝0.3750.5=0.75p(x2|y１)=p(x

5、2y１)p(y１)＝0.1250.5=0.25p(x１|y2)=p(x１y2)p(y2)＝0.1250.5=0.25p(x2|y2)=p(x2y2)p(y2)＝0.3750.5=0.75(4)Ｈ（Ｘ）＝∑i=1２p(xi)ＬＯＧ２P(xi)＝0.5LOG20.50.5LOG20.5=1比特符號Ｈ（Y）＝∑i=1２p(yi)ＬＯＧ２P(yi)＝0.5LOG20.50.5LOG20.5=1比特符號Ｈ（ＸY）＝∑i=1２∑j=1２p(xiyj

6、)ＬＯＧ２P(xiyj)＝20.375LOG20.37520.125LOG20.125=1比特符號(5)平均互信息：I(XY)=H(X)H(Y)H(XY)=111=1比特符號(6)疑義度：H(X|Y)=∑i=1２∑j=1２p(xiyj)ＬＯＧ２P(xi|yj)＝20.375LOG20.7520.125LOG20.25=234log3=20.93875=1.0615比特符號(7)噪聲熵：H(Y|X)=∑i=1２∑j=1２p(xiyj)ＬＯ

7、Ｇ２P(yj|xi)＝20.375LOG20.7520.125LOG20.25Ｐz（z）=P(x)P(y)=P(x)P(y)z=xy?Y?X所以得H(Z)=P(z)LOGP(z)?Z=log236[436log22636log23836log241036log25636log26]=log236[26361236log231036log25]≈5.171.896=3.274比特(5)在這36種狀態(tài)中兩個點數中至少有一個數是１的狀態(tài)共有１

8、１種，每種狀態(tài)是獨立出現的，每種狀態(tài)出現的概率是１３６。現設兩個點數中至少有一個數是１的事件為Ｃ事件，則得Ｐ(C)=1136所以得Ｉ(C)=－LOGP(C)=－LOG21136≈1.71比特４、某校入學考試中有１4考生被錄取，34考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10%來自本市。所有本市的考生都學過英語。而外地落榜考生以及被錄取的外地考生中都有40%學過英語。(1)當已知考生來自本市時，給出多少關于考生是否被錄

9、取的信息；(2)當已知考生學過英語時，給出多少有關考生是否被錄取的信息；(3)以x表示是否落榜，y表示是否為本市學生，z表示是否學過英語，試求H(X)、H(YX)、H(ZXY)。解：解：設X表示是否落榜，其值為a1=被錄取，a2＝落榜；Ｙ表示是否為本市學生，其值為b1=本市，b2＝外地；Ｚ表示是否學過英語，其值為c1=學過，c2＝沒學過。根據題意，P(a1)=14P(a2)=34P(b1a1)=0.5P(b1a2)=0.1P(b2a1)

10、=0.5P(b2a2)=0.9P(c1b1)=1P(c1a2b2)=0.4P(c1a1b2)=0.4P(c2b1)=0P(c2a2b2)=0.6P(c2a1b2)=0.6可計算得P(b1)=51)()(121???iiiabpapP(b2)=54)()(221???iiiabpapP(a1b2)=325)()()(2121?bpabpapP(a2b2)=3227)()()(2222?bpabpapP(c1b2)=52)()(21212?