信息論題

1、習(xí)題一、填空1、1948年，美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。2、事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生概率的對(duì)數(shù)來(lái)描述的。3、單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用隨機(jī)矢量描述。4、一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為自信息量，定義為其發(fā)生概率對(duì)數(shù)的負(fù)值。5、必然事件的自信息是0。6、不可能事件的自信息量是∞。7、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于兩個(gè)自信息量之和。8、數(shù)據(jù)

2、處理定理：數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。9、離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。10、離散平穩(wěn)有記憶信源的極限熵，??H)(lim121???NNNXXXXH?。11、對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個(gè)不同的狀態(tài)。12、一維連續(xù)隨即變量X在[a，b]區(qū)間內(nèi)均勻分布時(shí)，其信源熵為log2（ba）。13、平均功率為P的高斯分布的

3、連續(xù)信源，其信源熵，Hc（X）=eP?2log212。14、對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時(shí)連續(xù)信源熵具有最大值。15、對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時(shí)，信源熵有最大值。16、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為log26。17、若一維隨即變量X的取值區(qū)間是[0，∞]，其概率密度函數(shù)為mxemxp??1)(，其中：0?x，m是X的數(shù)學(xué)期望，則X的信源熵?)(XHCme2log。18、根據(jù)輸入輸

4、出信號(hào)的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。19、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道稱為無(wú)記憶信道。20、具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道的信道容量C=log2n。21、對(duì)于離散無(wú)記憶信道和信源的N次擴(kuò)展，其信道容量CN=NC。22、信道矩陣??????10002121代表的信道的信道容量C=1。23、信道矩陣??????????100101代表的信道的信道容量C=1。24、高斯加性噪聲信道中，信道帶

5、寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=9kHz。25、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。26、單符號(hào)的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個(gè)符號(hào)xi，信宿再現(xiàn)yj所引起的誤差或失真。27、漢明失真函數(shù)d（xi，yj）=?????jiji10。28、平方誤差失真函數(shù)d（xi，yj）=（yjxi）2。29、如果信源和失真度一定，則平均失真度是信道統(tǒng)計(jì)特性的函數(shù)。22、求解率失真函數(shù)

6、的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。對(duì)23、當(dāng)p（xi）、p（yjxi）和d（xi，yj）給定后，平均失真度是一個(gè)隨即變量。錯(cuò)24、率失真函數(shù)對(duì)允許允許的平均失真度具有上凸性。對(duì)25、率失真函數(shù)沒(méi)有最大值。錯(cuò)26、率失真函數(shù)的最小值是0。對(duì)27、率失真函數(shù)的值與信源的輸入概率無(wú)關(guān)。錯(cuò)28、信源編碼是提高通信有效性為目的的編碼。對(duì)29、信源編碼通常是通過(guò)壓縮信源的冗余度來(lái)實(shí)現(xiàn)的。對(duì)三、簡(jiǎn)答1、簡(jiǎn)述自信息的性質(zhì)。2、簡(jiǎn)述信源

7、熵的基本性質(zhì)。3、簡(jiǎn)述信源熵、條件熵、聯(lián)合熵和交互熵之間的關(guān)系。4、簡(jiǎn)述一般離散信道容量的計(jì)算步驟。5、簡(jiǎn)述率失真函數(shù)的性質(zhì)。6、簡(jiǎn)述求解一般離散信源率失真函數(shù)的步驟。7、試比較信道容量與信息率失真函數(shù)。四、證明1、最大離散熵定理：信源X中n個(gè)不同離散消息時(shí)，信源熵H（X）有nXH2log)(?當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。2、證明平均互信息量的極值性，即：)()(XHYXI?，并說(shuō)明等式成立的條件。3、證明條件熵

8、小于信源熵，即：)()(XHYXI?，并說(shuō)明等式成立的條件。4、設(shè)X=X1，X2，，XN是平穩(wěn)離散有記憶信源，試證明：H（X1X2XN）=H（X1）H（X2X1）H（XNX1X2XN1）五、計(jì)算1、設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)刻且不論以前發(fā)生過(guò)什么符號(hào)，均按P（0）=0.4P(1)=0.6的概率發(fā)出符號(hào)。試計(jì)算：（1）H（X2）（2）H（X3X1X2）（3）)(limXHN??2、黑白氣象傳真圖的消息只有黑色和白色兩

9、種，設(shè)黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7，且消息前后有關(guān)聯(lián)，其以來(lái)關(guān)系為P（白白）=0.9，P（黑白）=0.1，P（白黑）=0.2。P（黑黑）=0.8，求此一階馬爾可夫信源的熵H2（X）。3、已知隨即變量X和Y的聯(lián)合分布如下所示：01013131013試計(jì)算：H（X）、H（Y）、H（XY）、H（XY）、H（YX）、H（X；Y）4、已知信源X和條件概率P（YX）如下：?????????????2121)(21xxXPX????