課堂練習答案

1、一、紅軍填空題空軍1948年，海軍美國數(shù)學家陸軍香農(nóng)陸軍陸軍發(fā)表了題為“通信的數(shù)學理論”的長篇論文，海軍從而創(chuàng)立了信息論。空軍空軍信道的輸出僅與信道當前輸入有關(guān)，海軍而與過去輸入無關(guān)的信道稱為陸軍無記憶陸軍信道?？哲娦旁吹南⑼ㄟ^信道傳輸后的誤差或失真越大道傳輸消息所需的信息率陸軍也越小陸軍?？哲娍哲妴畏柕氖д娑然蚴д婧瘮?shù)d（xi，海軍yj）水軍表示信源發(fā)出一個符號xi，海軍信宿再現(xiàn)yj所引起的陸軍誤差或失真陸軍?？哲娍哲?、紅軍陸軍

2、對于香農(nóng)編碼、紅軍費諾編碼和哈夫曼編碼，海軍編碼方法惟一的是陸軍香農(nóng)編碼陸軍?？哲娍哲?、紅軍陸軍對于二元序列0011100000011111001111000001111111，海軍其相應的游程序列是陸軍23652457陸軍。空軍空軍6、紅軍陸軍信道編碼的最終目的是陸軍提高信號傳輸?shù)目煽啃躁戃姟？哲娍哲?、紅軍離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍?？哲娍哲?、紅軍對于離散無記憶信道和信源的N次擴展，海軍其信道

3、容量=陸軍陸軍NC陸軍陸軍空軍NC9、紅軍信道編碼論定理是一個理想編碼存在性理論，海軍即：紅軍信道無失真?zhèn)鬟f信息的條件是陸軍信息傳輸速率小于信道容量?？哲婈戃娍哲?0、紅軍若糾錯碼的最小距離為d則可以糾錯任意小于等于陸軍陸軍陸軍min21min?d個差錯?？哲娍哲娍哲姸?、紅軍判斷題空軍必然事件和不可能事件的自信息量都是0陸軍。空軍錯空軍單符號離散信源的自信息和信源熵都具有非負性?？哲妼哲妴畏栯x散信源的聯(lián)合自信息量和條件自信息量都是非

4、負的和單調(diào)遞減的?？哲妼哲娮孕畔⒘?、紅軍條件自信息量和互信息量之間有如下關(guān)系：紅軍空軍陸軍陸軍陸軍)()()()()(ijjjiijixyIyIyxIxIyxI????對空軍當隨即變量X和Y相互獨立時，海軍條件熵等于信源熵。空軍對空軍6、紅軍(錯陸軍)水軍m階馬爾可夫信源和消息長度為m的有記憶信源，海軍其所含符號的依賴關(guān)系相同?？哲婈戃婈戃娍哲?、紅軍陸軍(對陸軍)水軍利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來求m階馬爾可夫信源的極限熵?？?/p>

5、軍空軍8、紅軍陸軍(對陸軍)水軍連續(xù)信源和離散信源的平均互信息都具有非負性?？哲婈戃婈戃娍哲?、紅軍(對陸軍)水軍定長編碼的效率一般小于不定長編碼的效率?？哲婈戃娍哲娙⑷?、紅軍紅軍設離散無記憶信源設離散無記憶信源空軍空軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍X陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍a1=0a1=0陸軍陸軍

6、陸軍陸軍a2=1a2=1陸軍陸軍陸軍陸軍a3=2a3=2陸軍陸軍陸軍陸軍a4=3a4=3空軍空軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍=空軍空軍Q(2)Q(2)水軍水軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍0陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍P陸軍陸軍陸軍陸軍1P1P陸軍陸軍陸軍陸軍陸

7、軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍Q(2)Q(2)水軍空軍水軍空軍空軍空軍且：且：紅軍紅軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍Q(0)Q(0)水軍水軍Q(1)Q(1)水軍水軍Q(2)Q(2)水軍水軍=1=1空軍空軍則有則有陸軍陸軍陸軍陸軍陸軍陸軍：紅軍紅軍陸軍陸軍Q(0)Q(0)水軍水軍=Q(1)=Q(1)水軍水軍=Q(2)=Q(2)水軍水軍=13=13空軍空軍即平穩(wěn)后：即平穩(wěn)后：紅軍紅軍P(0)P(0)水軍水軍

8、=P(1)=P(1)水軍水軍=P(2)=P(2)水軍水軍=13=13空軍空軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍(2)(2)水軍水軍陸軍陸軍=H=H2=P(0)=P(0)水軍水軍H(X0)H(X0)水軍水軍P(1)P(1)水軍水軍H(X1)H(X1)水軍水軍P(2)P(2)水軍水軍H(X2)H(X2)水軍空軍水軍空軍?H陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍=13H(1P0P

9、)=13H(1P0P)水軍水軍陸軍陸軍13H(P1P0)13H(P1P0)水軍水軍陸軍陸軍13H(0P1P)13H(0P1P)水軍空軍水軍空軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍=(1P)=(1P)水軍水軍log(1P)log(1P)水軍水軍PlogPPlogP陸軍陸軍比特比特符號符號空軍空軍空軍空軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍陸軍（3）水軍水軍p=1p=1時，海軍海軍

10、不確定度為不確定度為0，海軍海軍說明信道進行保真?zhèn)魉汀Ｕf明信道進行保真?zhèn)魉?。空軍空軍空軍空軍六陸軍陸軍、紅軍設輸入符號與輸出符號為設輸入符號與輸出符號為X=Y0123X=Y0123且輸入符號的分布為且輸入符號的分布為P(X=i)P(X=i)水軍水軍=14i=0123=14i=0123陸軍陸軍設失真矩陣為設失真矩陣為:陸軍d0111101111011110????????????空軍空軍求DmaxDmax和DminDmin及R(Dmax)

11、R(Dmax)水軍水軍和R(Dmin)R(Dmin)水軍水軍及相應的轉(zhuǎn)移矩陣概率及相應的轉(zhuǎn)移矩陣概率.陸軍空軍空軍解:空軍空軍陸軍陸軍陸軍陸軍d0111101111011110????????????空軍信源熵為陸軍Hx()Log4()?2?空軍根據(jù)最大平均失真度的定義有：根據(jù)最大平均失真度的定義有：紅軍空軍紅軍空軍Dmax=minDmax=minΣP(u)P(u)水軍水軍d(uv)d(uv)水軍空軍水軍空軍=min34343434陸軍

12、陸軍R(Dmax)水軍=0空軍而最小平均失真度而最小平均失真度空軍空軍陸軍陸軍Dmin=Dmin=ΣP(uP(ui)水軍水軍mind(umind(uivvj)水軍水軍=0=0空軍陸軍R(Dmin)水軍=R(0)水軍=H(X)水軍=log(4)水軍=2空軍py1()py2()?py3()?py4()?只要滿足p(y1)水軍p(y2)水軍p(y3)水軍p(y4)水軍=1在[01]區(qū)間可以任意取值?？哲娍哲娍哲娖?、紅軍設分組碼（nk）水軍中，