chap3電信13

1、信道與信道容量,第三章,2,3.1 信道分類和表示參數(shù)3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量,內(nèi)容,3,3.1 信道分類和表示參數(shù),4,信道,信道：信息傳輸?shù)耐ǖ?在通信中,信道按其物理組成常被分成微波信道、光纖信道、電纜信道等。信號(hào)在這些信道中傳輸?shù)倪^(guò)程遵循不同的物理規(guī)律, 通信技術(shù)必須研究信號(hào)在這些信道中傳輸時(shí)的特性信息論不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程,并假定信道的傳輸特性已知,這樣信息論就

2、可以抽象地將信道用下圖所示的模型來(lái)描述。,信 道,,,輸入量X(隨機(jī)過(guò)程),輸出量Y(隨機(jī)過(guò)程),p(Y|X),5,（1）按其輸入/輸出信號(hào)在幅度和時(shí)間上的取值是離散或連續(xù)來(lái)劃分,,3.1.1 信道分類,6,信道分類,（2）按輸入/輸出之間關(guān)系的記憶性來(lái)劃分： 無(wú)記憶信道：信道的輸出只與信道該時(shí)刻的輸入有關(guān),而與其他時(shí)刻的輸入無(wú)關(guān)有無(wú)記憶信道：信道的輸出不但與信道現(xiàn)時(shí)的輸入有關(guān)而且還與以前時(shí)刻的輸入有關(guān),7,信道分類,（

3、3）按輸入／輸出信號(hào)之間的關(guān)系是否是確定關(guān)系:無(wú)干擾信道：輸入/輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系有干擾信道：輸入/輸出之間關(guān)系是一種統(tǒng)計(jì)依存的關(guān)系輸入/輸出的統(tǒng)計(jì)關(guān)系：離散無(wú)記憶信道：用條件概率矩陣來(lái)描述。離散有記憶信道：可像有記憶信源中那樣引入狀態(tài)的概念。,8,3.1.2 信道參數(shù),設(shè)信道的輸入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 輸出Y= (Y1

4、, Y2 … Yj,…), Yj ∈{b1 … bm}信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計(jì)依賴關(guān)系,反映信道統(tǒng)計(jì)關(guān)系,信 道,,X,,Y,p(Y|X),9,無(wú)干擾(無(wú)噪聲)信道,無(wú)干擾(無(wú)噪聲)信道信道的輸出信號(hào)Y與輸入信號(hào)X之間有確定的關(guān)系Y=f (X),已知X后就確知Y轉(zhuǎn)移概率:,10,有干擾無(wú)記憶信道,有干擾無(wú)記憶信道信道的輸出信號(hào)Y與輸入信號(hào)X之間沒(méi)有確定的關(guān)系,但轉(zhuǎn)移概率滿足:,有干擾無(wú)記憶信道可分為

5、（輸入輸出符號(hào)數(shù)）:二進(jìn)制離散信道離散無(wú)記憶信道離散輸入、連續(xù)輸出信道波形信道,11,二進(jìn)制離散信道,二進(jìn)制對(duì)稱信道BSC輸入符號(hào)X取值{0,1}；輸出符號(hào)Y取值{0,1} 很重要的一種特殊信道信道轉(zhuǎn)移概率： p(0|0) = 1－p p(1|1) = 1－p p(0|1) = p p(1|0) = p,無(wú)錯(cuò)誤傳輸?shù)母怕?傳輸發(fā)生錯(cuò)誤的概率,12,離散無(wú)記憶信道DMC,信道輸入是n元符號(hào)

6、 X={a1, a2, …, an}信道輸出是m元符號(hào) Y={b1, b2, …, bm}轉(zhuǎn)移矩陣,,pij=p(bj|ai),13,P:轉(zhuǎn)移概率矩陣已知X,信道輸出Y表現(xiàn)出來(lái)的統(tǒng)計(jì)特性完全描述了信道的統(tǒng)計(jì)特性,其中有些概率是信道干擾引起的錯(cuò)誤概率,有些是正確傳輸?shù)母怕?,轉(zhuǎn)移概率矩陣,14,3.2 離散單個(gè)符號(hào)信道及其容量,15,信道的輸入、輸出都取值于離散符號(hào)集，且都用一個(gè)隨機(jī)變量來(lái)表示的信道。

7、設(shè)離散單符號(hào)信道的輸入隨機(jī)變量為 ，輸出隨機(jī)變量為 ，由于信道中存在干擾，因此輸入符號(hào)在傳輸中將會(huì)產(chǎn)生錯(cuò)誤，這種信道干擾對(duì)傳輸?shù)挠绊懣捎棉D(zhuǎn)移概率 來(lái)描述：,3.2.1 離散單符號(hào)信道的數(shù)學(xué)模型,16,為了表述簡(jiǎn)便，常常寫成,其中：,,信道轉(zhuǎn)移概率實(shí)際上是一個(gè)轉(zhuǎn)移概率矩陣，稱為信道矩陣,17,一般離散單符號(hào)信道的概率關(guān)系： （1）輸入輸出

8、隨機(jī)變量的聯(lián)合概率分布為 則有 其中 是信道轉(zhuǎn)移概率，即輸入為 ，通過(guò)信道傳輸輸出 的概率，通常稱為前向概率。它是由于信道噪聲引起的，所以通常用它描述信道噪聲的特性。而 是已知信道輸出符號(hào) ，輸入符號(hào)為 的概率，稱為后向概率。有時(shí)把

9、 稱為輸入符號(hào)的先驗(yàn)概率。而對(duì)應(yīng)的把 稱為輸入符號(hào)的后驗(yàn)概率。,18,（2）由全概率公式，可從先驗(yàn)概率和信道轉(zhuǎn)移概率求輸出符號(hào)的概率：,（3）根據(jù)貝葉斯公式，可由先驗(yàn)概率和信道的轉(zhuǎn)移概率求后向概率：,寫成向量的形式：,或記成,19,平均互信息 是接收到輸出符號(hào)集 后所獲得的關(guān)于輸入符號(hào)集 的信息量。 信宿所消除的關(guān)于信源的不確定性，也就是獲得的關(guān)于

10、信源的信息為 ，它是平均意義上每傳送一個(gè)符號(hào)流經(jīng)信道的信息量，從這個(gè)意義上來(lái)說(shuō)，平均互信息又稱為信道的信息傳輸率，通常用 表示。即,,,,,比特/符號(hào),,比特/秒,一般稱為信息傳輸速率。,如果平均傳輸一個(gè)符號(hào)為t秒，則,20,信道容量,我們研究信道的目的是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量,即信道的信息傳輸率R平均互信息I (X;Y)：接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。,信道的信息傳輸率就

11、是平均互信息,,21,信道容量,信道容量C：最大的信息傳輸率,單位時(shí)間的信道容量：,,22,信道容量的計(jì)算,對(duì)于一般信道,信道容量計(jì)算相當(dāng)復(fù)雜,我們先討論某些特殊類型的信道：離散信道可分成： 無(wú)干擾(無(wú)噪)信道無(wú)噪無(wú)損信道有噪無(wú)損信道 無(wú)噪有損信道 有干擾無(wú)記憶信道有干擾有記憶信道,23,,3.2.1 無(wú)干擾離散信道,設(shè)信道的輸入X∈A={a1 … an},輸出Y∈B={b1 … bm}無(wú)噪無(wú)損信道輸入和輸出符

12、號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系,,,,X,a1 b1 Ya2 b2a3 b3,1,1,1,24,,無(wú)干擾離散信道,

13、無(wú)噪無(wú)損信道,X,a1 b1 Ya2 b2an-1 bn-1an

14、 bn,1,1,,,,,25,無(wú)干擾離散信道,無(wú)噪無(wú)損信道由,計(jì)算得：噪聲熵H(Y|X) = 0 損失熵H(X|Y) = 0,26,,無(wú)干擾離散信道,無(wú)噪有損信道多個(gè)輸入變成一個(gè)輸出(n＞m),X,a1 Y

15、a2 b1a3a4 b2a5,,,,,,1,1,1,1,1,輸出Y是輸入X的確定函數(shù),但不是一一對(duì)應(yīng),而是多一對(duì)應(yīng)關(guān)系。,27,無(wú)干擾離散信道,無(wú)噪有損信道多個(gè)輸入變成一個(gè)輸出(n＞m

16、),噪聲熵H(Y|X) ＝ 0 損失熵H(X|Y) ≠ 0,信道中接收到符號(hào)Y后不能完全消除對(duì)X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒(méi)有增加。,28,,無(wú)干擾離散信道,有噪無(wú)損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出(n＜m),X,b1 Ya1 b2

17、 b3a2 b4 b5,,,,,,1/3,1/3,1/3,1/4,3/4,計(jì)算得,同理,由,29,無(wú)干擾離散信道,有噪無(wú)損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出(n＜m),接收到符號(hào)Y后,對(duì)發(fā)送的X符

18、號(hào)是完全確定的。噪聲熵H(Y|X) 損失熵H(X|Y),≠ 0,= 0,30,無(wú)干擾離散信道,無(wú)噪無(wú)損信道,有噪無(wú)損信道,無(wú)噪有損信道,,31,對(duì)稱離散無(wú)記憶信道：對(duì)稱性:每一行都是由同一集合{q1, q2,…qm}的諸元素不同排列組成——輸入對(duì)稱每一列都是由{p1, p2,…pn}集的諸元素不同排列組成——輸出對(duì)稱,3.2.2 對(duì)稱DMC信道,滿足對(duì)稱性,所對(duì)應(yīng)的信道是對(duì)稱離散信道。,,32,對(duì)稱DM

19、C信道,信道矩陣,不具有對(duì)稱性,因而所對(duì)應(yīng)的信道不是對(duì)稱離散信道。,33,對(duì)稱DMC信道,對(duì)稱離散信道的平均互信息為,34,對(duì)稱DMC信道,對(duì)稱DMC信道的容量：,上式是對(duì)稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對(duì)稱信道矩陣中行矢量{p1, p2,…pm }和輸出符號(hào)集的個(gè)數(shù)m有關(guān)。,,,35,例某對(duì)稱離散信道的信道矩陣為,,信道容量為,,36,對(duì)稱DMC信道,若輸入符號(hào)和輸出符號(hào)個(gè)數(shù)相同,都等于n,且信道矩陣為,此信道稱為強(qiáng)對(duì)稱

20、信道 (均勻信道)信道矩陣中各列之和也等于1,強(qiáng)對(duì)稱信道的信道容量：,37,設(shè)二進(jìn)制對(duì)稱信道的輸入概率空間信道矩陣：,BSC信道容量,38,39,當(dāng)p固定時(shí),I (X,Y) 是ω的 型上凸函數(shù)。,,,,,I(XY),ω,BSC信道容量,1-H(p),,I (X,Y) 對(duì)ω存在一個(gè)極大值。,BSC信道容量,40,當(dāng)固定信源的概率分布ω時(shí),I (X,Y) 是p的 型 下凸函數(shù)。,,,,p,C,,信道無(wú)噪聲,當(dāng)p = 0,

21、 C =1－0 = 1bit = H(X),當(dāng)p =1/2,,信道強(qiáng)噪聲,BSC信道容量,BSC信道容量,41,定理：平均互信息I (X;Y)是信道傳遞概率p(bj|ai)的 型下凸函數(shù)。,定理：給定轉(zhuǎn)移概率矩陣P后,平均互信息I (X;Y)是輸入信源的概率分布p(ai)的 型上凸函數(shù)。,信道容量,,信道容量是完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊?42,當(dāng)信源輸入符號(hào)的速率為rs(符/秒),信道

22、容量,BSC信道容量,實(shí)際信息傳輸速率Rt為,進(jìn)入信道輸入端的信息速率,43,例BSC信道如圖, rs=1000符號(hào)/秒,錯(cuò)誤傳遞概率p=0.1求:信道容量,,,,¼ 0,Y,0.9,,¾ 1,0.1,輸入符號(hào)等概時(shí)有最大信息傳輸速率,信道實(shí)際信息傳輸速率,44,串聯(lián)（級(jí)聯(lián)）信道是信道最基本的組合形式，許多實(shí)際信道都可以看成是其組成信道的級(jí)聯(lián)。,串聯(lián)信道,X→Y→Z 組成一個(gè)馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì)，串聯(lián)信

23、道的總的信道矩陣等于這兩個(gè)串接信道的信道矩陣的乘積。,在實(shí)際通信系統(tǒng)中,信號(hào)往往要通過(guò)幾個(gè)環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個(gè)串聯(lián)信道。,45,串聯(lián)信道,例3-3 設(shè)有兩個(gè)離散BSC信道,串接如圖,兩個(gè)BSC信道的轉(zhuǎn)移矩陣為:,,,,,,,X0,0Z,Y,1,1,1-p,1-p,1-p,p,串聯(lián)信道的轉(zhuǎn)移矩陣為:,1-p,p,,46,串聯(lián)信道,,,,,,,X0,0Z,Y,1,1,求得:,p,p,1-p

24、,1-p,1-p,1-p,,47,串聯(lián)信道,由信息不增原理,信道2,,信道m(xù),信道1,,,,…,,可以看出,串接的信道越多,其信道容量可能會(huì)越小,當(dāng)串接信道數(shù)無(wú)限大時(shí),信道容量可能會(huì)趨于0,X,Y,Z,48,3.2.3 準(zhǔn)對(duì)稱DMC信道,準(zhǔn)對(duì)稱信道轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱,,準(zhǔn)對(duì)稱信道,準(zhǔn)對(duì)稱信道容量,49,準(zhǔn)對(duì)稱信道的信道容量,準(zhǔn)對(duì)稱信道 將信道矩陣P的列劃分成若干個(gè)互不相交的子集mk,由mk為列組成的矩陣[P]

25、k是對(duì)稱矩陣。,50,準(zhǔn)對(duì)稱信道的信道容量,當(dāng)輸入分布為等概率時(shí)：,其中n是輸入符號(hào)集的個(gè)數(shù),(p1, p2,…pm)為準(zhǔn)對(duì)稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個(gè)互不相交的子集。Nk是第k個(gè)子矩陣Pk中行元素之和,Mk是第k個(gè)子矩陣Pk中列元素之和。,51,例：設(shè)信道傳遞矩陣為,計(jì)算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4,將它分成,52,通過(guò)計(jì)算可得平均互信息的極大值 ，即,設(shè)輔助

26、函數(shù)： ，,1.平均互信息 是輸入概率分布p(x)的上凸函數(shù)，因此極大值必定存在。在信道固定的條件下，平均互信息是r個(gè)變量 的多元函數(shù)，且滿足約束條件 ，故可用拉格朗日乘子法來(lái)求這個(gè)條件極值。即在,當(dāng) 時(shí)求得的值即為信道容量。,,的條件下求 的極值。,3.2.4 一般DMC信

27、道,53,因?yàn)?所以,又因,54,令,得到,即,同乘以 并對(duì)x求和，,55,1．信道矩陣為可逆矩陣，采用解方程組的方法。 在一般信道的信道容量的推導(dǎo)中我們推出了下式：,這樣得到的信道容量有一個(gè)參數(shù) 。在某些情況下可以消去 得到信道容量值。,,,令,移項(xiàng)得,56,則,,所以,當(dāng)r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。這時(shí)就可以求出 ，然后根據(jù) 和

28、 求出信道容量：,由 和C就可以求得輸出概率分布,57,,,（1）由 列方程組求出 ；,,（2）由 求出C；,將計(jì)算步驟總結(jié)如下：,（3）由 求出 ；,（4）由

29、 列方程組求 。,為什么要求 ？,58,例：求如下信道的信道容量：,公式：,59,2．當(dāng)輸入概率分布只有一個(gè)變量時(shí)，例如r=2，可以設(shè)輸入概率分布為 和 ，因此輸入概率分布只有一個(gè)變量，這時(shí)我們可以直接對(duì) 求導(dǎo)求出，從而得出 的極大值C。,例已知信道的轉(zhuǎn)移矩陣為求信道容量。

30、,60,3.2.5 信道容量定理,定理：一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足: I (ai;Y) = C 對(duì)于所有ai其p(ai)＞0 I (ai;Y) ≤C 對(duì)于所有ai其p(ai) = 0,上式說(shuō)明：當(dāng)信道的平均互信息I(X;Y)達(dá)到信道容量時(shí),輸入符號(hào)概率集{p(ai)}中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息,只

31、是概率為0的除外。,61,平均互信息對(duì)輸入概率分布求偏導(dǎo)：,（1）,（2）,用 上式 和 改寫信道容量充要條件：,62,信道容量定理：平均互信息 取到極大值也就是信道容量時(shí)，對(duì)于任意 ，只要它出現(xiàn)的概率大于0， 都相等。,例證明當(dāng)輸入為等概分布時(shí)，離散準(zhǔn)對(duì)稱信道達(dá)到信道容量。,63,信道容量定理只給出了達(dá)到信道容量時(shí)，最佳輸入概率分布應(yīng)滿

32、足的條件，并沒(méi)有給出最佳輸入概率分布值，也沒(méi)有給出信道容量的數(shù)值。另外，定理本身也隱含著達(dá)到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。,64,例輸入符號(hào)集 ，輸出符號(hào)集 ， 離散信道如圖所示，求C。,65,3.3 離散序列信道及容量

33、,66,離散序列信道及容量,設(shè)信道的輸入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 輸出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm},信 道,,X,,Y,p(Y|X),對(duì)于無(wú)記憶離散序列信道,其信道轉(zhuǎn)移概率為,僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的,67,定理：若信道的輸入和輸出分別是L長(zhǎng)序列X和Y,且信道是無(wú)記憶的,亦即信道傳遞概率為,則存在,定理

34、：若信道的輸入和輸出分別是L長(zhǎng)序列X和Y,且信源是無(wú)記憶的,亦即,則存在,68,離散序列信道及容量,若信源與信道都是無(wú)記憶的,L次擴(kuò)展信道的信道容量,,當(dāng)信道平穩(wěn)時(shí):,一般情況下:,,69,例3-7.BSC信道二次擴(kuò)展,,,,,,,,,,,,,,,,,00,X,01,10,11,00,01,10,11,Y,轉(zhuǎn)移概率矩陣,2次擴(kuò)展信道的信道容量,若 p = 0.1 則 C2=(2－0.938)bit/序列 = 1

35、.062bit/序列 C1 = 0.531bit/序列,70,獨(dú)立并聯(lián)信道,設(shè)有L個(gè)信道,它們的輸入、輸出分別是： X1,X2…XL； Y1,Y2…YL,信 道,信 道,信 道,,,,,,,p(Y1|X1),p(YL|XL),p(Y2|X2),…,每一個(gè)信道的輸出Yl只與本信道的輸入Xl有關(guān),與其他信道的輸入、輸出都無(wú)關(guān)。獨(dú)立并聯(lián)信道的信道容量,X1,X2,X

36、L,Y1,Y2,YL,71,3.3 連續(xù)信道及其容量,72,連續(xù)信道及其容量,連續(xù)信道的容量不容易計(jì)算。當(dāng)信道為加性連續(xù)信道時(shí),情況簡(jiǎn)單一些。設(shè)信道的輸入和輸出信號(hào)是隨機(jī)過(guò)程x(t) 和y(t) y(t) = x(t) + n(t),n(t)：信道的加性高斯白噪聲,一個(gè)受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(nóng)(1948)正式定義：,信 道,,,,n(t),x(t),y(t),73,連續(xù)信道