信息論--信息理論與應(yīng)用1

1、信息論與編碼,——信息論基礎(chǔ)理論與應(yīng)用,課程說(shuō)明,本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個(gè)通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個(gè)課程可分為基礎(chǔ)理論和編碼理論兩部分組成。本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，教學(xué)時(shí)主要把注意力集中到概念的理解上，不過(guò)分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時(shí)一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時(shí)注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)

2、作數(shù)學(xué)課來(lái)學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。,第一章 緒 論,第一節(jié) 信息的概念,第二節(jié) 信息論研究的對(duì)象、目的和內(nèi)容,第三節(jié) 信息論的發(fā)展簡(jiǎn)史與現(xiàn)狀,第一節(jié) 信息的概念,組成客觀世界的三大基本要素：物質(zhì)、能量和信息，材料科學(xué)、信息科學(xué)、和信息科學(xué)一起被稱為當(dāng)代文明的“三大支柱”。Without materials, there is nothing.Without energy, nothing happens.

3、Without information, nothing makes sense沒(méi)有物質(zhì)的世界是虛無(wú)的世界；沒(méi)有能源的世界是死寂的世界；沒(méi)有信息的世界是混亂的世界。,不同學(xué)科內(nèi)關(guān)于信息的論斷,傳播學(xué)家呼吁：公平地信息獲取才是信息對(duì)稱的基本保障；通訊工程師說(shuō)：當(dāng)受信者對(duì)一個(gè)事件出現(xiàn)的先驗(yàn)概率估計(jì)越小時(shí)，他獲得的信息量就越大；計(jì)算機(jī)科學(xué)家則說(shuō)：微處理器時(shí)鐘頻率的大小，決定著它處理信息的速度高低；生物學(xué)家則高呼：脫氧核糖核酸上的信息是

4、控制子代和親代相象的唯一源泉?！?表達(dá)了不同的信息問(wèn)題研究者對(duì)不同領(lǐng)域里信息問(wèn)題的見解。他們用各自學(xué)科的語(yǔ)言闡述了自己的看法，而且都深刻地洞察了他們自己所關(guān)懷的信息對(duì)象的本質(zhì)。,信息是什么？,傳統(tǒng)科學(xué)的基本概念是物質(zhì)與能量，信息科學(xué)的基本概念是信息。信息，既是信息科學(xué)的出發(fā)點(diǎn)，也是它的歸宿。具體來(lái)說(shuō)，信息科學(xué)的出發(fā)點(diǎn)是認(rèn)識(shí)信息的本質(zhì)和它的運(yùn)動(dòng)規(guī)律；它的歸宿則是利用信息來(lái)達(dá)到某種具體的目的。對(duì)信息的認(rèn)識(shí)越透徹，對(duì)信息的利用就會(huì)越充分

5、、越合理；對(duì)信息的概念把握得越深刻，信息科學(xué)本身的根基就越牢固、越扎實(shí)。,信息定義,信息就是信息，既不是物質(zhì)也不是能量。信息是事物之間的差異。信息是集合的變異度。信息是一種場(chǎng)。信息是系統(tǒng)的復(fù)雜性。信息是一種關(guān)系。信息是事物相互作用的表現(xiàn)形式。信息是事物聯(lián)系的普遍形式。信息是物質(zhì)和能量在時(shí)間和空間分布的不均勻性。信息是物質(zhì)的普遍屬性。信息是收信者事先所不知道的報(bào)導(dǎo)。信息是用以消除隨機(jī)不定性的東西。,信息定義,信息是使

6、概率分布發(fā)生變動(dòng)的東西。信息是負(fù)熵。信息是有序性的度量。信息是系統(tǒng)組織程度的度量。信息是被反映的差異。信息是被反映的變異度。信息是被反映的物質(zhì)的屬性。信息是人與外界相互作用的過(guò)程中所交換的內(nèi)容的名稱。信息是與控制論系統(tǒng)相聯(lián)系的一種功能現(xiàn)象。信息是作用于人類感覺(jué)器官的東西。信息是選擇的自由度。信息是通信傳輸?shù)膬?nèi)容。,信息定義,信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述信息是加工知識(shí)的原材料。信息是控制的指令。

7、信息就是消息。信息就是信號(hào)。信息就是數(shù)據(jù)。信息就是情報(bào)。信息就是知識(shí)?！?信息定義的概念,“信息”(Information)和“消息”(Message)——消息是信息的外殼，信息則是消息的內(nèi)核。據(jù)《新辭源》考證，一千多年前我國(guó)唐代詩(shī)人李中就曾經(jīng)有“夢(mèng)斷美人沉信息，目穿長(zhǎng)路倚樓臺(tái)”的詩(shī)句，其中“信息”一詞就是音信、消息的意思。同樣，在西方出版的許多文獻(xiàn)著作中，“信息”(Information)和“消息”(Message)兩詞

8、也是互相通用的?！靶畔⒕褪切盘?hào)”（電信技術(shù)）——信號(hào)只是信息的載體，信息是信號(hào)所載荷的內(nèi)容。“信息就是數(shù)據(jù)”（計(jì)算機(jī)技術(shù)）——數(shù)據(jù)，它只是記錄信息的一種形式，而且不是唯一的形式，不能把它等同于信息本身。情報(bào)只是一類專門的信息，是信息的一個(gè)子集。,信息定義的概念,1928年，哈特萊在《貝爾系統(tǒng)技術(shù)雜志》上發(fā)表了一篇題為“信息傳輸”的論文。在這篇論文中，他把信息理解為選擇通信符號(hào)的方式，并用選擇的自由度來(lái)計(jì)量這種信息的大小。他認(rèn)為，發(fā)

9、信者所發(fā)出的信息，就是他在通信符號(hào)表中選擇符號(hào)的具體方式。例如，假定符號(hào)表是26個(gè)英文字母及標(biāo)點(diǎn)符號(hào)，那么用符號(hào)“I am well”傳達(dá)了一種信息，而用符號(hào)“I am sick”傳達(dá)了另一種信息。如果發(fā)信者只能從由0和1兩個(gè)符號(hào)組成的符號(hào)表中選擇符號(hào)而且長(zhǎng)度限定為1，則發(fā)信者只有兩種選擇，即0和1，這時(shí)傳達(dá)的信息量很??；如果放寬限制，如長(zhǎng)度不超過(guò)n（n>1）則發(fā)信者可以選擇的符號(hào)串有 個(gè)，n越大能傳達(dá)的信息量就越大。

10、,,,,哈特萊信息定義的局限性,哈特萊的這種理解能夠在一定程度上解釋通信工程中的一些信息問(wèn)題，但是它也存在著一些嚴(yán)重時(shí)局限性：首先，他所定義的信息不涉及內(nèi)容和價(jià)值，只考慮選擇的方式，其次，也沒(méi)有考慮到信源的統(tǒng)計(jì)性質(zhì)；第三，把信息理解為選擇的方式，就必須有一個(gè)選擇的主體作為限制條件。這些缺點(diǎn)使它的運(yùn)用范圍受到很大的限制。,信息定義的概念,美國(guó)數(shù)學(xué)家香農(nóng)在《貝爾系統(tǒng)技術(shù)雜志 》發(fā)表了一篇長(zhǎng)文，題為“通信的數(shù)學(xué)理論”（1948）。這篇論文以概

11、率論為工具，深刻闡述了通信工程的一系列基本理論問(wèn)題，給出了計(jì)算信源信息量和信道容量的方法和一般公式，得到了一組表征信息傳遞重要關(guān)系的編碼定理。香農(nóng)在進(jìn)行信息的定量計(jì)算的時(shí)候明確地把信息量定義為隨機(jī)不定性程度的減少。這就表明了他對(duì)信息的理解：信息是用來(lái)減少隨機(jī)不確定性的東西。隨機(jī)不確定性是指由于隨機(jī)因素所造成的不能肯定的情形，在數(shù)值上可以用概率熵來(lái)計(jì)量。,信息定義的概念,根據(jù)這一思想，法裔美國(guó)科學(xué)家布里淵在他的名著《科學(xué)與信息論》中直接了

12、當(dāng)?shù)刂赋觯盒畔⒕褪秦?fù)熵。并且他還創(chuàng)造了Negentropy這一詞（由Negative和Entropy合成）來(lái)表示負(fù)熵的概念（Brillouin，1956）。美國(guó)數(shù)學(xué)家、控制論的主要奠基人維納在1950年出版的《控制論與社會(huì)》一書中對(duì)信息的理解是：“人通過(guò)感覺(jué)器官感知周圍世界”，“我們支配環(huán)境的命令就是給環(huán)境的一種信息”，因此，“信息就是我們?cè)谶m應(yīng)外部世界，并把這種適應(yīng)反作用于外部世界的過(guò)程中，同外部世界進(jìn)行交換的內(nèi)容的名稱”?！敖邮招?/p>

13、息和使用信息的過(guò)程，就是我們適應(yīng)外界環(huán)境的偶然性的過(guò)程，也是我們?cè)谶@個(gè)環(huán)境中有效地生活的過(guò)程”。是把信息理解為廣義通信的內(nèi)容。,維納信息定義的缺陷,維納把人與外部環(huán)境交換信息的過(guò)程者作是一種廣義的通信的過(guò)程。這當(dāng)然是沒(méi)有問(wèn)題的；因?yàn)椋瑥V義的通信本來(lái)就可以泛指人與人、機(jī)器與機(jī)器、機(jī)器與自然物、人與自然物之間的信息傳遞與交換。不過(guò)，這里所理解的信息仍然不夠確切。這是因?yàn)椋喝伺c環(huán)境之間互相交換的內(nèi)容中不僅有信息，也有物質(zhì)與能量，把它們統(tǒng)統(tǒng)起一

14、個(gè)名字信息，豈不是把信息與物質(zhì)及能量混為一談。,信息定義的概念,所以，信息是組織程度的度量，是有序程度的度量和負(fù)熵，是用以減少不定性的東西，這些都是Shannon、Wiener、Brillouin等人共同的理解。這些認(rèn)識(shí)比僅僅把信息看作消息或通信內(nèi)容要深刻得多。而且，在數(shù)學(xué)上很容易證明，Hartley的信息概念僅是Shannon信息概念的一種特殊情形?？偲饋?lái)說(shuō)，在現(xiàn)有的各種理解中，Shannon的定義比較深刻，而且這種定義還導(dǎo)出了相應(yīng)

15、的算法。,香農(nóng)信息定義的概念,信息是事物運(yùn)動(dòng)狀態(tài)或存在形式的不確定性的描述，所謂不確定性就是千變?nèi)f化、不規(guī)則、隨機(jī)性，用概率模型來(lái)描述并對(duì)其進(jìn)行定量的計(jì)算。通信系統(tǒng)中接受消息的過(guò)程就是消除不確定性的過(guò)程。不確定的消除就獲得了信息。信息量與不確定性消除的程度有關(guān)。,香農(nóng)信息定義的缺陷,第一，作為Shannon信息概念的直接基礎(chǔ)，《通信的數(shù)學(xué)理論》一文曾經(jīng)十分明確地指出：通信的任務(wù)是在收端復(fù)制發(fā)端所發(fā)出的波形，至于它的內(nèi)容含義，因與通信工

16、程無(wú)關(guān)，所以可以舍去。可見，Shannon理論中的不定性純粹是波形形式上的不定性，與此相應(yīng)的信息概念也是純粹的形式化的概念（稱為語(yǔ)法信息）。這樣的信息概念排除了信息的含義因素，（即語(yǔ)義信息）和價(jià)值因素（即語(yǔ)用信息），不考慮收信者的主觀特性。因此，它的適用范圍受到嚴(yán)重的限制。,香農(nóng)信息定義的缺陷,第二，它只考慮了隨機(jī)型的不定性，不能解釋與其他型式的不定性（如模糊不定性）有關(guān)的信息問(wèn)題。第三，這種信息定義只從功能角度上來(lái)表述，還是沒(méi)有從根本

17、上回答“信息是什么”的問(wèn)題。,信息概念的層次,最高層次是最普遍的層次，也是無(wú)約束條件的層次。在這個(gè)層次上定義的信息是最廣義的信息，使用范圍也最廣。每引入一個(gè)條件，定義的層次就降低一點(diǎn)，使用的范圍就變窄一點(diǎn)?！氨倔w論”層次定義：信息是該事物運(yùn)動(dòng)的狀態(tài)和狀態(tài)改變的方式。認(rèn)識(shí)論層次：站在認(rèn)識(shí)主體的立場(chǎng)上。即信息是認(rèn)識(shí)主體（生物或機(jī)器）所感知的或所表述的相應(yīng)事物運(yùn)動(dòng)狀態(tài)及其變化方式。雖然認(rèn)識(shí)論比本體論的層次要低一些，所定義信息的使用范圍也

18、要窄一些，但是信息概念的內(nèi)涵比本體論要豐富得多。,全信息,全信息：同時(shí)考慮外在形式/語(yǔ)法信息、內(nèi)在含義/語(yǔ)義信息、效用價(jià)值/語(yǔ)用信息，稱為全信息。語(yǔ)義信息是指關(guān)于“事物運(yùn)動(dòng)表征”的含義，與主體的知識(shí)結(jié)構(gòu)及其理解能力密切相關(guān)，語(yǔ)用信息是指關(guān)于“事物運(yùn)動(dòng)表征”的效用，它與主體要解決的問(wèn)題及其運(yùn)用能力密切相關(guān)。語(yǔ)法信息指關(guān)于“事物運(yùn)動(dòng)表征”的本身結(jié)構(gòu)，不涉及這些表征的含義和效用，是最基本、最客觀的層次，它是迄今為止在理論上研究最多的層次

19、。根據(jù)事物運(yùn)動(dòng)方式的不同，分為概率型、偶然型和確定型信息。認(rèn)識(shí)論層次的信息是全信息。,消息：是指包含有信息的語(yǔ)言、文字和圖像等，可表達(dá)客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)。信息必須依附于一定的物質(zhì)形式存在，這種運(yùn)載信息的物質(zhì)，稱為信息載體。消息中包含信息，是信息的載體。同一信息可用不同的消息形式來(lái)載荷。一則消息也可載荷不同的信息，可能包含豐富的信息，也可能包含很少的信息。消息和信息既有區(qū)別又有聯(lián)系。,信息與消息的區(qū)分,信號(hào)：把消

20、息變換成適合信道傳輸?shù)奈锢砹?，這種物理量稱為信號(hào)（如電信號(hào)、光信號(hào)、聲音信號(hào)等）。信號(hào)攜帶著消息，它是消息的運(yùn)載工具。信號(hào)攜帶信息，但不是信息本身。同一信息可用不同的信號(hào)來(lái)表示。同一信號(hào)也可表示不同的信息。,信息與信號(hào)的區(qū)分,抽象性：信息本身既看不見，又摸不著，沒(méi)有氣味、沒(méi)有顏色、沒(méi)有形狀、沒(méi)有大小、沒(méi)有重量……，它是非常抽象的東西。重要性：信息在信息化程度越來(lái)越高的社會(huì)中將起到越來(lái)越重要的作用，是比物質(zhì)和能量更為寶貴的資源，

21、全面掌握信息的概念，正確、及時(shí)、有效地利用信息，能夠?yàn)槿祟悇?chuàng)造更多的財(cái)富。,信息的抽象性和重要性,信息的5條主要特征,信息來(lái)源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運(yùn)動(dòng)中產(chǎn)生出來(lái)又可以脫離物質(zhì)而相對(duì)獨(dú)立地存在。信息來(lái)源于精神世界，但又不局限于精神領(lǐng)域。信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別。信息具有知識(shí)的本性，但又比知識(shí)的內(nèi)含更廣泛。信息可以被認(rèn)識(shí)主體獲取和利用。,信息的重要性質(zhì),存在的普遍性：信息存在于自然界、人類社會(huì)，其本質(zhì)

22、是運(yùn)動(dòng)和變化的。哪里有事物的運(yùn)動(dòng)變化，哪里就會(huì)產(chǎn)生信息。它處處存在，它既區(qū)別于物質(zhì)和能量，又與物質(zhì)和能量有相互依存的關(guān)系。有序性：要使一個(gè)系統(tǒng)從無(wú)序變?yōu)橛行?，必須從外界獲取信息。相對(duì)性：同一個(gè)事物，不同的觀察者獲得的信息量可能不同?？啥攘啃裕盒畔⒌亩嗌儆眯畔⒘勘硎尽？蓴U(kuò)充性：可存儲(chǔ)、傳輸與攜帶性可壓縮性：信息論研究的主要問(wèn)題之一?？商娲裕嚎商娲鷦诹?、資本、物質(zhì)材料、時(shí)間?？蓴U(kuò)散性：可在短時(shí)間內(nèi)較大范圍擴(kuò)散開。可共享性

23、：沒(méi)有信息的共享性就沒(méi)有人類社會(huì)的發(fā)展和進(jìn)步。時(shí)效性：信息是有“壽命”的。,第二節(jié) 信息論研究的對(duì)象、目的和內(nèi)容,通信系統(tǒng)模型,消息,信號(hào),干擾,信號(hào)+干擾,消息,信息論研究的對(duì)象、目的和內(nèi)容,信源：消息的來(lái)源編碼器：把消息變換成信號(hào)，包括信源編碼器、信道編碼器、調(diào)制器信道：傳遞信號(hào)的媒介譯碼器：把信道輸出的信號(hào)反變換信宿：信息的接受端噪聲：信道中的干擾,信源 Information source,離散信源和連續(xù)信源無(wú)

24、記憶信源和有記憶信源核心問(wèn)題：信源的消息中所包含的信息量以及信息如何度量。,編碼器,編碼其的功能把消息變成適合信道傳輸?shù)男盘?hào)：信源編碼器 （source encoder）：將信源消息變成符號(hào)，目的提高傳輸?shù)挠行?。最常見的電?bào)系統(tǒng)的莫爾斯電碼，原則常見消息用短的碼字表示。信道編碼器（channel encoder）：給信源編碼符號(hào)增加冗余符號(hào)，提高傳輸?shù)目煽啃?。調(diào)制器（modulator）：將編碼器輸出符號(hào)變成適合信道傳輸?shù)男盘?hào)

25、，提高傳輸?shù)男?，比如聲音不變成電信?hào)傳輸?shù)木嚯x很近。,信道,狹義信道 具體的物理信道，與介質(zhì)相關(guān)廣義信道 一種邏輯關(guān)系或者通道無(wú)噪聲信道和有噪信道AWGN信道 ：加性高斯白噪聲信道,譯碼器,功能是從信號(hào)中恢復(fù)消息，包括解調(diào)器信道譯碼器信源譯碼器是編碼的逆變換,研究目的：提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。,通信的基本問(wèn)題,在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)所選擇的消息。通信系統(tǒng)的三項(xiàng)基本性能指標(biāo)：傳

26、輸?shù)挠行?最短的碼字，單位的時(shí)間傳輸更多。傳輸?shù)目煽啃裕簻p少差錯(cuò)，降低錯(cuò)誤率傳輸?shù)陌踩裕翰槐晃词跈?quán)的一方獲取,數(shù)字通信的三項(xiàng)基本技術(shù),數(shù)據(jù)壓縮數(shù)據(jù)糾錯(cuò)數(shù)據(jù)加密前兩項(xiàng)：1948 香農(nóng)的論文建立理論基礎(chǔ)第三項(xiàng)1945年：密碼學(xué)的數(shù)學(xué)理論中給出，1949公開發(fā)表為保密系統(tǒng)的通信理論，奠定了現(xiàn)代密碼學(xué)的理論基礎(chǔ)，使密碼學(xué)從藝術(shù)變成了科學(xué)。香農(nóng)建立了三項(xiàng)技術(shù)的理論基礎(chǔ)，一般認(rèn)為第三項(xiàng)屬于密碼學(xué)和信息安全的范疇，而前兩項(xiàng)屬于信息論

27、的內(nèi)容。,信息論的理解,狹義信息論（香農(nóng)信息論） 信息的測(cè)度、信道容量、信源和信道編碼理論一般信息論 噪聲、濾波與預(yù)測(cè)、估計(jì)、保密等廣義信息論 所有與信息相關(guān)的領(lǐng)域,信息傳輸手段的五次重大變革,① 語(yǔ)言產(chǎn)生：人們用語(yǔ)言準(zhǔn)確地傳遞感情和意圖，使語(yǔ)言成為傳遞信息的重要工具。② 文字產(chǎn)生：人類開始用書信的方式交換信息，使信息傳遞的準(zhǔn)確性大為提高。③ 發(fā)明印刷術(shù)：使信息能大量存儲(chǔ)和大量流通，并顯著擴(kuò)大了信息的傳遞范圍。

28、④ 發(fā)明電報(bào)電話：開始了人類電信時(shí)代，通信理論和技術(shù)迅速發(fā)展。這一時(shí)期還誕生了無(wú)線電廣播和電視。更深入的問(wèn)題：如何定量研究通信系統(tǒng)中的信息，怎樣更有效、更可靠傳遞信息？⑤ 計(jì)算機(jī)與通信結(jié)合：促進(jìn)了網(wǎng)絡(luò)通信的發(fā)展，寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)的出現(xiàn)，給人們提供了除電話服務(wù)以外的多種服務(wù)，使人類社會(huì)逐漸進(jìn)入了信息化時(shí)代。,1924年，Nyquist提出信息傳輸理論；1928年，Hartley提出信息量關(guān)系；1932年，Morse發(fā)明電報(bào)編碼；

29、1946年，柯切尼柯夫提出信號(hào)檢測(cè)理論；1948年，Shannon提出信息論，“通信中的數(shù)學(xué)理論,信息論的形成和發(fā)展,1948年：信息論學(xué)科誕生標(biāo)志：1948年，香農(nóng)發(fā)表論文“A mathematical theory of communication”。 同時(shí)維納提出了最佳濾波理論，成為信息論的一個(gè)重要分支。,五十年代：信息論在學(xué)術(shù)界引起了巨大反響。 1959年：香農(nóng)為各種信源編碼的研究奠定基礎(chǔ)：

30、發(fā)表論文“Coding theorems for a discrete source with a fidelity criterion”，數(shù)據(jù)壓縮理論與技術(shù)成為信息論的重要分支。六十年代：信道編碼技術(shù)有較大進(jìn)展。信道編碼成為信息論重要分支。 1961年：香農(nóng)的重要論文“雙路通信信道”開拓了多用戶信息理論的研究。七十年代：有關(guān)信息論的研究，從點(diǎn)對(duì)點(diǎn)間的單用戶通信推廣到多用戶系統(tǒng)的研究。密碼學(xué)成為信息論重要分支。信息安全