第01章-信息、信息科學與信息技術-10

1、第一章 信息、信息科學與信息技術,沈晴霓qingnishen@ss.pku.edu.cn北京大學軟件與微電子學院,綱 要,1.1 信息1.2 信息科學1.3 信息技術1.4 信息科學/技術與相關學科的關系,1.1 信息,什么是信息 ？就一般意義而言，信息可以理解成消息、情報、知識、見聞、通知、報告、事實、數(shù)據(jù)等等。20世紀30年代，信息被作為一個科學概念探討,,1928年，哈特萊（Ralph V.L. H

2、artley）在“信息傳輸”文中首先提出“信息”這一概念，即“信息是代碼、符號，而不是信息內容本身”，與消息區(qū)分開來。1948年，信息論創(chuàng)始人香農(nóng)（C. E. Shannon）從研究通信理論出發(fā)，第一次從數(shù)學方法角度進行了定義，即“信息就是不確定性的消除”。,香農(nóng)對信息的定義,什么是信息？信息能否度量？怎樣度量？香農(nóng)認為：信息是有秩序的量度，是人們對事物了解的不確定性的消除或減少。信息是對組織程度的一種測度，信息能使物質系統(tǒng)有序性

3、增強，減少破壞、混亂和噪音。 如：人的交往、道路交通、公安保密等,信息的傳播過程,香農(nóng)提出： 信息的傳播過程是“信源”（信息的發(fā)送者）把要提供的信息經(jīng)過“信道”傳遞給“信宿”（信息的接收者），信宿接收這些經(jīng)過“譯碼”（即解釋符號）的信息符號的過程。 信源→編碼 →信道→譯碼→信宿,信息的度量,由于信息源發(fā)出的消息是隨機的，可以用隨機變量來表示。如果用符號 表示信息源發(fā)出的信息，假設事件的基本空間 ? 包含

4、m個元素，即 ? = {x1, x2, …, xm},且每一個等可能值的概率為： P( X=xi ) = p i =1, 2, …, m 那么,定義一個隨機事件所含的信息量稱為x的自信息量，即,只能表示信息源發(fā)出的某一特定消息x的自信息量，而對于不同的消息則有不同的自信息量，所以 不足以作為整個信息源的總體信息測度。那么，可以定義平均信息量來作為信息總體的

5、測度，即信息熵。,信息熵,設X為一離散隨機變量，在集合 中取值，其概率分布為,,信息熵是從整個信息源的統(tǒng)計特性來考慮的，它從平均的意義上來表示信息源的總體信息測度，它表示信息源 X 在沒有發(fā)出消息以前，信宿對信息源 X 存在著平均不確定性。香農(nóng)的信息度量公式排除了對信息主觀上的含意。根據(jù)上述公式，同樣一個消息對任何一個收信者來說，所得到的信息量都是一樣的。,,香農(nóng)關于信息的度量，通常也稱為概率信息。它是一個科學的定義，有明確

6、的數(shù)學模型和定量計算。在公式中，對數(shù)的底數(shù)從理論上而言可以取任何數(shù)。當?shù)讛?shù)為2時，信息的計量單位為比特（bit），即二進制單位。,正確理解信息熵的概念,舉例：在試驗甲和乙中，兩種結果A和B出現(xiàn)的概率如下：在試驗之前，就試驗甲而言，很難斷定A和B中那個可能將出現(xiàn)（由于出現(xiàn)A與出現(xiàn)B的概率相等，就像投擲硬幣一樣，投之前很難判斷正反面）；但就試驗乙而言，就很大的把握斷定A將出現(xiàn)。由此可見，在不同的試驗中，其不肯定性是有大有小的，試驗

7、甲的不肯定性就比試驗乙的來得大。,,如果將信息熵的計算公式套用到類似本例的實驗中，可以這樣描述：設在試驗中有N個可能出現(xiàn)的結果， A(1)，A(2) ，… ，A(n) 假如它們出現(xiàn)的概率分別是 P(1)，P(2) ，… ，P(n) 通常規(guī)定這個試驗的熵為：,,小結 熵就是描寫不肯定性大小的量 熵越大不肯定性就越大,香農(nóng)信息論的局限性,首先，香農(nóng)對信息的定義的出發(fā)點是假定事物狀態(tài)可以用一個以經(jīng)典集合論為

8、基礎的概率模型來描述。然而實際存在的某些事物運動狀態(tài)要尋找一個合適的概率模型往往是非常困難的。對某些情況來講，是否存在這樣一個模型還值得探討。其次，這個定義和度量不考慮收信者的主觀特性和主觀意義，也撇開了信息的具體含義、具體用途、重要程度和引起后果等因素。這與實際情況不完全一致。,問題分析,香農(nóng)信息論存在的問題，主要是由于狹義信息論沒有解決信息的語義問題和有效性問題。語義信息是指當認知主體在獲得信息時，不僅要知道“是什么形式”，而且

9、還要理解“是什么意思”。也就是說，信息的具體含義是什么。香農(nóng)定義并沒有解決語義信息的度量問題。這樣，它的適用范圍就受到嚴重的限制。時效性問題？？,廣義信息論,廣義信息論超出了通訊技術的范圍來研究信息問題，它以各種系統(tǒng)、各門科學中的信息為對象，廣泛地研究信息的本質和特點，以及信息的取得、計量、傳輸、儲存、處理、控制和利用的一般規(guī)律。廣義信息論包括了狹義信息論的內容，但其研究范圍卻比通訊領域廣泛得多，是狹義信息論在各個領域的應用和推廣，

10、因此，它的規(guī)律也更一般化，適用于各個領域，所以它是一門橫向學科。廣義信息論，人們也稱它為信息科學。,數(shù)據(jù)、消息、信號與信息的區(qū)別,數(shù)據(jù)：是對客觀實體的一種描述形式，是信息的載體。數(shù)據(jù)（原材料木頭）與信息（加工以形成的結構）的關系,,從這個意義上，信息和數(shù)據(jù)的區(qū)別可以理解為：數(shù)據(jù)是未加工的信息，而信息是數(shù)據(jù)經(jīng)過加工以后的能為某個目的使用的數(shù)據(jù)，信息是數(shù)據(jù)的內容或詮釋。將數(shù)據(jù)加工為信息的過程稱為信息加工或處理。數(shù)據(jù)可分為模擬數(shù)據(jù)

11、和數(shù)字數(shù)據(jù)兩種形式。模擬數(shù)據(jù)是在某個區(qū)間內連續(xù)的值。,消息,信息是包含在消息中的抽象量，消息是具體的，其中蘊含著信息。 按照香農(nóng)理論，在通信過程中，信息總是經(jīng)過編碼(符號化)成為消息以后，才能經(jīng)由媒介傳播的，而信息的接收者收到消息后，總是要經(jīng)過譯碼(解讀)才獲取其中的信息的。,信號,把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量稱為信號。信號攜帶著消息，它是消息的運載工具。信號是數(shù)據(jù)的電磁或光脈沖編碼。信號可以分為模擬信號和數(shù)字信號

12、。模擬信號是一種隨時間而連續(xù)變化的信號。數(shù)字信號則是在時間上的一種離散信號。,信息的特點,信息的不滅性。信息產(chǎn)生后，其載體可以變換，如一本書、一張光盤，但信息本身并沒有被消滅。信息的復制性。信息可以廉價復制，可以廣泛傳播。信息的時效性。某些信息的價值具有很強烈的時效性。如金融信息，戰(zhàn)時信息。,信息的基本作用,人類認識世界及其發(fā)展規(guī)律的基礎客觀世界與人類社會發(fā)展進程中不可缺少的資源要素（物質、能源與信息是客觀世界的三大要素）科

13、學技術轉化為生產(chǎn)力的橋梁與工具管理和決策的主要參考依據(jù)經(jīng)濟建設和發(fā)展的保證（信息可以創(chuàng)造財富）,1.2 信息科學,“科學”的定義科學就是整理事實，從中發(fā)現(xiàn)規(guī)律，做出結論?？茖W要發(fā)現(xiàn)人所未知的事實，并以此為依據(jù)，實事求是，而不是脫離現(xiàn)實的純思維的空想。規(guī)律，是指客觀事物之間內在的本質的必然聯(lián)系。因此，科學是建立在實踐基礎上，經(jīng)過實踐檢驗和嚴密邏輯論證的，關于客觀世界各種事物的本質及運動規(guī)律的知識體系。,科學、技術與工程的界定,

14、“科學”是指探知事物的本質、特征、內在規(guī)律以及與其他事物的聯(lián)系, 是關于自然、社會和思維的發(fā)展與變化規(guī)律的知識體系?？茖W理論內容必須符合客觀實際，要邏輯嚴謹，沒有矛盾，能夠指導實踐。它由已知的觀測和實驗事實總結而來，又必須具有預測的能力，能夠在其適用的范圍內預測可能發(fā)生的新現(xiàn)象，并通過科學實驗驗證其預測。預測與驗證是確立一個新理論和其適用范圍時必須采用的方法。,“技術”,技術是在科學的指導下，通過總結實踐的經(jīng)驗而得到，在生產(chǎn)過程和其他實

15、踐過程中廣泛應用的，從設計、裝備、方法、規(guī)范到管理等各方面的系統(tǒng)知識。在生產(chǎn)實踐活動中，人類對技術，也就是“怎么做?”不斷積累了經(jīng)驗。幾千年前，在農(nóng)業(yè)、醫(yī)療、建筑、陶瓷、金屬冶煉等方面就已經(jīng)發(fā)展了高度的技能。技術直接指導生產(chǎn)、服務生產(chǎn)，是現(xiàn)實的生產(chǎn)力，也是一種商品。簡言之，一切能夠在市場上有競爭力，獲得市場承認，推動市場發(fā)展的知識都可以稱為技術。,結論 科學產(chǎn)生技術，技術推動科學二者相互促進，密切相關,“工程”,工程是人類有組織

16、地綜合運用多門科學技術進行的大規(guī)模改造世界的活動，它除了要考慮技術的先進性和可行性，還要考慮成本和質量，做到經(jīng)濟、實用、美觀，要考慮對環(huán)境的影響，以避免污染。它的成功有賴于多種科學技術的綜合集成和科學的管理。,信息科學,信息和控制是信息科學的基礎和核心。關于什么是信息科學（Information science），有著不同的定義： 定義1： 信息科學是研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的科學，是一門

17、結合了數(shù)學、物理、天文、生物和人文等基礎學科的新興與綜合性學科”。,,定義2： 以信息為主要研究對象，以信息的運動規(guī)律和應用方法為主要研究內容，以計算機等技術為主要研究工具，以擴展人類的信息功能為主要目標的一門新興的綜合性學科。,信息科學的研究內容與體系,可將信息科學研究的基本內容歸納為五個方面： 探討信息的基本概念和本質。研究信息的數(shù)值度量方法。闡明信息感知、識別、變換、傳遞、存儲、檢索、處理、再 生、表示、施效(控制)

18、等過程的一般規(guī)律。揭示利用信息來描述系統(tǒng)和優(yōu)化系統(tǒng)的方法和原理尋求通過加工信息來生成智能的機制和途徑。,信息科學的基本科學體系,從信息科學研究內容分為三個層次：信息科學的哲學層次，其中包括信息的哲學本質、智能的哲學本質、信息與反映的關系、信息與認識的關系、人工智能與人類智能的關系等等。信息科學的基礎理論層次，它的主要任務是研究信息的一般理論。信息科學的技術應用層次，主要研究如何應用信息科學理論在技術上拓展人類的信息功能（特別是

19、其中的智力功能）的問題。,1.3 信息技術,信息技術的定義(人們對信息技術的定義，因其使用的目的、范圍、層次不同而有不同的表述）：定義1：信息技術是指有關信息的收集、識別、提取、變換、存貯、傳遞、處理、檢索、檢測、分析和利用等的技術。定義2：現(xiàn)代信息技術“以計算機技術、微電子技術和通信技術為特征”。,定義3：信息技術是指在計算機和通信技術支持下用以獲取、加工、存儲、變換、顯示和傳輸文字、數(shù)值、圖像以及聲音信息，包括提供設備和提供信息

20、服務兩大方面的方法與設備的總稱。定義4：信息技術指“應用在信息加工和處理中的科學，技術與工程的訓練方法和管理技巧；上述方法和技巧的應用；計算機及其與人、機的相互作用，與人相應的社會、經(jīng)濟和文化等諸種事物?！?定義5：信息技術包括信息傳遞過程中的各個方面，即信息的產(chǎn)生、收集、交換、存儲、傳輸、顯示、識別、提取、控制、加工和利用等技術。定義6：從技術的本質意義上講，信息技術就是能夠擴展人的信息器官功能的一類技術。,擴展人類的信息器官功能

21、的信息技術,人的信息器官主要包括以下四類感覺器官，包括視覺器官、聽覺器官、嗅覺器官、味覺器官、觸覺器官和平衡感覺器官等；傳導神經(jīng)網(wǎng)絡；它又可以分為導入神經(jīng)網(wǎng)絡利導出神經(jīng)網(wǎng)絡等；思維器官，包括記憶系統(tǒng)、聯(lián)想系統(tǒng)、分析推理和決策系統(tǒng)等；效應器官，包括操作器官(手)、行走器官(腳)和語言器官(口)等。,信息技術的“四基元”,根據(jù)上面給出的信息技術的定義和相應的分析，我們可以明確信息技術的四項基本內容，這就是“信息技術四基元”，即：(

22、1) 感測技術——感覺器官功能的延長。(2) 通信技術——傳導神經(jīng)網(wǎng)絡功能的延長。(3) 計算機和智能技術——思維器官功能的延長。(4) 控制技術——效應器官功能的延長。,既然信息技術是人的信息器官功能的延長，信息技術四基元的關系也應當視作一個有機的整體，它們和諧有機地合作，共同完成擴展人的智力功能的任務。,由信息技術的定義6可以引出兩個比較具體的定義，即：信息技術是指能夠完成信息的獲取、傳遞、加工、再生和施用等功能的—類技術；

23、信息技術是指感測、通信、計算機和智能以及控制等技術的整體。,信息技術的發(fā)展,迄今為止，人類社會發(fā)生過四次信息技術革命 第一次革命是人類創(chuàng)造了語言和文字，接著現(xiàn)出了文獻。第二次革命是造紙和印刷術的出現(xiàn)。第三次革命是電報、電話、電視及其他通訊技術的發(fā)明和應用。第四次革命是電子計算機和現(xiàn)代通訊技術在信息工作中的應用。,信息技術的核心及支撐技術,信息技術的核心技術就是它的“四基元”：計算機與智能技術、通信技術、感測技術及控制技術。

24、 計算機與智能技術,.通信技術現(xiàn)代通信技術主要包括數(shù)字通信、衛(wèi)星通信、微波通信、光纖通信等。,圖1-11 衛(wèi)星通信,傳感技術,能檢測爆炸物的微型化學傳感器,控制技術,圖1-13 控制系統(tǒng)框圖,智能控制技術當前主要包括以下幾個方面：?模糊控制技術?專家控制技術?機器學習技術,信息技術主要支撐技術-微電子技術,信息技術的發(fā)展必須具備兩個基本的條件：一是快速，即短時間里可收集或傳輸大量信息；二是體積小，攜帶起來方便，在

25、任何場合都能使用。微電子技術誕生的標志是1947年發(fā)明的晶體管，但微電子產(chǎn)業(yè)的快速發(fā)展則是在1958 年出現(xiàn)第一塊集成電路（IC）以后。,1.4 信息科學（技術）與相關學科的關系,計算科學計算科學（或計算機科學）是對描述和變換信息的算法過程,包括其理論、分析、設計、效率分析、實現(xiàn)和應用的系統(tǒng)的研究。,系統(tǒng)科學,圖1-16 系統(tǒng)科學的層次結構,信息哲學：信息與哲學的聯(lián)姻,科學哲學的新范式-信息哲學,認知科學與認知心理學,研究人腦或心智