第01章-信息、信息科學(xué)與信息技術(shù)-10

1、第一章 信息、信息科學(xué)與信息技術(shù),沈晴霓qingnishen@ss.pku.edu.cn北京大學(xué)軟件與微電子學(xué)院,綱 要,1.1 信息1.2 信息科學(xué)1.3 信息技術(shù)1.4 信息科學(xué)/技術(shù)與相關(guān)學(xué)科的關(guān)系,1.1 信息,什么是信息 ？就一般意義而言，信息可以理解成消息、情報(bào)、知識、見聞、通知、報(bào)告、事實(shí)、數(shù)據(jù)等等。20世紀(jì)30年代，信息被作為一個(gè)科學(xué)概念探討,,1928年，哈特萊（Ralph V.L. H

2、artley）在“信息傳輸”文中首先提出“信息”這一概念，即“信息是代碼、符號，而不是信息內(nèi)容本身”，與消息區(qū)分開來。1948年，信息論創(chuàng)始人香農(nóng)（C. E. Shannon）從研究通信理論出發(fā)，第一次從數(shù)學(xué)方法角度進(jìn)行了定義，即“信息就是不確定性的消除”。,香農(nóng)對信息的定義,什么是信息？信息能否度量？怎樣度量？香農(nóng)認(rèn)為：信息是有秩序的量度，是人們對事物了解的不確定性的消除或減少。信息是對組織程度的一種測度，信息能使物質(zhì)系統(tǒng)有序性

3、增強(qiáng)，減少破壞、混亂和噪音。 如：人的交往、道路交通、公安保密等,信息的傳播過程,香農(nóng)提出： 信息的傳播過程是“信源”（信息的發(fā)送者）把要提供的信息經(jīng)過“信道”傳遞給“信宿”（信息的接收者），信宿接收這些經(jīng)過“譯碼”（即解釋符號）的信息符號的過程。 信源→編碼 →信道→譯碼→信宿,信息的度量,由于信息源發(fā)出的消息是隨機(jī)的，可以用隨機(jī)變量來表示。如果用符號 表示信息源發(fā)出的信息，假設(shè)事件的基本空間 ? 包含

4、m個(gè)元素，即 ? = {x1, x2, …, xm},且每一個(gè)等可能值的概率為： P( X=xi ) = p i =1, 2, …, m 那么,定義一個(gè)隨機(jī)事件所含的信息量稱為x的自信息量，即,只能表示信息源發(fā)出的某一特定消息x的自信息量，而對于不同的消息則有不同的自信息量，所以 不足以作為整個(gè)信息源的總體信息測度。那么，可以定義平均信息量來作為信息總體的

5、測度，即信息熵。,信息熵,設(shè)X為一離散隨機(jī)變量，在集合 中取值，其概率分布為,,信息熵是從整個(gè)信息源的統(tǒng)計(jì)特性來考慮的，它從平均的意義上來表示信息源的總體信息測度，它表示信息源 X 在沒有發(fā)出消息以前，信宿對信息源 X 存在著平均不確定性。香農(nóng)的信息度量公式排除了對信息主觀上的含意。根據(jù)上述公式，同樣一個(gè)消息對任何一個(gè)收信者來說，所得到的信息量都是一樣的。,,香農(nóng)關(guān)于信息的度量，通常也稱為概率信息。它是一個(gè)科學(xué)的定義，有明確

6、的數(shù)學(xué)模型和定量計(jì)算。在公式中，對數(shù)的底數(shù)從理論上而言可以取任何數(shù)。當(dāng)?shù)讛?shù)為2時(shí)，信息的計(jì)量單位為比特（bit），即二進(jìn)制單位。,正確理解信息熵的概念,舉例：在試驗(yàn)甲和乙中，兩種結(jié)果A和B出現(xiàn)的概率如下：在試驗(yàn)之前，就試驗(yàn)甲而言，很難斷定A和B中那個(gè)可能將出現(xiàn)（由于出現(xiàn)A與出現(xiàn)B的概率相等，就像投擲硬幣一樣，投之前很難判斷正反面）；但就試驗(yàn)乙而言，就很大的把握斷定A將出現(xiàn)。由此可見，在不同的試驗(yàn)中，其不肯定性是有大有小的，試驗(yàn)

7、甲的不肯定性就比試驗(yàn)乙的來得大。,,如果將信息熵的計(jì)算公式套用到類似本例的實(shí)驗(yàn)中，可以這樣描述：設(shè)在試驗(yàn)中有N個(gè)可能出現(xiàn)的結(jié)果， A(1)，A(2) ，… ，A(n) 假如它們出現(xiàn)的概率分別是 P(1)，P(2) ，… ，P(n) 通常規(guī)定這個(gè)試驗(yàn)的熵為：,,小結(jié) 熵就是描寫不肯定性大小的量 熵越大不肯定性就越大,香農(nóng)信息論的局限性,首先，香農(nóng)對信息的定義的出發(fā)點(diǎn)是假定事物狀態(tài)可以用一個(gè)以經(jīng)典集合論為

8、基礎(chǔ)的概率模型來描述。然而實(shí)際存在的某些事物運(yùn)動(dòng)狀態(tài)要尋找一個(gè)合適的概率模型往往是非常困難的。對某些情況來講，是否存在這樣一個(gè)模型還值得探討。其次，這個(gè)定義和度量不考慮收信者的主觀特性和主觀意義，也撇開了信息的具體含義、具體用途、重要程度和引起后果等因素。這與實(shí)際情況不完全一致。,問題分析,香農(nóng)信息論存在的問題，主要是由于狹義信息論沒有解決信息的語義問題和有效性問題。語義信息是指當(dāng)認(rèn)知主體在獲得信息時(shí)，不僅要知道“是什么形式”，而且

9、還要理解“是什么意思”。也就是說，信息的具體含義是什么。香農(nóng)定義并沒有解決語義信息的度量問題。這樣，它的適用范圍就受到嚴(yán)重的限制。時(shí)效性問題？？,廣義信息論,廣義信息論超出了通訊技術(shù)的范圍來研究信息問題，它以各種系統(tǒng)、各門科學(xué)中的信息為對象，廣泛地研究信息的本質(zhì)和特點(diǎn)，以及信息的取得、計(jì)量、傳輸、儲存、處理、控制和利用的一般規(guī)律。廣義信息論包括了狹義信息論的內(nèi)容，但其研究范圍卻比通訊領(lǐng)域廣泛得多，是狹義信息論在各個(gè)領(lǐng)域的應(yīng)用和推廣，

10、因此，它的規(guī)律也更一般化，適用于各個(gè)領(lǐng)域，所以它是一門橫向?qū)W科。廣義信息論，人們也稱它為信息科學(xué)。,數(shù)據(jù)、消息、信號與信息的區(qū)別,數(shù)據(jù)：是對客觀實(shí)體的一種描述形式，是信息的載體。數(shù)據(jù)（原材料木頭）與信息（加工以形成的結(jié)構(gòu)）的關(guān)系,,從這個(gè)意義上，信息和數(shù)據(jù)的區(qū)別可以理解為：數(shù)據(jù)是未加工的信息，而信息是數(shù)據(jù)經(jīng)過加工以后的能為某個(gè)目的使用的數(shù)據(jù)，信息是數(shù)據(jù)的內(nèi)容或詮釋。將數(shù)據(jù)加工為信息的過程稱為信息加工或處理。數(shù)據(jù)可分為模擬數(shù)據(jù)

11、和數(shù)字?jǐn)?shù)據(jù)兩種形式。模擬數(shù)據(jù)是在某個(gè)區(qū)間內(nèi)連續(xù)的值。,消息,信息是包含在消息中的抽象量，消息是具體的，其中蘊(yùn)含著信息。 按照香農(nóng)理論，在通信過程中，信息總是經(jīng)過編碼(符號化)成為消息以后，才能經(jīng)由媒介傳播的，而信息的接收者收到消息后，總是要經(jīng)過譯碼(解讀)才獲取其中的信息的。,信號,把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量稱為信號。信號攜帶著消息，它是消息的運(yùn)載工具。信號是數(shù)據(jù)的電磁或光脈沖編碼。信號可以分為模擬信號和數(shù)字信號

12、。模擬信號是一種隨時(shí)間而連續(xù)變化的信號。數(shù)字信號則是在時(shí)間上的一種離散信號。,信息的特點(diǎn),信息的不滅性。信息產(chǎn)生后，其載體可以變換，如一本書、一張光盤，但信息本身并沒有被消滅。信息的復(fù)制性。信息可以廉價(jià)復(fù)制，可以廣泛傳播。信息的時(shí)效性。某些信息的價(jià)值具有很強(qiáng)烈的時(shí)效性。如金融信息，戰(zhàn)時(shí)信息。,信息的基本作用,人類認(rèn)識世界及其發(fā)展規(guī)律的基礎(chǔ)客觀世界與人類社會(huì)發(fā)展進(jìn)程中不可缺少的資源要素（物質(zhì)、能源與信息是客觀世界的三大要素）科

13、學(xué)技術(shù)轉(zhuǎn)化為生產(chǎn)力的橋梁與工具管理和決策的主要參考依據(jù)經(jīng)濟(jì)建設(shè)和發(fā)展的保證（信息可以創(chuàng)造財(cái)富）,1.2 信息科學(xué),“科學(xué)”的定義科學(xué)就是整理事實(shí)，從中發(fā)現(xiàn)規(guī)律，做出結(jié)論?？茖W(xué)要發(fā)現(xiàn)人所未知的事實(shí)，并以此為依據(jù)，實(shí)事求是，而不是脫離現(xiàn)實(shí)的純思維的空想。規(guī)律，是指客觀事物之間內(nèi)在的本質(zhì)的必然聯(lián)系。因此，科學(xué)是建立在實(shí)踐基礎(chǔ)上，經(jīng)過實(shí)踐檢驗(yàn)和嚴(yán)密邏輯論證的，關(guān)于客觀世界各種事物的本質(zhì)及運(yùn)動(dòng)規(guī)律的知識體系。,科學(xué)、技術(shù)與工程的界定,

14、“科學(xué)”是指探知事物的本質(zhì)、特征、內(nèi)在規(guī)律以及與其他事物的聯(lián)系, 是關(guān)于自然、社會(huì)和思維的發(fā)展與變化規(guī)律的知識體系?？茖W(xué)理論內(nèi)容必須符合客觀實(shí)際，要邏輯嚴(yán)謹(jǐn)，沒有矛盾，能夠指導(dǎo)實(shí)踐。它由已知的觀測和實(shí)驗(yàn)事實(shí)總結(jié)而來，又必須具有預(yù)測的能力，能夠在其適用的范圍內(nèi)預(yù)測可能發(fā)生的新現(xiàn)象，并通過科學(xué)實(shí)驗(yàn)驗(yàn)證其預(yù)測。預(yù)測與驗(yàn)證是確立一個(gè)新理論和其適用范圍時(shí)必須采用的方法。,“技術(shù)”,技術(shù)是在科學(xué)的指導(dǎo)下，通過總結(jié)實(shí)踐的經(jīng)驗(yàn)而得到，在生產(chǎn)過程和其他實(shí)

15、踐過程中廣泛應(yīng)用的，從設(shè)計(jì)、裝備、方法、規(guī)范到管理等各方面的系統(tǒng)知識。在生產(chǎn)實(shí)踐活動(dòng)中，人類對技術(shù)，也就是“怎么做?”不斷積累了經(jīng)驗(yàn)。幾千年前，在農(nóng)業(yè)、醫(yī)療、建筑、陶瓷、金屬冶煉等方面就已經(jīng)發(fā)展了高度的技能。技術(shù)直接指導(dǎo)生產(chǎn)、服務(wù)生產(chǎn)，是現(xiàn)實(shí)的生產(chǎn)力，也是一種商品。簡言之，一切能夠在市場上有競爭力，獲得市場承認(rèn)，推動(dòng)市場發(fā)展的知識都可以稱為技術(shù)。,結(jié)論 科學(xué)產(chǎn)生技術(shù)，技術(shù)推動(dòng)科學(xué)二者相互促進(jìn)，密切相關(guān),“工程”,工程是人類有組織

16、地綜合運(yùn)用多門科學(xué)技術(shù)進(jìn)行的大規(guī)模改造世界的活動(dòng)，它除了要考慮技術(shù)的先進(jìn)性和可行性，還要考慮成本和質(zhì)量，做到經(jīng)濟(jì)、實(shí)用、美觀，要考慮對環(huán)境的影響，以避免污染。它的成功有賴于多種科學(xué)技術(shù)的綜合集成和科學(xué)的管理。,信息科學(xué),信息和控制是信息科學(xué)的基礎(chǔ)和核心。關(guān)于什么是信息科學(xué)（Information science），有著不同的定義： 定義1： 信息科學(xué)是研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的科學(xué)，是一門

17、結(jié)合了數(shù)學(xué)、物理、天文、生物和人文等基礎(chǔ)學(xué)科的新興與綜合性學(xué)科”。,,定義2： 以信息為主要研究對象，以信息的運(yùn)動(dòng)規(guī)律和應(yīng)用方法為主要研究內(nèi)容，以計(jì)算機(jī)等技術(shù)為主要研究工具，以擴(kuò)展人類的信息功能為主要目標(biāo)的一門新興的綜合性學(xué)科。,信息科學(xué)的研究內(nèi)容與體系,可將信息科學(xué)研究的基本內(nèi)容歸納為五個(gè)方面： 探討信息的基本概念和本質(zhì)。研究信息的數(shù)值度量方法。闡明信息感知、識別、變換、傳遞、存儲、檢索、處理、再 生、表示、施效(控制)

18、等過程的一般規(guī)律。揭示利用信息來描述系統(tǒng)和優(yōu)化系統(tǒng)的方法和原理尋求通過加工信息來生成智能的機(jī)制和途徑。,信息科學(xué)的基本科學(xué)體系,從信息科學(xué)研究內(nèi)容分為三個(gè)層次：信息科學(xué)的哲學(xué)層次，其中包括信息的哲學(xué)本質(zhì)、智能的哲學(xué)本質(zhì)、信息與反映的關(guān)系、信息與認(rèn)識的關(guān)系、人工智能與人類智能的關(guān)系等等。信息科學(xué)的基礎(chǔ)理論層次，它的主要任務(wù)是研究信息的一般理論。信息科學(xué)的技術(shù)應(yīng)用層次，主要研究如何應(yīng)用信息科學(xué)理論在技術(shù)上拓展人類的信息功能（特別是

19、其中的智力功能）的問題。,1.3 信息技術(shù),信息技術(shù)的定義(人們對信息技術(shù)的定義，因其使用的目的、范圍、層次不同而有不同的表述）：定義1：信息技術(shù)是指有關(guān)信息的收集、識別、提取、變換、存貯、傳遞、處理、檢索、檢測、分析和利用等的技術(shù)。定義2：現(xiàn)代信息技術(shù)“以計(jì)算機(jī)技術(shù)、微電子技術(shù)和通信技術(shù)為特征”。,定義3：信息技術(shù)是指在計(jì)算機(jī)和通信技術(shù)支持下用以獲取、加工、存儲、變換、顯示和傳輸文字、數(shù)值、圖像以及聲音信息，包括提供設(shè)備和提供信息

20、服務(wù)兩大方面的方法與設(shè)備的總稱。定義4：信息技術(shù)指“應(yīng)用在信息加工和處理中的科學(xué)，技術(shù)與工程的訓(xùn)練方法和管理技巧；上述方法和技巧的應(yīng)用；計(jì)算機(jī)及其與人、機(jī)的相互作用，與人相應(yīng)的社會(huì)、經(jīng)濟(jì)和文化等諸種事物?！?定義5：信息技術(shù)包括信息傳遞過程中的各個(gè)方面，即信息的產(chǎn)生、收集、交換、存儲、傳輸、顯示、識別、提取、控制、加工和利用等技術(shù)。定義6：從技術(shù)的本質(zhì)意義上講，信息技術(shù)就是能夠擴(kuò)展人的信息器官功能的一類技術(shù)。,擴(kuò)展人類的信息器官功能

21、的信息技術(shù),人的信息器官主要包括以下四類感覺器官，包括視覺器官、聽覺器官、嗅覺器官、味覺器官、觸覺器官和平衡感覺器官等；傳導(dǎo)神經(jīng)網(wǎng)絡(luò)；它又可以分為導(dǎo)入神經(jīng)網(wǎng)絡(luò)利導(dǎo)出神經(jīng)網(wǎng)絡(luò)等；思維器官，包括記憶系統(tǒng)、聯(lián)想系統(tǒng)、分析推理和決策系統(tǒng)等；效應(yīng)器官，包括操作器官(手)、行走器官(腳)和語言器官(口)等。,信息技術(shù)的“四基元”,根據(jù)上面給出的信息技術(shù)的定義和相應(yīng)的分析，我們可以明確信息技術(shù)的四項(xiàng)基本內(nèi)容，這就是“信息技術(shù)四基元”，即：(

22、1) 感測技術(shù)——感覺器官功能的延長。(2) 通信技術(shù)——傳導(dǎo)神經(jīng)網(wǎng)絡(luò)功能的延長。(3) 計(jì)算機(jī)和智能技術(shù)——思維器官功能的延長。(4) 控制技術(shù)——效應(yīng)器官功能的延長。,既然信息技術(shù)是人的信息器官功能的延長，信息技術(shù)四基元的關(guān)系也應(yīng)當(dāng)視作一個(gè)有機(jī)的整體，它們和諧有機(jī)地合作，共同完成擴(kuò)展人的智力功能的任務(wù)。,由信息技術(shù)的定義6可以引出兩個(gè)比較具體的定義，即：信息技術(shù)是指能夠完成信息的獲取、傳遞、加工、再生和施用等功能的—類技術(shù)；

23、信息技術(shù)是指感測、通信、計(jì)算機(jī)和智能以及控制等技術(shù)的整體。,信息技術(shù)的發(fā)展,迄今為止，人類社會(huì)發(fā)生過四次信息技術(shù)革命 第一次革命是人類創(chuàng)造了語言和文字，接著現(xiàn)出了文獻(xiàn)。第二次革命是造紙和印刷術(shù)的出現(xiàn)。第三次革命是電報(bào)、電話、電視及其他通訊技術(shù)的發(fā)明和應(yīng)用。第四次革命是電子計(jì)算機(jī)和現(xiàn)代通訊技術(shù)在信息工作中的應(yīng)用。,信息技術(shù)的核心及支撐技術(shù),信息技術(shù)的核心技術(shù)就是它的“四基元”：計(jì)算機(jī)與智能技術(shù)、通信技術(shù)、感測技術(shù)及控制技術(shù)。

24、 計(jì)算機(jī)與智能技術(shù),.通信技術(shù)現(xiàn)代通信技術(shù)主要包括數(shù)字通信、衛(wèi)星通信、微波通信、光纖通信等。,圖1-11 衛(wèi)星通信,傳感技術(shù),能檢測爆炸物的微型化學(xué)傳感器,控制技術(shù),圖1-13 控制系統(tǒng)框圖,智能控制技術(shù)當(dāng)前主要包括以下幾個(gè)方面：?模糊控制技術(shù)?專家控制技術(shù)?機(jī)器學(xué)習(xí)技術(shù),信息技術(shù)主要支撐技術(shù)-微電子技術(shù),信息技術(shù)的發(fā)展必須具備兩個(gè)基本的條件：一是快速，即短時(shí)間里可收集或傳輸大量信息；二是體積小，攜帶起來方便，在

25、任何場合都能使用。微電子技術(shù)誕生的標(biāo)志是1947年發(fā)明的晶體管，但微電子產(chǎn)業(yè)的快速發(fā)展則是在1958 年出現(xiàn)第一塊集成電路（IC）以后。,1.4 信息科學(xué)（技術(shù)）與相關(guān)學(xué)科的關(guān)系,計(jì)算科學(xué)計(jì)算科學(xué)（或計(jì)算機(jī)科學(xué)）是對描述和變換信息的算法過程,包括其理論、分析、設(shè)計(jì)、效率分析、實(shí)現(xiàn)和應(yīng)用的系統(tǒng)的研究。,系統(tǒng)科學(xué),圖1-16 系統(tǒng)科學(xué)的層次結(jié)構(gòu),信息哲學(xué)：信息與哲學(xué)的聯(lián)姻,科學(xué)哲學(xué)的新范式-信息哲學(xué),認(rèn)知科學(xué)與認(rèn)知心理學(xué),研究人腦或心智