機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn)

1、第 9 章 機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn),9.1 機(jī)器學(xué)習(xí)概述9.2 符號(hào)學(xué)習(xí) 9.3 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 9.4 知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘 習(xí)題九,9.1 機(jī)器學(xué)習(xí)概述,9.1.1 機(jī)器學(xué)習(xí)的概念　　心理學(xué)中對(duì)學(xué)習(xí)的解釋是: 學(xué)習(xí)是指(人或動(dòng)物)依靠經(jīng)驗(yàn)的獲得而使行為持久變化的過(guò)程。人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的幾位著名學(xué)者也對(duì)學(xué)習(xí)提出了各自的說(shuō)法。 如Simon認(rèn)為:如果一個(gè)系統(tǒng)能夠通過(guò)執(zhí)行某種過(guò)程而改進(jìn)它的性能, 這就是學(xué)習(xí)。Minsky認(rèn)為:

2、學(xué)習(xí)是在人們頭腦中(心理內(nèi)部)進(jìn)行有用的變化。Tom M. Mitchell在《機(jī)器學(xué)習(xí)》一書中對(duì)學(xué)習(xí)的定義是: 對(duì)于某類任務(wù)T和性能度P, 如果一個(gè)計(jì)算機(jī)程序在T上以P衡量的性能隨著經(jīng)驗(yàn)E而自我完善, 那么, 我們稱這個(gè)計(jì)算機(jī)程序從經(jīng)驗(yàn)E中學(xué)習(xí)。 ,9.1.2 機(jī)器學(xué)習(xí)的原理　　從以上對(duì)于學(xué)習(xí)的解釋可以看出: 　　(1) 學(xué)習(xí)與經(jīng)驗(yàn)有關(guān)。　　(2) 學(xué)習(xí)可以改善系統(tǒng)性能。　　(3) 學(xué)習(xí)是一個(gè)有反饋的信息處理與控制過(guò)

3、程。因?yàn)榻?jīng)驗(yàn)是在系統(tǒng)與環(huán)境的交互過(guò)程中產(chǎn)生的,而經(jīng)驗(yàn)中應(yīng)該包含系統(tǒng)輸入、響應(yīng)和效果等信息。因此經(jīng)驗(yàn)的積累、性能的完善正是通過(guò)重復(fù)這一過(guò)程而實(shí)現(xiàn)的。,圖 9-1 機(jī)器學(xué)習(xí)原理1,這里的輸入信息是指系統(tǒng)在完成某任務(wù)時(shí), 接收到的環(huán)境信息; 響應(yīng)信息是指對(duì)輸入信息做出的回應(yīng);執(zhí)行是指根據(jù)響應(yīng)信息實(shí)施相應(yīng)的動(dòng)作或行為。按圖9-1, 機(jī)器學(xué)習(xí)的流程就是: ① 對(duì)于輸入信息, 系統(tǒng)根據(jù)目標(biāo)和經(jīng)驗(yàn)做出決策予以響應(yīng), 即執(zhí)行相應(yīng)動(dòng)作; ② 對(duì)目標(biāo)的實(shí)現(xiàn)

4、或任務(wù)的完成情況進(jìn)行評(píng)估; ③ 將本次的輸入、響應(yīng)和評(píng)價(jià)作為經(jīng)驗(yàn)予以存儲(chǔ)記錄。可以看出, 第一次決策時(shí)系統(tǒng)中還無(wú)任何經(jīng)驗(yàn), 但從第二次決策開始, 經(jīng)驗(yàn)便開始積累。這樣, 隨著經(jīng)驗(yàn)的豐富, 系統(tǒng)的性能自然就會(huì)不斷改善和提高。,圖9-1所示的學(xué)習(xí)方式現(xiàn)在一般稱為記憶學(xué)習(xí)。例如, Samuel的跳棋程序就采用這種記憶學(xué)習(xí)方法。還有,基于范例的學(xué)習(xí)也可以看作是這種記憶學(xué)習(xí)的一個(gè)特例。記憶學(xué)習(xí)實(shí)際上也是人類和動(dòng)物的一種基本學(xué)習(xí)方式。然而, 這種依

5、靠經(jīng)驗(yàn)來(lái)提高性能的記憶學(xué)習(xí)存在嚴(yán)重不足。其一,由于經(jīng)驗(yàn)積累是一個(gè)緩慢過(guò)程, 所以系統(tǒng)性能的改善也很緩慢; 其二,由于經(jīng)驗(yàn)畢竟不是規(guī)律, 故僅憑經(jīng)驗(yàn)對(duì)系統(tǒng)性能的改善是有限的, 有時(shí)甚至是靠不住的。 　　所以, 學(xué)習(xí)方式需要延伸和發(fā)展?？上攵?如果能在積累的經(jīng)驗(yàn)中進(jìn)一步發(fā)現(xiàn)規(guī)律, 然后利用所發(fā)現(xiàn)的規(guī)律即知識(shí)來(lái)指導(dǎo)系統(tǒng)行為,那么,系統(tǒng)的性能將會(huì)得到更大的改善和提高，于是, 我們有圖9-2所示的機(jī)器學(xué)習(xí)原理2。,圖 9-2 機(jī)器學(xué)習(xí)原理

6、2,可以看出,這才是一個(gè)完整的學(xué)習(xí)過(guò)程。它可分為三個(gè)子過(guò)程, 即經(jīng)驗(yàn)積累過(guò)程、知識(shí)生成過(guò)程和知識(shí)運(yùn)用過(guò)程。事實(shí)上,這種學(xué)習(xí)方式就是人類和動(dòng)物的技能訓(xùn)練或者更一般的適應(yīng)性訓(xùn)練過(guò)程, 如騎車、駕駛、體操、游泳等都是以這種方式學(xué)習(xí)的。所以, 圖9-2所示這種學(xué)習(xí)方式也適合于機(jī)器的技能訓(xùn)練, 如機(jī)器人的駕車訓(xùn)練。 　　但現(xiàn)在的機(jī)器學(xué)習(xí)研究一般都省去了上面的經(jīng)驗(yàn)積累過(guò)程, 而是一開始就把事先組織好的經(jīng)驗(yàn)數(shù)據(jù)(包括實(shí)驗(yàn)數(shù)據(jù)和統(tǒng)計(jì)數(shù)據(jù))直接作為學(xué)

7、習(xí)系統(tǒng)的輸入, 然后對(duì)其歸納推導(dǎo)而得出知識(shí), 再用所得知識(shí)去指導(dǎo)行為、改善性能, 其過(guò)程如圖9-3所示。在這里把組織好的經(jīng)驗(yàn)數(shù)據(jù)稱為訓(xùn)練樣本或樣例, 把由樣例到知識(shí)的轉(zhuǎn)換過(guò)程稱為學(xué)習(xí)或訓(xùn)練。,圖 9-3 機(jī)器學(xué)習(xí)原理3,考察上面的圖9-1、 圖9-2和圖9-3可以發(fā)現(xiàn), 從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)知識(shí)才是機(jī)器學(xué)習(xí)的關(guān)鍵環(huán)節(jié)。所以, 在機(jī)器學(xué)習(xí)中, 人們就進(jìn)一步把圖9-3所示的機(jī)器學(xué)習(xí)過(guò)程簡(jiǎn)化為只有知識(shí)生成一個(gè)過(guò)程(如圖9-4 所示), 即只要從經(jīng)

8、驗(yàn)數(shù)據(jù)歸納推導(dǎo)出知識(shí)就算是完成了學(xué)習(xí)。 　　可以看出, 圖9-4所示的這類機(jī)器學(xué)習(xí)已經(jīng)與機(jī)器學(xué)習(xí)的本來(lái)含義不一致了, 實(shí)際上似乎已變成純粹的知識(shí)發(fā)現(xiàn)了。,圖 9-4 機(jī)器學(xué)習(xí)原理4,圖 9-5 機(jī)器學(xué)習(xí)原理5,9.1.3 機(jī)器學(xué)習(xí)的分類　　從圖9-5可以看出, 機(jī)器學(xué)習(xí)可分為信息、發(fā)現(xiàn)和知識(shí)三個(gè)要素, 它們分別是機(jī)器學(xué)習(xí)的對(duì)象、方法和目標(biāo)。那么, 談?wù)撘环N機(jī)器學(xué)習(xí), 就要考察這三個(gè)要素。而分別基于這三個(gè)要素, 就可以對(duì)機(jī)器學(xué)習(xí)進(jìn)

9、行分類。例如,由于信息有語(yǔ)言符號(hào)型與數(shù)值數(shù)據(jù)型之分, 因此基于信息,機(jī)器學(xué)習(xí)可分為符號(hào)學(xué)習(xí)和數(shù)值學(xué)習(xí); 而基于知識(shí)的形式,機(jī)器學(xué)習(xí)又可分為規(guī)則學(xué)習(xí)和函數(shù)學(xué)習(xí)等; 若基于發(fā)現(xiàn)的邏輯方法, 則機(jī)器學(xué)習(xí)可分為歸納學(xué)習(xí)、演繹學(xué)習(xí)和類比學(xué)習(xí)等等。 這樣的分類也就是分別從“從哪兒學(xué)？”、“怎樣學(xué)？” 和“學(xué)什么？”這三個(gè)著眼點(diǎn)對(duì)機(jī)器學(xué)習(xí)進(jìn)行的分類。,1. 基于學(xué)習(xí)策略的分類　　1) 模擬人腦的機(jī)器學(xué)習(xí)　　(1) 符號(hào)學(xué)習(xí): 模擬人腦的宏觀心

10、理級(jí)學(xué)習(xí)過(guò)程, 以認(rèn)知心理學(xué)原理為基礎(chǔ), 以符號(hào)數(shù)據(jù)為輸入, 以符號(hào)運(yùn)算為方法, 用推理過(guò)程在圖或狀態(tài)空間中搜索, 學(xué)習(xí)的目標(biāo)為概念或規(guī)則等。符號(hào)學(xué)習(xí)的典型方法有記憶學(xué)習(xí)、示例學(xué)習(xí)、演繹學(xué)習(xí)、 類比學(xué)習(xí)、解釋學(xué)習(xí)等。　　(2) 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)(或連接學(xué)習(xí)):模擬人腦的微觀生理級(jí)學(xué)習(xí)過(guò)程, 以腦和神經(jīng)科學(xué)原理為基礎(chǔ),以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型, 以數(shù)值數(shù)據(jù)為輸入, 以數(shù)值運(yùn)算為方法,用迭代過(guò)程在系數(shù)向量空間中搜索,學(xué)習(xí)的目標(biāo)為函數(shù)。典型

11、的連接學(xué)習(xí)有權(quán)值修正學(xué)習(xí)、拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)等。,2) 直接采用數(shù)學(xué)方法的機(jī)器學(xué)習(xí)　　這種機(jī)器學(xué)習(xí)方法主要有統(tǒng)計(jì)機(jī)器學(xué)習(xí)。而統(tǒng)計(jì)機(jī)器學(xué)習(xí)又有廣義和狹義之分。 　　廣義統(tǒng)計(jì)機(jī)器學(xué)習(xí)指以樣本數(shù)據(jù)為依據(jù),以概率統(tǒng)計(jì)理論為基礎(chǔ),以數(shù)值運(yùn)算為方法的一類機(jī)器學(xué)習(xí)。在這個(gè)意義下, 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)也可劃歸為統(tǒng)計(jì)學(xué)習(xí)范疇。 統(tǒng)計(jì)學(xué)習(xí)又可分為以概率表達(dá)式函數(shù)為目標(biāo)和以代數(shù)表達(dá)式函數(shù)為目標(biāo)兩大類。 前者的典型有貝葉斯學(xué)習(xí)、貝葉斯網(wǎng)絡(luò)學(xué)習(xí)等, 后者的典型有幾何

12、分類學(xué)習(xí)方法和支持向量機(jī)(SVM)。 經(jīng)典文獻(xiàn)(1)Vladimir N. Vapnik（弗拉基米爾）,譯者：許建華，《統(tǒng)計(jì)學(xué)習(xí)理論》ISBN號(hào)：978-7-121-08372-3，2009-03 (2)王雙成. 貝葉斯網(wǎng)絡(luò)學(xué)習(xí)、推理與應(yīng)用,立信會(huì)計(jì)出版社,2. 基于學(xué)習(xí)方法的分類　　1) 歸納學(xué)習(xí)　　(1) 符號(hào)歸納學(xué)習(xí): 典型的符號(hào)歸納學(xué)習(xí)有示例學(xué)習(xí)、 決策樹學(xué)習(xí)等。 　　(2) 函數(shù)歸納學(xué)習(xí)(發(fā)現(xiàn)學(xué)習(xí)): 典型的函

13、數(shù)歸納學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)、 統(tǒng)計(jì)學(xué)習(xí)等。 　　2) 演繹學(xué)習(xí)　　3) 類比學(xué)習(xí)　　典型的類比學(xué)習(xí)有案例(范例)學(xué)習(xí)。 　　4) 分析學(xué)習(xí)　　典型的分析學(xué)習(xí)有案例(范例)學(xué)習(xí)和解釋學(xué)習(xí)等。,3. 基于學(xué)習(xí)方式的分類　　(1) 有導(dǎo)師學(xué)習(xí)(監(jiān)督學(xué)習(xí),supervised learning):利用一組已知類別的樣本調(diào)整分類器的參數(shù)，使其達(dá)到所要求性能的過(guò)程，也稱為監(jiān)督訓(xùn)練或有教師學(xué)習(xí)。正如人們通過(guò)已

14、知病例學(xué)習(xí)診斷技術(shù)那樣，計(jì)算機(jī)要通過(guò)學(xué)習(xí)才能具有識(shí)別各種事物和現(xiàn)象的能力。用來(lái)進(jìn)行學(xué)習(xí)的材料就是與被識(shí)別對(duì)象屬于同類的有限數(shù)量樣本。監(jiān)督學(xué)習(xí)中在給予計(jì)算機(jī)學(xué)習(xí)樣本的同時(shí)，還告訴計(jì)算各個(gè)樣本所屬的類別。若所給的學(xué)習(xí)樣本不帶有類別信息,就是無(wú)監(jiān)督學(xué)習(xí)。任何一種學(xué)習(xí)都有一定的目的,對(duì)于模式識(shí)別來(lái)說(shuō)，就是要通過(guò)有限數(shù)量樣本的學(xué)習(xí)，使分類器在對(duì)無(wú)限多個(gè)模式進(jìn)行分類時(shí)所產(chǎn)生的錯(cuò)誤概率最小。 　(2) 無(wú)導(dǎo)師學(xué)習(xí)(無(wú)監(jiān)督學(xué)習(xí)，unsupervise

15、d learning):設(shè)計(jì)分類器時(shí)候，用于處理未被分類標(biāo)記的樣本集。輸入數(shù)據(jù)中無(wú)導(dǎo)師信號(hào), 采用聚類方法,學(xué)習(xí)結(jié)果為類別。典型的無(wú)導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類學(xué)習(xí)、競(jìng)爭(zhēng)學(xué)習(xí)等。 (3) 強(qiáng)化學(xué)習(xí)(增強(qiáng)學(xué)習(xí)): 以環(huán)境反饋(獎(jiǎng)/懲信號(hào))作為輸入, 以統(tǒng)計(jì)和動(dòng)態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習(xí)方法。,4. 基于數(shù)據(jù)形式的分類　　(1) 結(jié)構(gòu)化學(xué)習(xí): 以結(jié)構(gòu)化數(shù)據(jù)為輸入,以數(shù)值計(jì)算或符號(hào)推演為方法。典型的結(jié)構(gòu)化學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、決策樹

16、學(xué)習(xí)和規(guī)則學(xué)習(xí)。 　　(2) 非結(jié)構(gòu)化學(xué)習(xí):以非結(jié)構(gòu)化數(shù)據(jù)為輸入, 典型的非結(jié)構(gòu)化學(xué)習(xí)有類比學(xué)習(xí)、案例學(xué)習(xí)、解釋學(xué)習(xí)、文本挖掘、圖像挖掘、 Web挖掘等。,5. 基于學(xué)習(xí)目標(biāo)的分類 (1) 概念學(xué)習(xí): 即學(xué)習(xí)的目標(biāo)和結(jié)果為概念, 或者說(shuō)是為了獲得概念的一種學(xué)習(xí)。典型的概念學(xué)習(xí)有示例學(xué)習(xí)。  (2) 規(guī)則學(xué)習(xí): 即學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)則, 或者說(shuō)是為了獲得規(guī)則的一種學(xué)習(xí)。典型的規(guī)則學(xué)習(xí)有決策樹學(xué)習(xí)。 　　(3)

17、 函數(shù)學(xué)習(xí): 即學(xué)習(xí)的目標(biāo)和結(jié)果為函數(shù), 或者說(shuō)是為了獲得函數(shù)的一種學(xué)習(xí)。典型的函數(shù)學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。,(4) 類別學(xué)習(xí): 即學(xué)習(xí)的目標(biāo)和結(jié)果為對(duì)象類, 或者說(shuō)是為了獲得類別的一種學(xué)習(xí)。 典型的類別學(xué)習(xí)有聚類分析。 　　(5) 貝葉斯網(wǎng)絡(luò)學(xué)習(xí): 即學(xué)習(xí)的目標(biāo)和結(jié)果是貝葉斯網(wǎng)絡(luò), 或者說(shuō)是為了獲得貝葉斯網(wǎng)絡(luò)的一種學(xué)習(xí)。其又可分為結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)。 　　當(dāng)然, 以上僅是機(jī)器學(xué)習(xí)的一些分類而并非全面分類。 事實(shí)上,除了以上分類外,

18、還有許多其他分法。 例如, 有些機(jī)器學(xué)習(xí)還需要背景知識(shí)作指導(dǎo), 這就又有了基于知識(shí)的機(jī)器學(xué)習(xí)類型。 如解釋學(xué)習(xí)就是一種基于知識(shí)的機(jī)器學(xué)習(xí)。,,9.2 符號(hào)學(xué)習(xí),9.2.1 記憶學(xué)習(xí) 　記憶學(xué)習(xí)也稱死記硬背學(xué)習(xí)或機(jī)械學(xué)習(xí)。這種學(xué)習(xí)方法不要求系統(tǒng)具有對(duì)復(fù)雜問(wèn)題求解的能力, 也就是沒(méi)有推理能力, 系統(tǒng)的學(xué)習(xí)方法就是直接記錄與問(wèn)題有關(guān)的信息, 然后檢索并利用這些存儲(chǔ)的信息來(lái)解決問(wèn)題。例如, 對(duì)于某個(gè)數(shù)據(jù)x, 經(jīng)過(guò)某種計(jì)算過(guò)程得到的結(jié)果是

19、y, 那么系統(tǒng)就把(x, y)作為聯(lián)想對(duì)存儲(chǔ)起來(lái), 以后再要對(duì)x 作同樣的計(jì)算時(shí),就可通過(guò)查詢(而不是計(jì)算)直接得到y(tǒng)。又如,對(duì)于某個(gè)事實(shí)A, 經(jīng)過(guò)某種推理而得到結(jié)論B, 那么就可把序?qū)?A, B)作為一條規(guī)則而記錄下來(lái), 以后就可以由A直接得到B。,使用記憶學(xué)習(xí)方法的一個(gè)成功例子是Samuel的跳棋程序(1959年開發(fā)), 這個(gè)程序是靠記住每一個(gè)經(jīng)過(guò)評(píng)估的棋局勢(shì)態(tài), 來(lái)改進(jìn)弈棋的水平。程序采用極小—極大分析的搜索策略來(lái)估計(jì)可能的未來(lái)棋

20、盤局勢(shì), 學(xué)習(xí)環(huán)節(jié)只存儲(chǔ)這些棋盤勢(shì)態(tài)估值及相應(yīng)的索引, 以備以后弈棋使用。 例如某一個(gè)勢(shì)態(tài)A輪到程序走步, 這時(shí)程序考慮向前搜索三步, 根據(jù)假設(shè)的端節(jié)點(diǎn)靜態(tài)值, 用極小—極大法可求得A的倒推值A(chǔ)v。這時(shí)系統(tǒng)記住了該棋局及其倒推值［A,Av］?，F(xiàn)在假定以后弈棋中, 棋局E的搜索樹端節(jié)點(diǎn)中出現(xiàn)了A,這時(shí)就可以檢索已存的Av來(lái)使用, 而不必再去計(jì)算其靜態(tài)估值。這不僅提高了搜索效率,更重要的是A的倒推值比A的靜態(tài)值更準(zhǔn)確。用了所記憶的A倒推值,

21、對(duì)棋局E來(lái)說(shuō), 相當(dāng)于局部搜索深度加大到6, 因而E的結(jié)果得到了改善。根據(jù)文獻(xiàn)報(bào)道,Samuel程序由于有機(jī)械學(xué)習(xí)機(jī)制, 最后竟能戰(zhàn)勝跳棋冠軍。,機(jī)械學(xué)習(xí)是基于記憶和檢索的辦法, 學(xué)習(xí)方法很簡(jiǎn)單, 但學(xué)習(xí)系統(tǒng)需要幾種能力。  (1) 能實(shí)現(xiàn)有組織的存儲(chǔ)信息。為了使利用一個(gè)已存的信息比重新計(jì)算該值來(lái)得快, 必須有一種快速存取的方法。如在Samuel的程序中,通過(guò)對(duì)棋子位置的布局上加幾個(gè)重要特征(如棋盤上棋子的數(shù)目)做為索引以利于

22、檢索。 ,(2) 能進(jìn)行信息綜合。通常存儲(chǔ)對(duì)象的數(shù)目可能很大, 為了使其數(shù)目限制在便于管理的范圍內(nèi), 需要有某種綜合技術(shù)。 在Samuel程序中, 被存儲(chǔ)的對(duì)象數(shù)目就是博弈中可能出現(xiàn)的各種棋局棋子位置數(shù)目, 該程序用簡(jiǎn)單的綜合形式來(lái)減少這個(gè)數(shù)目, 例如只存儲(chǔ)一方棋子位置, 就可使存儲(chǔ)的棋子位置數(shù)目減少一半, 也可以利用對(duì)稱關(guān)系進(jìn)行綜合。,(3) 能控制檢索方向。 當(dāng)存儲(chǔ)對(duì)象愈多時(shí), 其中可能有多個(gè)對(duì)象與給定的狀態(tài)有關(guān),這樣就要求程序

23、能從有關(guān)的存儲(chǔ)對(duì)象中進(jìn)行選擇, 以便把注意力集中到有希望的方向上來(lái)。Samuel程序采用優(yōu)先考慮相同評(píng)分下具有較少走步就能到達(dá)那個(gè)對(duì)象的方向。,9.2.2 示例學(xué)習(xí) 示例學(xué)習(xí)也稱實(shí)例學(xué)習(xí), 它是一種歸納學(xué)習(xí)。示例學(xué)習(xí)是從若干實(shí)例(包括正例和反例)中歸納出一般概念或規(guī)則的學(xué)習(xí)方法。 例如學(xué)習(xí)程序要學(xué)習(xí)“狗”的概念, 可以先提供給程序以各種動(dòng)物, 并告知程序哪些動(dòng)物是“狗”, 哪些不是“狗”, 系統(tǒng)學(xué)習(xí)后便概括出“狗”的概念模型或

24、類型定義, 利用這個(gè)類型定義就可作為動(dòng)物世界中識(shí)別“狗”的分類的準(zhǔn)則。 這種構(gòu)造類型定義的任務(wù)稱為概念學(xué)習(xí), 當(dāng)然這個(gè)任務(wù)所使用的技術(shù)必須依賴于描述類型(概念)的方法。 下面我們使用Winston(1975年開發(fā)) 提出的結(jié)構(gòu)化概念學(xué)習(xí)程序的例子作為模型來(lái)說(shuō)明示例學(xué)習(xí)的過(guò)程。,Winston的程序是在簡(jiǎn)單的積木世界領(lǐng)域中運(yùn)行,其目的是要建立積木世界中物體概念定義的結(jié)構(gòu)化表示,例如學(xué)習(xí)房子、帳篷和拱的概念,構(gòu)造出這些概念定義的結(jié)構(gòu)化描述。

25、 系統(tǒng)的輸入是積木世界某物體(或景象)的線條圖, 使用語(yǔ)義網(wǎng)絡(luò)來(lái)表示該物體結(jié)構(gòu)化的描述。例如系統(tǒng)要學(xué)習(xí)拱橋概念, 就給學(xué)習(xí)程序輸入第一個(gè)拱橋示例,得到的描述如圖 9-6所示,這個(gè)結(jié)構(gòu)化的描述就是拱橋概念的定義。接著再向程序輸入第二個(gè)拱橋示例, 其描述如圖 9-7所示。這時(shí)學(xué)習(xí)程序可歸納出如圖 9-8所示的描述。,圖 9-6 第一個(gè)拱橋的語(yǔ)義網(wǎng)絡(luò),圖 9-7 第二個(gè)拱橋的語(yǔ)義網(wǎng)絡(luò),圖 9-8 學(xué)習(xí)程序歸納出的語(yǔ)義網(wǎng)絡(luò),圖 9

26、-9 拱橋概念的語(yǔ)義網(wǎng)絡(luò),例9.1 假設(shè)示例空間中有橋牌中“同花”概念的兩個(gè)示例： 示例1：花色(c1，梅花)∧花色(c2，梅花)∧花色(c3，梅花)∧花色(c4，梅花)→同花(c1，c2，c3，c4) 示例2：花色(c1，紅桃)∧花色(c2，紅桃)∧花色(c3，紅桃)∧花色(c4，紅桃)→同花(c1，c2，c3，c4) 花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花

27、色(c4，x)→同花(c1，c2，c3，c4),例9.2 假設(shè)示例空間存放有如下的三個(gè)示例： 示例1：(0，2，7) 示例2：(6，-1，10) 示例3：(-1，-5，-10) 這是三個(gè)3維向量，表示空間中的三個(gè)點(diǎn)?，F(xiàn)要求求出過(guò)這三點(diǎn)的曲線。 對(duì)于這個(gè)問(wèn)題可采用通常的曲線擬合技術(shù)，歸納出規(guī)則： (x，y，2x+3y+1)即z＝2x＋3

28、y＋1注：實(shí)際工作中，變量間未必都有線性關(guān)系，如服藥后血藥濃度與時(shí)間的關(guān)系；疾病療效與療程長(zhǎng)短的關(guān)系；毒物劑量與致死率的關(guān)系等常呈曲線關(guān)系。曲線擬合（curve fitting）是指選擇適當(dāng)?shù)那€類型來(lái)擬合觀測(cè)數(shù)據(jù)，并用擬合的曲線方程分析兩變量間的關(guān)系。,9.2.3 決策樹學(xué)習(xí)　　1．什么是決策樹　　決策樹(decision tree)也稱判定樹，它是由對(duì)象的若干屬性、屬性值和有關(guān)決策組成的一棵樹。其中的節(jié)點(diǎn)為屬性（一般為語(yǔ)言變量

29、），分枝為相應(yīng)的屬性值（一般為語(yǔ)言值）。從同一節(jié)點(diǎn)出發(fā)的各個(gè)分枝之間是邏輯“或”關(guān)系；根節(jié)點(diǎn)為對(duì)象的某一個(gè)屬性；從根節(jié)點(diǎn)到每一個(gè)葉子節(jié)點(diǎn)的所有節(jié)點(diǎn)和邊，按順序串連成一條分枝路徑，位于同一條分枝路徑上的各個(gè)“屬性-值”對(duì)之間是邏輯“與”關(guān)系，葉子節(jié)點(diǎn)為這個(gè)與關(guān)系的對(duì)應(yīng)結(jié)果，即決策。例如圖9-10就是一棵決策樹。其中，A, B, C代表屬性，ai, bj, ck代表屬性值，dl代表對(duì)應(yīng)的決策。處于同一層的屬性（如圖中的B, C）可能相同，也

30、可能不相同，所有葉子節(jié)點(diǎn)（如圖中的dl ，l=1,2,…, 6）所表示的決策中也可能有相同者。,由圖9-10不難看出，一棵決策樹上從根節(jié)點(diǎn)到每一個(gè)葉子節(jié)點(diǎn)的分枝路徑上的諸“屬性-值”對(duì)和對(duì)應(yīng)葉子節(jié)點(diǎn)的決策，剛好就構(gòu)成一個(gè)產(chǎn)生式規(guī)則：諸“屬性-值”對(duì)的合取構(gòu)成規(guī)則的前提，葉子節(jié)點(diǎn)的決策就是規(guī)則的結(jié)論。例如，圖9-10中從根節(jié)點(diǎn)A到葉子節(jié)點(diǎn)d2的這一條分枝路徑就構(gòu)成規(guī)則：(A= a1)∧(B = b2) => d2而不同分枝路徑所

31、表示的規(guī)則之間為析取關(guān)系。,圖9-10 決策樹示意圖,例9.3 　圖9-11所示是機(jī)場(chǎng)指揮臺(tái)關(guān)于飛機(jī)起飛的簡(jiǎn)單決策樹。,圖 9-11 飛機(jī)起飛的簡(jiǎn)單決策樹,例9.4 　圖9-12所示是一個(gè)描述“兔子”概念的決策樹。,圖 9-12 “兔子”概念的決策樹,2. 怎樣學(xué)習(xí)決策樹 決策樹是一種知識(shí)表示形式, 構(gòu)造決策樹可以由人來(lái)完成, 但也可以由機(jī)器從一些實(shí)例中總結(jié)、歸納出來(lái), 即由機(jī)器學(xué)習(xí)而得。 機(jī)器學(xué)習(xí)決策樹也就是所說(shuō)的決策樹

32、學(xué)習(xí)。 　　決策樹學(xué)習(xí)是一種歸納學(xué)習(xí)。由于一棵決策樹就表示了一組產(chǎn)生式規(guī)則, 因此決策樹學(xué)習(xí)也是一種規(guī)則學(xué)習(xí)。特別地, 當(dāng)規(guī)則是某概念的判定規(guī)則時(shí),這種決策樹學(xué)習(xí)也就是一種概念學(xué)習(xí)。,決策樹學(xué)習(xí)首先要有一個(gè)實(shí)例集。實(shí)例集中的實(shí)例都含有若干“屬性-值”對(duì)和一個(gè)相應(yīng)的決策、結(jié)果或結(jié)論。一個(gè)實(shí)例集中的實(shí)例要求應(yīng)該是相容的, 即相同的前提不能有不同的結(jié)論(當(dāng)然, 不同的前提可以有相同的結(jié)論)。對(duì)實(shí)例集的另一個(gè)要求是, 其中各實(shí)例的結(jié)論既不能

33、完全相同也不能完全不同, 否則該實(shí)例集無(wú)學(xué)習(xí)意義。,決策樹學(xué)習(xí)的基本方法和步驟是: 　　首先,選取一個(gè)屬性, 按這個(gè)屬性的不同取值對(duì)實(shí)例集進(jìn)行分類; 并以該屬性作為根節(jié)點(diǎn),以這個(gè)屬性的諸取值作為根節(jié)點(diǎn)的分枝, 進(jìn)行畫樹。 　　然后,考察所得的每一個(gè)子類, 看其中的實(shí)例的結(jié)論是否完全相同。如果完全相同, 則以這個(gè)相同的結(jié)論作為相應(yīng)分枝路徑末端的葉子節(jié)點(diǎn); 否則, 選取一個(gè)非父節(jié)點(diǎn)的屬性, 按這個(gè)屬性的不同取值對(duì)該子集進(jìn)行分類, 并

34、以該屬性作為節(jié)點(diǎn), 以這個(gè)屬性的諸取值作為節(jié)點(diǎn)的分枝, 繼續(xù)進(jìn)行畫樹。 如此繼續(xù),直到所分的子集全都滿足: 實(shí)例結(jié)論完全相同, 而得到所有的葉子節(jié)點(diǎn)為止。這樣, 一棵決策樹就被生成。下面我們進(jìn)一步舉例說(shuō)明。,表9.1 汽車駕駛保險(xiǎn)類別劃分實(shí)例集,可以看出,該實(shí)例集中共有12個(gè)實(shí)例,實(shí)例中的性別、年齡段和婚狀為3個(gè)屬性, 保險(xiǎn)類別就是相應(yīng)的決策項(xiàng)。為表述方便起見, 我們將這個(gè)實(shí)例集簡(jiǎn)記為,S={(1,C), (2,C), (3,C), (

35、4,B), (5,A), (6,A), (7,C), (8,B), (9,A), 　(10,A), (11,B), (12,B)},其中每個(gè)元組表示一個(gè)實(shí)例, 前面的數(shù)字為實(shí)例序號(hào), 后面的字母為實(shí)例的決策項(xiàng)保險(xiǎn)類別(下同)。另外, 為了簡(jiǎn)潔, 在下面的決策樹中我們用“小”、“中”、“大”分別代表“＜21”、 “≥21且≤25”、 “＞25”這三個(gè)年齡段。,顯然, S中各實(shí)例的保險(xiǎn)類別取值不完全一樣, 所以需要將S分類。對(duì)于S, 我們按

36、屬性“性別”的不同取值將其分類。 由表9.1可見, 這時(shí)S應(yīng)被分類為兩個(gè)子集:,S1= {(3,C), (4,B), (7,C), (8,B), (11,B), (12,B)}　S2={(1,C), (2,C), (5,A), (6,A), (9,A), (10,A)},于是, 我們得到以性別作為根節(jié)點(diǎn)的部分決策樹(見圖9-13(a))。,考察S1和S2，可以看出，在這兩個(gè)子集中，各實(shí)例的保險(xiǎn)類別也不完全相同。這就是說(shuō)，還需要對(duì)S1

37、和S2進(jìn)行分類。對(duì)于子集S1，我們按“年齡段”將其分類；同樣，對(duì)于子集S2，也按“年齡段”對(duì)其進(jìn)行分類（注意：對(duì)于子集S2，也可按屬性“婚狀”分類）。分別得到子集S11, S12, S13和S21, S22, S23。于是，我們進(jìn)一步得到含有兩層節(jié)點(diǎn)的部分決策樹（如圖9-13(b)所示）。,注意到，這時(shí)除了S12和S13外，其余子集中各實(shí)例的保險(xiǎn)類別已完全相同。所以，不需再對(duì)其進(jìn)行分類，而每一個(gè)子集中那個(gè)相同的保險(xiǎn)類別值就可作為相應(yīng)分枝

38、的葉子節(jié)點(diǎn)。添上這些葉子節(jié)點(diǎn)，我們又進(jìn)一步得到發(fā)展了的部分決策樹（如圖9-13(c)所示）。　　接著對(duì)S12和S13，按屬性“婚狀”進(jìn)行分類（也只能按“婚狀”進(jìn)行分類）。由于所得子集S121, S121和S131, S132中再都只含有一個(gè)實(shí)例，因此無(wú)需對(duì)它們?cè)龠M(jìn)行分類。這時(shí)這4個(gè)子集中各自唯一的保險(xiǎn)類別值也就是相應(yīng)分枝的葉子節(jié)點(diǎn)。添上這兩個(gè)葉子節(jié)點(diǎn)，就得到如圖9-13(d)所示的決策樹。,圖9-13 決策樹生成過(guò)程,圖9-13 決策

39、樹生成過(guò)程,圖9-13 決策樹生成過(guò)程,圖9-13 決策樹生成過(guò)程,由這個(gè)決策樹即得下面的規(guī)則集: ① 女性且年齡在25歲以上, 則給予A類保險(xiǎn)。② 女性且年齡在21歲到25歲之間, 則給予A類保險(xiǎn)。③ 女性且年齡在21歲以下, 則給予C類保險(xiǎn)。④ 男性且年齡在25歲以上, 則給予B類保險(xiǎn)。⑤ 男性且年齡在21歲到25歲之間且未婚, 則給予C類保險(xiǎn)。⑥ 男性且年齡在21歲到25歲之間且已婚, 則給予B類保險(xiǎn)。

40、⑦ 男性且年齡在21歲以下且未婚, 則給予C類保險(xiǎn)。⑧ 男性且年齡在21歲以下且已婚, 則給予B類保險(xiǎn)。,3. ID3算法 ID3算法是一個(gè)經(jīng)典的決策樹學(xué)習(xí)算法, 由Quinlan于1979年提出。 ID3算法的基本思想是, 以信息熵為度量, 用于決策樹節(jié)點(diǎn)的屬性選擇, 每次優(yōu)先選取信息量最多的屬性或者說(shuō)能使熵值變成最小的屬性, 以構(gòu)造一棵熵值下降最快的決策樹, 到葉子節(jié)點(diǎn)處的熵值為0。 此時(shí), 每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)的實(shí)例集中

41、的實(shí)例屬于同一類。,1) 信息熵和條件熵　　ID3算法將實(shí)例集視為一個(gè)離散的信息系統(tǒng),用信息熵(entropy of information)表示其信息量。實(shí)例集中實(shí)例的結(jié)論視為隨機(jī)事件, 而將諸屬性看做是加入的信息源。 　　設(shè)S是一個(gè)實(shí)例集(S也可以是子實(shí)例集),A為S中實(shí)例的一個(gè)屬性。H(S)和H(S|A)分別稱為實(shí)例集S的信息熵和條件熵, 其計(jì)算公式如下:,其中,μi(i=1, 2, …, n)為S中各實(shí)例所有可能的結(jié)論；

42、lb即log2。,(9-2),其中,ak(k=1, 2, …, m)為屬性A的取值, Sak為按屬性A對(duì)實(shí)例集S進(jìn)行分類時(shí)所得諸子類中與屬性值ak對(duì)應(yīng)的那個(gè)子類。,2) 基于條件熵的屬性選擇　　下面就是ID3算法中用條件熵指導(dǎo)屬性選擇的具體做法。 　　對(duì)于一個(gè)待分類的實(shí)例集S,先分別計(jì)算各可取屬性Aj(j=1, 2, …,l)的條件熵H(S|Aj), 然后取其中條件熵最小的屬性As作為當(dāng)前節(jié)點(diǎn)。 　　例如對(duì)于上例, 當(dāng)?shù)谝淮螌?duì)

43、實(shí)例集S進(jìn)行分類時(shí), 可選取的屬性有: 性別、年齡段和婚狀。 先分別計(jì)算S的條件熵。,按性別劃分, 實(shí)例集S被分為兩個(gè)子類:,S男 ={(3,C), (4,B), (7,C), (8,B), (11,B), (12,B)}　S女 ={(1,C), (2,C), (5,A), (6,A), (9,A), (10,A)},從而, 對(duì)子集S男而言,,對(duì)子集S女而言,,于是, 由公式(9-1)有:,又,將以上3式代入公式(9-2)得:,用同樣

44、的方法可求得:,可見, 條件熵H(S|性別)為最小,所以,應(yīng)取“性別”這一屬性對(duì)實(shí)例集進(jìn)行分類, 即以“性別”作為決策樹的根節(jié)點(diǎn)。,3) 決策樹學(xué)習(xí)的發(fā)展　　決策樹學(xué)習(xí)是一種很早就出現(xiàn)的歸納學(xué)習(xí)方法, 至今仍然在不斷發(fā)展。據(jù)文獻(xiàn)記載, 20世紀(jì)60年代初的“基本的感知器”(Elementary Perceiver and Memorizer, EPAM)中就使用了決策樹學(xué)習(xí)。 稍后的概念學(xué)習(xí)系統(tǒng)CLS則使用啟發(fā)式的前瞻方法來(lái)構(gòu)造決策

45、樹。 繼1979年的ID3算法之后, 人們又于1986、 1988年相繼提出了ID4和ID5算法。1993年J. R. Quinlan則進(jìn)一步將ID3發(fā)展成C4.5算法。另一類著名的決策樹學(xué)習(xí)算法稱為CART(Classification and Regression Trees)。,9.2.4 演繹學(xué)習(xí)　　演繹學(xué)習(xí)是基于演繹推理的一種學(xué)習(xí)。 演繹推理是一種保真變換， 即若前提真則推出的結(jié)論也真。 在演繹學(xué)習(xí)中， 學(xué)習(xí)系統(tǒng)由給定的知

46、識(shí)進(jìn)行演繹的保真推理， 并存儲(chǔ)有用的結(jié)論。 例如， 當(dāng)系統(tǒng)能證明A→B且B→C， 則可得到規(guī)則A→C， 那么以后再要求證C， 就不必再通過(guò)規(guī)則A→B和B→C去證明， 而直接應(yīng)用規(guī)則A→C即可。 演繹學(xué)習(xí)包括知識(shí)改造、 [JP3]知識(shí)編譯、 產(chǎn)生宏操作、 保持等價(jià)的操作和其他保真變換。 演繹學(xué)習(xí)及幾年才作為獨(dú)立的學(xué)習(xí)策略。,9.2.5 類比學(xué)習(xí)　　這是一種基于類比推理的學(xué)習(xí)方法。 具體來(lái)講, 就是尋找和利用事物間可類比的關(guān)系, 而從已

47、有的知識(shí)推導(dǎo)出未知的知識(shí)。例如, 學(xué)生在做練習(xí)時(shí), 往往在例題和習(xí)題之間進(jìn)行對(duì)比, 企圖發(fā)現(xiàn)相似之處, 然后利用這種相似關(guān)系解決習(xí)題中的問(wèn)題。 　　類比學(xué)習(xí)的過(guò)程包括以下主要步驟:  (1) 回憶與聯(lián)想, 即當(dāng)遇到新情況或新問(wèn)題時(shí),先通過(guò)回憶與聯(lián)想, 找出與之相似的已經(jīng)解決了的有關(guān)問(wèn)題, 以獲得有關(guān)知識(shí)。,(2) 建立對(duì)應(yīng)關(guān)系, 即建立相似問(wèn)題知識(shí)和求解問(wèn)題之間的對(duì)應(yīng)關(guān)系, 以獲得求解問(wèn)題的知識(shí)。 (3) 驗(yàn)

48、證與歸納, 即檢驗(yàn)所獲知識(shí)的有效性, 如發(fā)現(xiàn)有錯(cuò), 就重復(fù)上述步驟進(jìn)行修正, 直到獲得正確的知識(shí)。對(duì)于正確的知識(shí), 經(jīng)過(guò)推廣、 歸納等過(guò)程取得一般性知識(shí)。,例如, 設(shè)對(duì)象的知識(shí)是用框架集來(lái)表示, 則類比學(xué)習(xí)可描述為把原框架中若干個(gè)槽的值傳遞給另一個(gè)目標(biāo)框架的一些槽中, 這種傳遞分兩步進(jìn)行:  (1) 利用原框架產(chǎn)生若干個(gè)候選的槽, 這些槽值準(zhǔn)備傳遞到目標(biāo)框架中。　 (2) 利用目標(biāo)框架中現(xiàn)有的信息來(lái)篩選第一步提出來(lái)

49、的某些相似性。,,9.3 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),9.3.1　生物神經(jīng)元 這里的神經(jīng)元指神經(jīng)細(xì)胞, 它是生物神經(jīng)系統(tǒng)的最基本的單元, 其基本結(jié)構(gòu)如圖9-14 所示?？梢钥闯?神經(jīng)元由細(xì)胞體、 樹突和軸突組成。細(xì)胞體是神經(jīng)元的主體, 它由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分構(gòu)成。從細(xì)胞體向外延伸出許多突起, 其中大部分突起呈樹狀, 稱為樹突。樹突起感受作用, 接受來(lái)自其他神經(jīng)元的傳遞信號(hào)；另外, 由細(xì)胞體伸出的一條最長(zhǎng)的突起, 用來(lái)傳出細(xì)胞體產(chǎn)生

50、的輸出信號(hào), 稱之為軸突；軸突末端形成許多細(xì)的分枝, 叫做神經(jīng)末梢；每一條神經(jīng)末梢可以與其他神經(jīng)元形成功能性接觸, 該接觸部位稱為突觸。所謂功能性接觸是指并非永久性接觸, 它是神經(jīng)元之間信息傳遞的奧秘之處。,圖 9-14 生物神經(jīng)元的基本結(jié)構(gòu),9.3.2　人工神經(jīng)元　　如果我們對(duì)生物神經(jīng)元作以適當(dāng)?shù)慕Y(jié)構(gòu)簡(jiǎn)化和功能抽象，就得到所謂的人工神經(jīng)元。 一般地，人工神經(jīng)元的結(jié)構(gòu)模型如圖9―8所示。它是一個(gè)多輸入單輸出的非線性閾值器件。其中x1

51、，x2，…xn表示神經(jīng)元的n個(gè)輸入信號(hào)量；w1，w2，…，wn表示對(duì)應(yīng)輸入的權(quán)值，它表示各信號(hào)源神經(jīng)元與該神經(jīng)元的連接強(qiáng)度；A表示神經(jīng)元的輸入總和，它相應(yīng)于生物神經(jīng)細(xì)胞的膜電位，稱為激活函數(shù)；y為神經(jīng)元的輸出；θ表示神經(jīng)元的閾值。于是, 人工神經(jīng)元的輸入、 輸出關(guān)系可描述為：,圖 9-15 人工神經(jīng)元結(jié)構(gòu)模型,1. 閾值型,2. S型,這類函數(shù)的輸入－輸出特性多采用指數(shù)、對(duì)數(shù)或雙曲正切等S型函數(shù)表示。例如:,S型特性函數(shù)反映了神經(jīng)元的非

52、線性輸出特性。,3.分段線性型 神經(jīng)元的輸入－輸出特性滿足一定的區(qū)間線性關(guān)系，其特性函數(shù)表達(dá)為,式中, K、Ak均表示常量。,,以上三種特性函數(shù)的圖像依次如圖 9-16(a)、(b)、(c)所示。由于特性函數(shù)的不同, 神經(jīng)元也就分為閾值型、S型和分段線性型三類。另外, 還有一類概率型神經(jīng)元, 它是一類二值型神經(jīng)元。與上述三類神經(jīng)元模型不同, 其輸出狀態(tài)為0或1是根據(jù)激勵(lì)函數(shù)值的大小, 按照一定的概率確定的。 例如, 一種稱

53、為波爾茨曼機(jī)神經(jīng)元就屬此類。,圖 9-16 神經(jīng)元特性函數(shù),9.3.3 神經(jīng)網(wǎng)絡(luò)　　1. 分層前向網(wǎng)絡(luò) 分層前向網(wǎng)絡(luò)如圖 9-17(a)所示。這種網(wǎng)絡(luò)的結(jié)構(gòu)特征是,網(wǎng)絡(luò)由若干層神經(jīng)元組成, 一般有輸入層、中間層(又稱隱層, 可有一層或多層)和輸出層,各層順序連接；且信息嚴(yán)格地按照從輸入層進(jìn),經(jīng)過(guò)中間層, 從輸出層出的方向流動(dòng)。前向便因此而得名。其中輸入層是網(wǎng)絡(luò)與外部環(huán)境的接口,它接受外部輸入；隱層是網(wǎng)絡(luò)的內(nèi)部處理層,神經(jīng)網(wǎng)

54、絡(luò)具有的模式變換能力,如模式分類、模式完善、特征抽取等, 主要體現(xiàn)在隱層神經(jīng)元的處理能力上；輸出層是網(wǎng)絡(luò)的輸出接口, 網(wǎng)絡(luò)信息處理結(jié)果由輸出層向外輸出。如后面將要介紹的BP網(wǎng)絡(luò)就是一種典型的分層前向網(wǎng)絡(luò)。,2. 反饋前向網(wǎng)絡(luò) 反饋前向網(wǎng)絡(luò)如圖 9-17(b)所示。 它也是一種分層前向網(wǎng)絡(luò), 但它的輸出層到輸入層具有反饋連接。反饋的結(jié)果形成封閉環(huán)路, 具有反饋的單元也稱為隱單元, 其輸出稱為內(nèi)部輸出。,3. 互連前向網(wǎng)絡(luò)

55、 互連前向網(wǎng)絡(luò)如圖 9-17(c)所示。 它也是一種分層前向網(wǎng)絡(luò), 但它的同層神經(jīng)元之間有相互連接。 同一層內(nèi)單元的相互連接使它們之間有彼此牽制作用。 　　4. 廣泛互連網(wǎng)絡(luò)　　所謂廣泛互連是指網(wǎng)絡(luò)中任意兩個(gè)神經(jīng)元之間都可以或可能是可達(dá)的, 即存在連接路徑,廣泛互連網(wǎng)絡(luò)如圖9-17(d)所示。 著名的Hopfield網(wǎng)絡(luò)、波爾茨曼機(jī)模型結(jié)構(gòu)均屬此類。,圖 9-17 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型,神經(jīng)網(wǎng)絡(luò)至少可以實(shí)現(xiàn)如下功能：　　——

56、數(shù)學(xué)上的映射逼近 通過(guò)一組映射樣本(x1, y1), (x2,y2), …, (xn, yn), 網(wǎng)絡(luò)以自組織方式尋找輸入與輸出之間的映射關(guān)系：yi=f(xi)。這種映射逼近能力可用于系統(tǒng)建模、 模式識(shí)別與分類等。具有這種能力的典型網(wǎng)絡(luò)有BP網(wǎng)絡(luò)等。 　 ——數(shù)據(jù)聚類、壓縮 通過(guò)自組織方式對(duì)所選輸入模式聚類。 若輸入模式不屬于已有的聚類, 則可以產(chǎn)生新的聚類。同一聚類可對(duì)應(yīng)于多個(gè)輸入模式；另外,聚類是可變的。這是一種編碼形式

57、, 而不同于分類。典型的網(wǎng)絡(luò)如ART模型,其應(yīng)用如語(yǔ)音識(shí)別中用來(lái)減小輸入的維數(shù), 減小存儲(chǔ)數(shù)據(jù)的位數(shù)等。,——聯(lián)想記憶 實(shí)現(xiàn)模式完善、恢復(fù),相關(guān)模式的相互回憶等。典型的如Hopfield網(wǎng)絡(luò)、CPN網(wǎng)絡(luò)等。  ——優(yōu)化計(jì)算和組合優(yōu)化問(wèn)題求解 利用神經(jīng)網(wǎng)絡(luò)的漸進(jìn)穩(wěn)定態(tài), 特別是反饋網(wǎng)絡(luò)的穩(wěn)定平衡態(tài), 進(jìn)行優(yōu)化計(jì)算或求解組合優(yōu)化問(wèn)題的近似最優(yōu)解。像Hopfield網(wǎng)絡(luò)、波爾茨曼機(jī)等均有此能力。,——模式分類 現(xiàn)有的大多數(shù)神經(jīng)網(wǎng)絡(luò)模

58、型都有這種分類能力。大多數(shù)網(wǎng)絡(luò)必須首先對(duì)樣本模式能夠進(jìn)行分類,即要離線學(xué)習(xí), 像BP網(wǎng)、CPN網(wǎng)、Hopfield網(wǎng)、新認(rèn)知機(jī)等。 　 ——概率密度函數(shù)的估計(jì) 根據(jù)給定的概率密度函數(shù), 通過(guò)自組織網(wǎng)絡(luò)來(lái)響應(yīng)在空間Rn中服從這一概率分布的一組向量樣本X1, X2, …, Xk。像波爾茨曼機(jī)模型、CPN 網(wǎng)、SOM網(wǎng)就有這種能力。,9.3.4　神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)　　1. 學(xué)習(xí)規(guī)則 權(quán)值修正學(xué)派認(rèn)為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是不

59、斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值,以獲得期望的輸出的過(guò)程。所以,學(xué)習(xí)規(guī)則就是權(quán)值修正規(guī)則。  典型的權(quán)值修正規(guī)則有兩種,即相關(guān)規(guī)則和誤差修正規(guī)則。 相關(guān)規(guī)則的思想最早是由Hebb作為假設(shè)提出, 人們稱之為Hebb規(guī)則。,Hebb規(guī)則可以描述為：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài),那么這兩個(gè)神經(jīng)元之間的連接強(qiáng)度應(yīng)該加強(qiáng)。Hebb規(guī)則可用一算法表達(dá)式表示為,式中,Wij(t＋1)表示修正一次后的某一權(quán)值；η是一

60、個(gè)正常量, 決定每次權(quán)值修正量,又稱為學(xué)習(xí)因子；Xi(t)Xj(t)分別表示t時(shí)刻第i、第j個(gè)神經(jīng)元的狀態(tài)。由于Hebb 規(guī)則的基本思想很容易被接受, 因此得到了較廣泛的應(yīng)用。 但應(yīng)該指出的是, 近來(lái)神經(jīng)科學(xué)的許多發(fā)現(xiàn)都表明,Hebb規(guī)則并未準(zhǔn)確反映神經(jīng)元在學(xué)習(xí)過(guò)程中突觸變化的基本規(guī)律。,誤差修正規(guī)則是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中另一類更重要的權(quán)值修正方法,像感知機(jī)學(xué)習(xí)、BP學(xué)習(xí)均屬此類。最基本的誤差修正規(guī)則,即常說(shuō)的δ學(xué)習(xí)規(guī)則, 可由如下四步來(lái)描述

61、： 　　步1 選擇一組初始權(quán)值Wij(0)。 步2 計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差。 　 步3 用下式更新權(quán)值(閾值可視為輸入恒為-1的一個(gè)權(quán)值),Wij(t＋1)=Wij(t)＋η［dj－yj(t)］xi(t),2. 學(xué)習(xí)方法分類 從不同角度考慮, 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有不同的分類。 表 9.2列出了常見的幾種分類情況。,表 9.2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的常見分類,一般地, 提供給神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的

62、外部指導(dǎo)信息越多, 神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)并掌握的知識(shí)也越多, 解決問(wèn)題的能力就越強(qiáng)。 但是, 有時(shí)神經(jīng)網(wǎng)絡(luò)所要解決的問(wèn)題預(yù)知的指導(dǎo)信息甚少, 甚至沒(méi)有, 在這種情況下強(qiáng)化學(xué)習(xí)、 無(wú)導(dǎo)師學(xué)習(xí)就顯得更有實(shí)際意義。,從神經(jīng)網(wǎng)絡(luò)內(nèi)部狀態(tài)變化的角度來(lái)分, 學(xué)習(xí)技術(shù)分為三種,即權(quán)值修正、拓?fù)渥兓?、?quán)值與拓?fù)湫拚１緯鴥H簡(jiǎn)單介紹權(quán)值修正學(xué)習(xí)。補(bǔ)充學(xué)習(xí)就是一種拓?fù)渥兓瘜W(xué)習(xí)。在補(bǔ)充學(xué)習(xí)中, 神經(jīng)網(wǎng)絡(luò)由兩類處理單元組成： 受約單元和自由單元。 所謂受約單元指那些已

63、經(jīng)表示某類信息或功能的單元, 它可以與其他受約單元相連, 也可以與自由單元組成一種原始的神經(jīng)網(wǎng)絡(luò)。補(bǔ)充學(xué)習(xí)強(qiáng)調(diào)一組受約單元與自由單元之間的連接, 自由單元可以轉(zhuǎn)化為受約單元。由此可見, 自由單元的網(wǎng)絡(luò)中可能嵌有受約單元的子網(wǎng)絡(luò)。,9.3.5 BP網(wǎng)絡(luò)及其學(xué)習(xí)舉例 BP(BackPropagation)網(wǎng)絡(luò)即誤差反向傳播網(wǎng)絡(luò)是應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò)模型。 (1) BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為分層前向網(wǎng)絡(luò)。　 (2)

64、神經(jīng)元的特性函數(shù)為Sigmoid型(S型)函數(shù), 一般取為,(3) 輸入為連續(xù)信號(hào)量(實(shí)數(shù))。 (4) 學(xué)習(xí)方式為有導(dǎo)師學(xué)習(xí)。 　 (5) 學(xué)習(xí)算法為推廣的δ學(xué)習(xí)規(guī)則, 稱為誤差反向傳播算法, 簡(jiǎn)稱BP學(xué)習(xí)算法。,BP算法的一般步驟如下： 　　步1 初始化網(wǎng)絡(luò)權(quán)值、 閾值及有關(guān)參數(shù)(如學(xué)習(xí)因子η等)。 　步2 計(jì)算總誤差,其中p為樣本的個(gè)數(shù),,(9-3),其中ykj為輸出層節(jié)點(diǎn)j對(duì)第k個(gè)樣本的輸入對(duì)應(yīng)的

65、輸出（稱為期望輸出），ykj′為節(jié)點(diǎn)j的實(shí)際輸出。,步3 對(duì)樣本集中各個(gè)樣本依次重復(fù)以下過(guò)程，然后轉(zhuǎn)步2?！　∈紫龋∫粯颖緮?shù)據(jù)輸入網(wǎng)絡(luò)，然后按如下公式向前計(jì)算各層節(jié)點(diǎn)(記為j)的輸出：,其中,是節(jié)點(diǎn)j的輸入加權(quán)和；i為j的信號(hào)源方向的相鄰層節(jié)點(diǎn), Oi為節(jié)點(diǎn)i的輸出,節(jié)點(diǎn)j 的輸入； O0＝-1, w0j＝θ(閾值)。,其次，從輸出層節(jié)點(diǎn)到輸入層節(jié)點(diǎn)以反向順序，對(duì)各連接權(quán)值wij按下面的公式進(jìn)行修正：,(9-4),其中,l

66、為與節(jié)點(diǎn)j在輸出側(cè)有連接的節(jié)點(diǎn)個(gè)數(shù)。,算法中的δj稱為節(jié)點(diǎn)j的誤差。它的來(lái)歷如下:,于是, 令,又當(dāng)j為輸出節(jié)點(diǎn)時(shí),當(dāng)j為中間節(jié)點(diǎn)時(shí),可以看出，(9―1)式中Ek是網(wǎng)絡(luò)輸出ykj′ (j=1，2，…，n)的函數(shù)，而ykj′又是權(quán)值wij的函數(shù)，所以，Ek實(shí)際是wij的函數(shù)。網(wǎng)絡(luò)學(xué)習(xí)的目的就是要使這個(gè)誤差函數(shù)達(dá)到最小值。(9―2)式及δ的定義，就是用梯度下降法，在權(quán)值空間沿負(fù)梯度方向調(diào)整權(quán)值wij，以使(9―1)式所示的準(zhǔn)則函數(shù)達(dá)到最小

67、。所以，BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是一個(gè)非線性優(yōu)化過(guò)程。,例9.5 設(shè)計(jì)一個(gè)BP網(wǎng)絡(luò), 對(duì)表9.3所示的樣本數(shù)據(jù)進(jìn)行學(xué)習(xí), 使學(xué)成的網(wǎng)絡(luò)能解決類似的模式分類問(wèn)題。,表 9.3 網(wǎng)絡(luò)訓(xùn)練樣本數(shù)據(jù),圖 9-18 BP網(wǎng)絡(luò)舉例,用樣本數(shù)據(jù)按BP算法對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練結(jié)束后, 網(wǎng)絡(luò)就可作為一種模式分類器使用。因?yàn)榫W(wǎng)絡(luò)的輸出向量(1, 0, 0)、 (0, 1, 0)、(0, 0, 1)可以表示多種模式或狀態(tài)。如可以分別表示凸、凹和直三種曲線,

68、或者三種筆劃, 也可以表示某公司的銷售情況：高峰、低谷和持平等等。當(dāng)然,要使網(wǎng)絡(luò)有很好的模式分類能力, 必須給以足夠多的樣例使其學(xué)習(xí), 本例僅是一個(gè)簡(jiǎn)單的示例。,9.3.6　神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)模型是一個(gè)在神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用中經(jīng)常提到的概念。所謂神經(jīng)網(wǎng)絡(luò)模型,它是關(guān)于一個(gè)神經(jīng)網(wǎng)絡(luò)的綜合描述和整體概念,包括網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、輸入輸出信號(hào)類型、 信息傳遞方式、神經(jīng)元特性函數(shù)、學(xué)習(xí)方式、學(xué)習(xí)算法等等。 　截止目前, 人們已