委員會機(jī)器的研究.pdf

1、神經(jīng)網(wǎng)絡(luò)的研究自從上世紀(jì)80年代起引起了人們的高度重視，其應(yīng)用范圍廣泛，涉及模式識別、函數(shù)逼近、智能控制、數(shù)據(jù)挖掘和知識發(fā)現(xiàn)等諸多領(lǐng)域，取得了可喜的成績。但在應(yīng)用中，尤其在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面還面臨著一系列的問題，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)、過學(xué)習(xí)與欠學(xué)習(xí)、知識增量學(xué)習(xí)等。這些問題嚴(yán)重影響著神經(jīng)網(wǎng)絡(luò)的整體性能。如何解決神經(jīng)網(wǎng)絡(luò)面臨的問題，建立有效的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)制是神經(jīng)網(wǎng)絡(luò)應(yīng)用迫切需要解決的課題。 基于微分幾何、信息論、統(tǒng)計學(xué)的信息幾何理

2、論，以及將自然界中的進(jìn)化過程引入工程研究領(lǐng)域以解決工程中優(yōu)化問題的進(jìn)化計算理論是研究非結(jié)構(gòu)化、非線性空間更合理的方法和手段。以應(yīng)用這些理論為代表的整體結(jié)構(gòu)的研究是人工神經(jīng)網(wǎng)絡(luò)發(fā)展的重要方向和突破點(diǎn)之一。 本文主要以信息幾何理論和進(jìn)化計算理論為基礎(chǔ)，對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的幾個關(guān)鍵問題如模型選擇、學(xué)習(xí)準(zhǔn)則及增量學(xué)習(xí)問題做了研究，提出了基于廣義KL距離和幾何曲率的模型選擇準(zhǔn)則；給出了一個一般意義上的后驗委員會機(jī)器體系結(jié)構(gòu)及對應(yīng)的學(xué)習(xí)準(zhǔn)則；

3、提出了具有增量學(xué)習(xí)能力和對個體進(jìn)行優(yōu)化選擇的混合委員會機(jī)器構(gòu)造算法；最后利用進(jìn)化計算、Boosting算法和負(fù)相關(guān)學(xué)習(xí)來構(gòu)造委員會機(jī)器的優(yōu)化算法。 主要創(chuàng)新工作有： 1、提出了一種基于流形上的廣義KL距離和幾何曲率的模型選擇準(zhǔn)則KLCIC，并給出了理論分析與實驗驗證。該準(zhǔn)則利用模型流形的內(nèi)在幾何特性及模型流形與數(shù)據(jù)流形的幾何位置關(guān)系來評價模型的擬合度，而用模型的幾何曲率來衡量模型的固有復(fù)雜度，它們具有參數(shù)表示不變性的特點(diǎn)

4、，賦予了復(fù)雜度與擬合度清晰的幾何意義，為基于數(shù)據(jù)的模型選擇提供了理論上的支持，實驗結(jié)果也證實了準(zhǔn)則的可行性與有效性。 2、分析委員會機(jī)器學(xué)習(xí)準(zhǔn)則的選擇與逼近、自適應(yīng)性和競爭性的緊密關(guān)系，通過最小化后驗分布間的KL距離，給出了一個一般意義上的后驗委員會機(jī)器體系結(jié)構(gòu)及對應(yīng)的學(xué)習(xí)準(zhǔn)則。實驗結(jié)果證明了方法的可行性與有效性。 3、在深入分析Learn++的基礎(chǔ)上，盡可能地在不使用原有數(shù)據(jù)樣本的情況下，通過嵌入自生長的動態(tài)委員會機(jī)器