增量學(xué)習(xí)及其在圖像識(shí)別中的應(yīng)用.pdf

1、我們生活在一個(gè)信息爆炸的時(shí)代，增量學(xué)習(xí)成為處理這些每天都在增加的信息的唯一手段。同時(shí)，隨著并行計(jì)算技術(shù)的發(fā)展，基于模塊化的、并行的增量學(xué)習(xí)算法成為一個(gè)新的研究方向。高斯零交叉函數(shù)最小最大模塊化網(wǎng)絡(luò)(M3-GZC)正是一種具有模塊化結(jié)構(gòu)、并行計(jì)算能力和增量學(xué)習(xí)能力的分類器。然而，M3-GZC網(wǎng)絡(luò)的模塊數(shù)量是樣本數(shù)量的平方級(jí)別，導(dǎo)致了平方級(jí)別的時(shí)間復(fù)雜度和空間復(fù)雜度，限制了M3-GZC網(wǎng)絡(luò)在大規(guī)模問題中的應(yīng)用。另一方面，M3-GZC網(wǎng)絡(luò)的增

2、量學(xué)習(xí)能力是建立在完全實(shí)例空間的，這導(dǎo)致了過高的存儲(chǔ)空間需求，影響了分類精度。本文通過對(duì)M3-GZC網(wǎng)絡(luò)的深入分析，提出了去除冗余模塊算法和新的增量學(xué)習(xí)算法，并將它們成功應(yīng)用到工業(yè)圖像故障檢測(cè)、性別識(shí)別、手寫體輸入識(shí)別等圖像識(shí)別問題中去。本文的主要貢獻(xiàn)在以下幾個(gè)方面。 1)本文分析了M3-GZC網(wǎng)絡(luò)的特點(diǎn)：高度的模塊化結(jié)構(gòu)、一定的增量學(xué)習(xí)能力、學(xué)習(xí)的收斂性以及具有給出“不知道”輸出的能力。為了更好地理解M3-GZC網(wǎng)絡(luò)，本文討論

3、了它與兩種常用模型--最近鄰算法以及徑向基函數(shù)網(wǎng)絡(luò)的關(guān)系。 2)本文通過對(duì)M3-GZC網(wǎng)絡(luò)接收域特點(diǎn)的分析，提出了一種M3-GZC網(wǎng)絡(luò)的結(jié)構(gòu)修剪算法，去除冗余模塊，從而減少存儲(chǔ)空間需求，加快響應(yīng)速度。本文在一些公共數(shù)據(jù)集上驗(yàn)證了該修剪算法的有效性，并將它成功地應(yīng)用到一個(gè)工業(yè)圖像故障檢測(cè)項(xiàng)目。 3)為了將M3-GZC網(wǎng)絡(luò)的增量學(xué)習(xí)能力從基于完全的實(shí)例空間轉(zhuǎn)變?yōu)榛诓糠值膶?shí)例空間，本文提出了高門限增量檢測(cè)算法和有監(jiān)督的增量聚

4、類算法。前者可以有選擇地學(xué)習(xí)新樣本中的代表性樣本，并能對(duì)已經(jīng)訓(xùn)練好的M3-GZC網(wǎng)絡(luò)進(jìn)一步去除冗余樣本。后者則在學(xué)習(xí)過程中將訓(xùn)練樣本進(jìn)行聚類。這兩種算法使得M3-GZC網(wǎng)絡(luò)具有了真正意義上的增量學(xué)習(xí)能力。 4)為了進(jìn)一步提高M(jìn)3-GZC網(wǎng)絡(luò)的增量學(xué)習(xí)能力，本文從概念空間學(xué)習(xí)的角度，提出了層式支持向量機(jī)。它的主要思想是利用先驗(yàn)知識(shí)，將大規(guī)模復(fù)雜問題分解為若干子問題，然后分別求解這些子問題。測(cè)試時(shí)，首先判斷測(cè)試樣本屬于哪個(gè)子問題，然

5、后由該子問題對(duì)應(yīng)的分類器決定輸出。在層式支持向量機(jī)的基礎(chǔ)之上，通過合并實(shí)例空間與概念空間，本文提出了基于M3-GZC網(wǎng)絡(luò)和支持向量機(jī)的增量學(xué)習(xí)算法。它根據(jù)每個(gè)訓(xùn)練數(shù)據(jù)子集建立對(duì)應(yīng)的支持向量機(jī)，同時(shí)不斷更新M3-GZC網(wǎng)絡(luò)。測(cè)試時(shí)，首先由M3-GZC網(wǎng)絡(luò)判斷測(cè)試樣本屬于哪些訓(xùn)練子問題，然后通過概率合并對(duì)應(yīng)支持向量機(jī)的輸出，給出最終結(jié)果。本文成功地將上述兩種算法應(yīng)用到多角度性別識(shí)別、手寫體輸入識(shí)別等領(lǐng)域。 5)為了更好地將增量學(xué)習(xí)算

6、法應(yīng)用到圖像識(shí)別領(lǐng)域，本文提出了多尺度邊緣增強(qiáng)的圖像預(yù)處理方法和自適應(yīng)圖像歐氏距離的圖像相似性測(cè)量方法。由于在圖像中，邊緣通常反應(yīng)圖像的形狀和結(jié)構(gòu)，而非邊緣部分通常受照明的影響產(chǎn)生灰度的變化。因此，本文提出一種多尺度邊緣增強(qiáng)算法，它可以在圖像的預(yù)處理階段強(qiáng)化邊緣信息，去除噪聲、光照的影響。另一方面，在圖像的相似性測(cè)量中，常用的歐氏距離忽略了圖像結(jié)構(gòu)，并不能正確表達(dá)圖像間的距離。本文提出的自適應(yīng)圖像歐氏距離則考慮了像素之間的幾何相關(guān)性和灰