增量機器學(xué)習(xí)算法研究——基于模糊神經(jīng)網(wǎng)絡(luò)的增量學(xué)習(xí).pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，許多應(yīng)用領(lǐng)域獲取新的數(shù)據(jù)變得很容易。但是對于傳統(tǒng)的批量學(xué)習(xí)技術(shù)來說，如何從日益增加的新數(shù)據(jù)中得到有用信息是一個難題。隨著數(shù)據(jù)規(guī)模的不斷增加，對時間和空間的需求也會迅速增加，最終會導(dǎo)致學(xué)習(xí)的速度趕不上數(shù)據(jù)更新的速度。機器學(xué)習(xí)是一個解決此問題的有效方法。然而傳統(tǒng)的機器學(xué)習(xí)是批量學(xué)習(xí)方式，需要在進行學(xué)習(xí)之前，準備好所有的數(shù)據(jù)。為了能滿足在線學(xué)習(xí)的需求，需要拋棄以前的學(xué)習(xí)結(jié)果，重新訓(xùn)練和學(xué)習(xí)，這對時間和空間的需求都很高，因此，迫

2、切需要研究增量學(xué)習(xí)方法，可以漸進的進行知識更新，且能修正和加強以前的知識，使得更新后的知識能適應(yīng)新增加的數(shù)據(jù)。
　　 本文分別對奇異值分解和模糊神經(jīng)網(wǎng)絡(luò)的增量學(xué)習(xí)進行了深入地研究和探討，主要工作及貢獻如下:
　　 1.提出無協(xié)方差的增量奇異值分解
　　 傳統(tǒng)的奇異值分解(Singular Value Decomposition:SVD)采用批量計算方法，需要在計算之前將所有數(shù)據(jù)準備好，因此無法滿足在線處理需求。本

3、文提出了一種無協(xié)方差奇異值分解（Candid Covariance Incremental Singular Value Decomposition: CCISVD）方法。該方法通過當前樣本估計樣本協(xié)方差陣，提出了從順序到達的樣本中增量求取協(xié)方差陣的第一個特征向量的方法，從而避免了樣本協(xié)方差陣的求解，從理論和直觀上分析了該方法的可行性。在求解其他特征值的過程中，從當前估計的特征向量的補空間中尋找樣本，從而始終保證了求取的特征向量的正交性

4、，節(jié)約了時間和空間成本。
　　 2.提出免修剪連續(xù)增量學(xué)習(xí)模糊神經(jīng)網(wǎng)絡(luò)模型
　　 模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)識別很耗時。為了避免產(chǎn)生冗余規(guī)則，通過把修剪策略引入模糊規(guī)則的增加過程來提高學(xué)習(xí)效率，本文提出一種免修剪增量連續(xù)學(xué)習(xí)算法，利用誤差下降率，來定義規(guī)則對系統(tǒng)的輸出貢獻，作為規(guī)則的增長標準，從而在規(guī)則的增長過程中避免產(chǎn)生冗余規(guī)則。同時，由于計算規(guī)則對系統(tǒng)的輸出貢獻是根據(jù)當前輸入數(shù)據(jù)，從而實現(xiàn)了增量學(xué)習(xí)。
　　 3.提出

5、優(yōu)化修剪的增量極速學(xué)習(xí)模糊神經(jīng)網(wǎng)絡(luò)算法
　　 ELM（Extreme Learning Machine）是為訓(xùn)練單層前饋人工神經(jīng)網(wǎng)絡(luò)（Singular Layer Fuzzy Neural，SLFNs）的一個簡單而有效的學(xué)習(xí)算法，該網(wǎng)絡(luò)的神經(jīng)元隨機產(chǎn)生。理論和實驗都表明ELM準確而快速。為了能實現(xiàn)在線增量學(xué)習(xí)，本文對ELM進行了擴展。該算法中，模糊規(guī)則的前件參數(shù)和初始規(guī)則數(shù)量隨機產(chǎn)生，然后使用SVD對規(guī)則按照重要性排序，通過留一

6、法(Leave-One-Out; LOO)選擇出最佳的模糊規(guī)則數(shù)，最后模糊規(guī)則的后件參數(shù)通過基于風(fēng)險最小化分析計算得出。仿真實驗結(jié)果表明，與其他算法相比有較好的魯棒性，在準確率和計算速度上都具有優(yōu)勢。
　　 4.提出基于規(guī)則影響的自適應(yīng)增量模糊神經(jīng)網(wǎng)絡(luò)模型
　　 在模糊神經(jīng)網(wǎng)絡(luò)中，一個模糊規(guī)則可能初始時比較活躍，之后慢慢變得對系統(tǒng)的貢獻很小。本文提出一種基于規(guī)則影響的增量學(xué)習(xí)模糊神經(jīng)網(wǎng)絡(luò)(Self Adaptive In

7、cremental Learning-Fuzzy Neural Network)，引入模糊規(guī)則影響的概念，基于當前數(shù)據(jù)計算模糊規(guī)則對系統(tǒng)輸出的影響，作為模糊規(guī)則增長或刪除的標準。并且將規(guī)則的增長標準同系統(tǒng)的準確性聯(lián)系起來，只有該模糊規(guī)則對系統(tǒng)的貢獻值大于某個閾值，才考慮增加一條新規(guī)則，同時還檢測已有規(guī)則庫中規(guī)則對系統(tǒng)的影響值，如果低于某個閾值，說明該規(guī)則已經(jīng)變得不再活躍，則刪除該規(guī)則。無論是新增規(guī)則還是已有規(guī)則都通過擴展的卡爾曼算法更新

8、參數(shù)。通過仿真實驗表明該方法能獲得比其他高代價的技術(shù)更簡單的結(jié)構(gòu)、更短的訓(xùn)練時間和較好的泛化性能。
　　 5.基于增量模糊神經(jīng)網(wǎng)絡(luò)和小波的人臉識別
　　 為了能提高樣本質(zhì)量從而提高識別準確率，本文提出一種新的提取人臉圖像特征的方法。首先使用Harr小波對人臉進行分解，小波變換后的高頻部分是人臉很重要的特征，這部分將作為人臉特征向量保存起來。然后使用Fisher線性鑒別分析(Fisher Linear Discrimina