基于序列數(shù)據獲取的改進極限學習機算法研究.pdf

1、標準極限學習機擁有訓練時間短，擬合效果好，泛化性能優(yōu)，算法簡單等優(yōu)點。但標準極限學習機屬于批量處理模型，在對網絡模型進行訓練時，需要將訓練數(shù)據同時進行處理。而在現(xiàn)實生活的應用中，訓練數(shù)據一般是批量形式獲得的。在線序列極限學習機可以處理數(shù)據是序列化獲得的情況，通過不斷的迭代計算，更新輸出權值。本文對極限學習機和在線序列極限學習機的算法推導和網絡模型進行了研究和分析，提出了一種改進的快速序列化極限學習機(FS-ELM)數(shù)據訓練的算法方案。<

2、br>　　本文通過對極限學習機和在線序列極限學習機的算法公式的研究，利用正交法輸出權值的計算公式，獨立出兩部分可以相互疊加的矩陣區(qū)域。利用相對于訓練數(shù)據獨立的這兩部分矩陣，在序列化獲取訓練數(shù)據后，不斷的疊加計算這兩部分的值。在數(shù)據獲取完成或需要計算輸出權值的值時，再利用輸出權值計算公式，計算獲得輸出權值的值。實驗結果表明，在進行訓練時，F(xiàn)S-ELM的初始化學習階段可以接受任意數(shù)量的訓練數(shù)據而不會對訓練和測試精度產生影響，并且在保證測試精

3、度與極限學習機以及在線序列極限學習機算法相當情況下，F(xiàn)S-ELM的訓練速度相比OS-ELM有明顯提高。本文為驗證FS-ELM所具有的速度和精度性能，在不同規(guī)模數(shù)據集上進行了多次較充分的對比實驗。極限學習機算法廣泛獲得應用的部分原因在于其需要人工設定的參數(shù)較少。其中，隱層節(jié)點數(shù)量需要根據訓練數(shù)據進行手動設置。同時，隱層節(jié)點的數(shù)量影響著網絡模型的泛化能力。本文提出隱層節(jié)點平均影響因子的概念，在序列化獲取訓練數(shù)據的同時，更新隱層節(jié)點的數(shù)量，逐

4、步使得輸出權值的總平均影響力達到最低，使網絡模型自動達到較好的泛化效果。實驗表明，利用文中提出的序列化剪枝算法，可以自動獲得較好的隱層節(jié)點數(shù)量，使得網絡模型有較好的擬合和泛化能力。此外，因為本文提出的序列化極限學習機算法中的部分矩陣相對于訓練數(shù)據是獨立的。因此，很容易可以將本文提出的算法在基于Hadoop的Map-Reduce計算框架中實現(xiàn)。利用分布式的Map-Reduce框架，訓練模型可以處理更大的無法在單機中實現(xiàn)的訓練數(shù)據量。同時，