基于極限學習的系統(tǒng)辨識方法及應用研究.pdf

1、眾所周知，神經網(wǎng)絡具有良好的系統(tǒng)辨識能力，但BP、SVM等傳統(tǒng)神經網(wǎng)絡存在許多缺陷，如易收斂到局部最小點、收斂速度慢甚至不能收斂、過擬合問題、最優(yōu)的網(wǎng)絡隱層節(jié)點數(shù)不能確定等。此外，目前人工神經網(wǎng)絡僅僅能夠逼近連續(xù)系統(tǒng)，而對于非線性混合系統(tǒng)則無法逼近。針對上述問題，本文圍繞近年來發(fā)展起來的極限學習理論展開研究，重點研究基于極限學習理論的連續(xù)系統(tǒng)和混合系統(tǒng)辨識新理論與新方法。本文主要研究成果如下:
　　 1.提出混合混沌優(yōu)化極限學習

2、機算法
　　 傳統(tǒng)的極限學習理論認為，影響單隱層前饋神經網(wǎng)絡收斂性能的只有網(wǎng)絡輸出權值，而與隱層神經元的輸入權值與閾值參數(shù)沒有關系?？墒?，由于網(wǎng)絡輸出權值是通過最小二乘法計算而獲得的，所以這確保了其為廣義系統(tǒng)最小二乘解中的最小解。這一計算方法一方面提高了極限學習機的學習速度，可另一方面卻直接導致了大量“無用神經元”的出現(xiàn)。特別是對于增量型極限學習機，由于HuangGB等人已經證明具有k+1個神經元的極限學習機輸出誤差小于等于第k

3、次迭代(具有k個神經元)所獲得的輸出誤差，因此減小網(wǎng)絡誤差的唯一途徑就是不斷地遞增極限學習機中的隱層神經元數(shù)目。但隨著神經元數(shù)量的增加，這些神經元所對應的網(wǎng)絡輸出權值也將逐漸減小，結果使得這些神經元對網(wǎng)絡終端輸出影響很小，便出現(xiàn)了“無用神經元”。此外，若一個極限學習機具有k個神經元，則需要進行k次的迭代計算?；谏鲜鲈颍瑸榱私档途W(wǎng)絡復雜度，提高極限學習機學習效率，降低計算耗時，本文在通過大量的對比實驗以及理論分析的基礎上，證明了極限學

4、習機的收斂速度與神經元的輸入權值與閾值依然存在聯(lián)系，即若選取出神經元的輸入權值與閾值的最優(yōu)值將大大提高極限學習機的學習效率。在該思想指導下，結合混沌優(yōu)化方法與類電磁優(yōu)化方法的互補特性，以及貪婪搜索與人工情感的互補特性，提出了基于混合混沌優(yōu)化方法的極限學習機算法。實驗顯示這種方法可以很好的壓縮極限學習機神經元數(shù)量，簡化網(wǎng)絡結構，且收斂速度有了明顯提高。
　　 2.提出雙端增量型極限學習機算法
　　 基于上述證明的極限學習機

5、中隱層神經元參數(shù)的優(yōu)劣將極大的影響網(wǎng)絡收斂速度，本文構建了誤差雙向反饋的雙端極限學習算法。不同于傳統(tǒng)的極限學習算法中隨機選取隱層神經元參數(shù)，該算法僅僅通過隨機方式生成第奇數(shù)個神經元參數(shù)，而通過反向反饋誤差計算第偶數(shù)個神經元參數(shù)。本文證明了所提算法的收斂性，并通過理論分析獲得了一個重要的輸出權值——誤差橢圓方程。通過該橢圓方程從理論上證明了所提出的雙端極限學習機能夠僅僅使用兩個神經元(迭代兩次)就可以以零誤差地逼近任意連續(xù)系統(tǒng)。實驗結果顯

6、示，該算法能夠在訓練的初始階段就獲得“極限”的系統(tǒng)辨識結果，同其他極限學習算法相比，該算法的學習速度是傳統(tǒng)增量型極限學習機學習速度的幾十到幾百倍。
　　 3.提出基于連續(xù)系統(tǒng)辨識的父代子代漸進學習機算法
　　 通過大量實驗與理論分析，本文首先分析了神經網(wǎng)絡實際應用中的誤差下界，然后提出了神經網(wǎng)絡系統(tǒng)辨識中的極限誤差概念，并定性的指出不論使用何種單神經網(wǎng)絡訓練方法如BP、SVM或者極限學習機(SVM已經被證明僅是極限學習機

7、的某種特例)等，對于同一實際系統(tǒng)，其系統(tǒng)辨識的極限誤差趨于同一水平。本文利用上述所提出的雙端極限學習機構造一個多神經網(wǎng)絡學習系統(tǒng)以降低神經網(wǎng)絡極限誤差，并將其命名為父代子代漸進學習機。該算法根據(jù)“父代子代生長原則”將訓練集中樣本分類成c個子系統(tǒng)，并通過c個雙端極限學習機對連續(xù)系統(tǒng)進行辨識。實驗結果顯示，所提算法獲得的測試誤差是目前已存的其他神經網(wǎng)絡算法其極限誤差的二分之一到三分之一。換言之，父代子代漸進學習機能夠提供其他單神經網(wǎng)絡結構所

8、完全無法獲得的連續(xù)系統(tǒng)辨識精度。
　　 4.提出基于混合系統(tǒng)辨識的漸進學習機算法
　　 混合系統(tǒng)在自然界中普遍存在且若能獲得混合系統(tǒng)的辨識模型，則可以很確切的描述出跳變或者非連續(xù)的行為方式，對某些連續(xù)與非連續(xù)部分高度關聯(lián)的系統(tǒng)而言，如機器人、化學加工等都能夠發(fā)揮巨大的作用?？墒怯捎诨旌舷到y(tǒng)既包括連續(xù)變量過程，又包括跳變過程，且它們又交互作用，目前沒有針對一般混合系統(tǒng)，特別是非線性混合系統(tǒng)的辨識方法。本文將基于神經網(wǎng)絡的系

9、統(tǒng)辨識從連續(xù)系統(tǒng)推廣到混合系統(tǒng)，提出了通用的非線性混合系統(tǒng)辨識算法——漸進學習機。該算法首先分類混合系統(tǒng)中哪些訓練樣本屬于同一最大連續(xù)子系統(tǒng)，再訓練每一個子連續(xù)系統(tǒng)，最終辨識整個混合系統(tǒng)。實驗結果顯示，相比于傳統(tǒng)的神經網(wǎng)絡只能辨識連續(xù)系統(tǒng)，該算法可以辨識任意非線性混合系統(tǒng)，包括隨機切換系統(tǒng)、分段連續(xù)系統(tǒng)等各種混合系統(tǒng)，從而將神經網(wǎng)絡的應用從連續(xù)系統(tǒng)擴充到了混合系統(tǒng)，極大的豐富和發(fā)展了神經網(wǎng)絡系統(tǒng)辨識的理論與方法體系。
　　 5.

10、極限學習機在除冰機器人控制系統(tǒng)中的應用
　　 電力線路結冰或積雪常會引起線路的斷線、倒桿、倒塔、斷電和信號阻斷等事故，給電力系統(tǒng)的安全穩(wěn)定運行造成巨大威脅。目前，基本上仍采用人工沿輸電線逐塔巡視的作業(yè)方式，作業(yè)勞動強度大、費用高且危險性大。隨著機器人被廣泛應用各種領域，近10年來，機器人來替代人力進行高壓輸電線路上的故障探測與定位，線路除冰等工作已越來越受到廣泛關注。這種新技術具有功耗小、成本低、效率高、人員無傷亡、無需停電等優(yōu)

11、點?？墒怯捎诟邏狠旊娋€路作業(yè)機器人不同于一般的工業(yè)機器人，其運行過程中必須保證機器人的重力平衡，還必須考慮機器人受到的摩擦力，在越障、爬坡、下坡、破冰時受到的阻力以及在大風、冰凍等惡劣天氣下外界施加的阻力等不確定因素，因此除冰機器人的動力學模型是一種典型的高復雜度、非線性連續(xù)系統(tǒng)?？墒?，傳統(tǒng)的辨識方法無法獲得良好的辨識精度，從而使得除冰機器人難于精確控制，這大大的阻礙了高壓輸電線路作業(yè)機器人的實際應用。針對上述問題，本文結合雙端極限學習