基于極限學(xué)習(xí)的系統(tǒng)辨識(shí)方法及應(yīng)用研究.pdf

1、眾所周知，神經(jīng)網(wǎng)絡(luò)具有良好的系統(tǒng)辨識(shí)能力，但BP、SVM等傳統(tǒng)神經(jīng)網(wǎng)絡(luò)存在許多缺陷，如易收斂到局部最小點(diǎn)、收斂速度慢甚至不能收斂、過擬合問題、最優(yōu)的網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)不能確定等。此外，目前人工神經(jīng)網(wǎng)絡(luò)僅僅能夠逼近連續(xù)系統(tǒng)，而對(duì)于非線性混合系統(tǒng)則無(wú)法逼近。針對(duì)上述問題，本文圍繞近年來發(fā)展起來的極限學(xué)習(xí)理論展開研究，重點(diǎn)研究基于極限學(xué)習(xí)理論的連續(xù)系統(tǒng)和混合系統(tǒng)辨識(shí)新理論與新方法。本文主要研究成果如下:
　　 1.提出混合混沌優(yōu)化極限學(xué)習(xí)

2、機(jī)算法
　　 傳統(tǒng)的極限學(xué)習(xí)理論認(rèn)為，影響單隱層前饋神經(jīng)網(wǎng)絡(luò)收斂性能的只有網(wǎng)絡(luò)輸出權(quán)值，而與隱層神經(jīng)元的輸入權(quán)值與閾值參數(shù)沒有關(guān)系?？墒?，由于網(wǎng)絡(luò)輸出權(quán)值是通過最小二乘法計(jì)算而獲得的，所以這確保了其為廣義系統(tǒng)最小二乘解中的最小解。這一計(jì)算方法一方面提高了極限學(xué)習(xí)機(jī)的學(xué)習(xí)速度，可另一方面卻直接導(dǎo)致了大量“無(wú)用神經(jīng)元”的出現(xiàn)。特別是對(duì)于增量型極限學(xué)習(xí)機(jī)，由于HuangGB等人已經(jīng)證明具有k+1個(gè)神經(jīng)元的極限學(xué)習(xí)機(jī)輸出誤差小于等于第k

3、次迭代(具有k個(gè)神經(jīng)元)所獲得的輸出誤差，因此減小網(wǎng)絡(luò)誤差的唯一途徑就是不斷地遞增極限學(xué)習(xí)機(jī)中的隱層神經(jīng)元數(shù)目。但隨著神經(jīng)元數(shù)量的增加，這些神經(jīng)元所對(duì)應(yīng)的網(wǎng)絡(luò)輸出權(quán)值也將逐漸減小，結(jié)果使得這些神經(jīng)元對(duì)網(wǎng)絡(luò)終端輸出影響很小，便出現(xiàn)了“無(wú)用神經(jīng)元”。此外，若一個(gè)極限學(xué)習(xí)機(jī)具有k個(gè)神經(jīng)元，則需要進(jìn)行k次的迭代計(jì)算?；谏鲜鲈颍瑸榱私档途W(wǎng)絡(luò)復(fù)雜度，提高極限學(xué)習(xí)機(jī)學(xué)習(xí)效率，降低計(jì)算耗時(shí)，本文在通過大量的對(duì)比實(shí)驗(yàn)以及理論分析的基礎(chǔ)上，證明了極限學(xué)

4、習(xí)機(jī)的收斂速度與神經(jīng)元的輸入權(quán)值與閾值依然存在聯(lián)系，即若選取出神經(jīng)元的輸入權(quán)值與閾值的最優(yōu)值將大大提高極限學(xué)習(xí)機(jī)的學(xué)習(xí)效率。在該思想指導(dǎo)下，結(jié)合混沌優(yōu)化方法與類電磁優(yōu)化方法的互補(bǔ)特性，以及貪婪搜索與人工情感的互補(bǔ)特性，提出了基于混合混沌優(yōu)化方法的極限學(xué)習(xí)機(jī)算法。實(shí)驗(yàn)顯示這種方法可以很好的壓縮極限學(xué)習(xí)機(jī)神經(jīng)元數(shù)量，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，且收斂速度有了明顯提高。
　　 2.提出雙端增量型極限學(xué)習(xí)機(jī)算法
　　 基于上述證明的極限學(xué)習(xí)機(jī)

5、中隱層神經(jīng)元參數(shù)的優(yōu)劣將極大的影響網(wǎng)絡(luò)收斂速度，本文構(gòu)建了誤差雙向反饋的雙端極限學(xué)習(xí)算法。不同于傳統(tǒng)的極限學(xué)習(xí)算法中隨機(jī)選取隱層神經(jīng)元參數(shù)，該算法僅僅通過隨機(jī)方式生成第奇數(shù)個(gè)神經(jīng)元參數(shù)，而通過反向反饋誤差計(jì)算第偶數(shù)個(gè)神經(jīng)元參數(shù)。本文證明了所提算法的收斂性，并通過理論分析獲得了一個(gè)重要的輸出權(quán)值——誤差橢圓方程。通過該橢圓方程從理論上證明了所提出的雙端極限學(xué)習(xí)機(jī)能夠僅僅使用兩個(gè)神經(jīng)元(迭代兩次)就可以以零誤差地逼近任意連續(xù)系統(tǒng)。實(shí)驗(yàn)結(jié)果顯

6、示，該算法能夠在訓(xùn)練的初始階段就獲得“極限”的系統(tǒng)辨識(shí)結(jié)果，同其他極限學(xué)習(xí)算法相比，該算法的學(xué)習(xí)速度是傳統(tǒng)增量型極限學(xué)習(xí)機(jī)學(xué)習(xí)速度的幾十到幾百倍。
　　 3.提出基于連續(xù)系統(tǒng)辨識(shí)的父代子代漸進(jìn)學(xué)習(xí)機(jī)算法
　　 通過大量實(shí)驗(yàn)與理論分析，本文首先分析了神經(jīng)網(wǎng)絡(luò)實(shí)際應(yīng)用中的誤差下界，然后提出了神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)中的極限誤差概念，并定性的指出不論使用何種單神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法如BP、SVM或者極限學(xué)習(xí)機(jī)(SVM已經(jīng)被證明僅是極限學(xué)習(xí)機(jī)

7、的某種特例)等，對(duì)于同一實(shí)際系統(tǒng)，其系統(tǒng)辨識(shí)的極限誤差趨于同一水平。本文利用上述所提出的雙端極限學(xué)習(xí)機(jī)構(gòu)造一個(gè)多神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)以降低神經(jīng)網(wǎng)絡(luò)極限誤差，并將其命名為父代子代漸進(jìn)學(xué)習(xí)機(jī)。該算法根據(jù)“父代子代生長(zhǎng)原則”將訓(xùn)練集中樣本分類成c個(gè)子系統(tǒng)，并通過c個(gè)雙端極限學(xué)習(xí)機(jī)對(duì)連續(xù)系統(tǒng)進(jìn)行辨識(shí)。實(shí)驗(yàn)結(jié)果顯示，所提算法獲得的測(cè)試誤差是目前已存的其他神經(jīng)網(wǎng)絡(luò)算法其極限誤差的二分之一到三分之一。換言之，父代子代漸進(jìn)學(xué)習(xí)機(jī)能夠提供其他單神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)所

8、完全無(wú)法獲得的連續(xù)系統(tǒng)辨識(shí)精度。
　　 4.提出基于混合系統(tǒng)辨識(shí)的漸進(jìn)學(xué)習(xí)機(jī)算法
　　 混合系統(tǒng)在自然界中普遍存在且若能獲得混合系統(tǒng)的辨識(shí)模型，則可以很確切的描述出跳變或者非連續(xù)的行為方式，對(duì)某些連續(xù)與非連續(xù)部分高度關(guān)聯(lián)的系統(tǒng)而言，如機(jī)器人、化學(xué)加工等都能夠發(fā)揮巨大的作用?？墒怯捎诨旌舷到y(tǒng)既包括連續(xù)變量過程，又包括跳變過程，且它們又交互作用，目前沒有針對(duì)一般混合系統(tǒng)，特別是非線性混合系統(tǒng)的辨識(shí)方法。本文將基于神經(jīng)網(wǎng)絡(luò)的系

9、統(tǒng)辨識(shí)從連續(xù)系統(tǒng)推廣到混合系統(tǒng)，提出了通用的非線性混合系統(tǒng)辨識(shí)算法——漸進(jìn)學(xué)習(xí)機(jī)。該算法首先分類混合系統(tǒng)中哪些訓(xùn)練樣本屬于同一最大連續(xù)子系統(tǒng)，再訓(xùn)練每一個(gè)子連續(xù)系統(tǒng)，最終辨識(shí)整個(gè)混合系統(tǒng)。實(shí)驗(yàn)結(jié)果顯示，相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只能辨識(shí)連續(xù)系統(tǒng)，該算法可以辨識(shí)任意非線性混合系統(tǒng)，包括隨機(jī)切換系統(tǒng)、分段連續(xù)系統(tǒng)等各種混合系統(tǒng)，從而將神經(jīng)網(wǎng)絡(luò)的應(yīng)用從連續(xù)系統(tǒng)擴(kuò)充到了混合系統(tǒng)，極大的豐富和發(fā)展了神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)的理論與方法體系。
　　 5.

10、極限學(xué)習(xí)機(jī)在除冰機(jī)器人控制系統(tǒng)中的應(yīng)用
　　 電力線路結(jié)冰或積雪常會(huì)引起線路的斷線、倒桿、倒塔、斷電和信號(hào)阻斷等事故，給電力系統(tǒng)的安全穩(wěn)定運(yùn)行造成巨大威脅。目前，基本上仍采用人工沿輸電線逐塔巡視的作業(yè)方式，作業(yè)勞動(dòng)強(qiáng)度大、費(fèi)用高且危險(xiǎn)性大。隨著機(jī)器人被廣泛應(yīng)用各種領(lǐng)域，近10年來，機(jī)器人來替代人力進(jìn)行高壓輸電線路上的故障探測(cè)與定位，線路除冰等工作已越來越受到廣泛關(guān)注。這種新技術(shù)具有功耗小、成本低、效率高、人員無(wú)傷亡、無(wú)需停電等優(yōu)

11、點(diǎn)。可是由于高壓輸電線路作業(yè)機(jī)器人不同于一般的工業(yè)機(jī)器人，其運(yùn)行過程中必須保證機(jī)器人的重力平衡，還必須考慮機(jī)器人受到的摩擦力，在越障、爬坡、下坡、破冰時(shí)受到的阻力以及在大風(fēng)、冰凍等惡劣天氣下外界施加的阻力等不確定因素，因此除冰機(jī)器人的動(dòng)力學(xué)模型是一種典型的高復(fù)雜度、非線性連續(xù)系統(tǒng)。可是，傳統(tǒng)的辨識(shí)方法無(wú)法獲得良好的辨識(shí)精度，從而使得除冰機(jī)器人難于精確控制，這大大的阻礙了高壓輸電線路作業(yè)機(jī)器人的實(shí)際應(yīng)用。針對(duì)上述問題，本文結(jié)合雙端極限學(xué)習(xí)