2011年結(jié)業(yè)課

1、2024/4/4,1,總 結(jié),2024/4/4,2,RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)的比較,RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)都是非線(xiàn)性多層前向網(wǎng)絡(luò)，它們都是通用逼近器。對(duì)于任一個(gè)BP神經(jīng)網(wǎng)絡(luò)，總存在一個(gè)RBF神經(jīng)網(wǎng)絡(luò)可以代替它，反之亦然。但是這兩個(gè)網(wǎng)絡(luò)也存在著很多不同點(diǎn)，這里從網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練算法、網(wǎng)絡(luò)資源的利用及逼近性能等方面對(duì)RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較研究。,2024/4/4,3,（1）從網(wǎng)絡(luò)結(jié)構(gòu)上看,BP神經(jīng)網(wǎng)絡(luò)實(shí)行權(quán)連接，而R

2、BF神經(jīng)網(wǎng)絡(luò)輸入層到隱層單元之間為直接連接，隱層到輸出層實(shí)行權(quán)連接。BP神經(jīng)網(wǎng)絡(luò)隱層單元的轉(zhuǎn)移函數(shù)一般選擇非線(xiàn)性函數(shù)（如反正切函數(shù)），RBF神經(jīng)網(wǎng)絡(luò)隱層單元的轉(zhuǎn)移函數(shù)是關(guān)于中心對(duì)稱(chēng)的RBF（如高斯函數(shù)）。BP神經(jīng)網(wǎng)絡(luò)是二層或二層以上的靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)，其隱層和隱層節(jié)點(diǎn)數(shù)不容易確定，沒(méi)有普遍適用的規(guī)律可循，一旦網(wǎng)絡(luò)的結(jié)構(gòu)確定下來(lái)，在訓(xùn)練階段網(wǎng)絡(luò)結(jié)構(gòu)將不再變化；RBF神經(jīng)網(wǎng)絡(luò)是二層靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)，隱層單元數(shù)也就是網(wǎng)絡(luò)的結(jié)構(gòu)可以根據(jù)研究的具

3、體問(wèn)題，在訓(xùn)練階段自適應(yīng)地調(diào)整，這樣網(wǎng)絡(luò)的適用性就更好了。,2024/4/4,4,（2）從訓(xùn)練算法上看,BP神經(jīng)網(wǎng)絡(luò)需要確定的參數(shù)是連接權(quán)值和閾值，主要的訓(xùn)練算法為BP算法和改進(jìn)的BP算法。但BP算法存在許多不足之處，主要表現(xiàn)為易限于局部極小值，學(xué)習(xí)過(guò)程收斂速度慢，隱層和隱層節(jié)點(diǎn)數(shù)難以確定。RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法在前面已做了論述，目前，很多RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法支持在線(xiàn)和離線(xiàn)訓(xùn)練，可以動(dòng)態(tài)確定網(wǎng)絡(luò)結(jié)構(gòu)和隱層單元的數(shù)據(jù)中心和擴(kuò)展常數(shù)，

4、學(xué)習(xí)速度快，比BP算法表現(xiàn)出更好的性能。,2024/4/4,5,（3）從網(wǎng)絡(luò)資源的利用上看,RBF神經(jīng)網(wǎng)絡(luò)原理、結(jié)構(gòu)和學(xué)習(xí)算法的特殊性決定了其隱層單元的分配可以根據(jù)訓(xùn)練樣本的容量、類(lèi)別和分布來(lái)決定。如采用最近鄰聚類(lèi)方式訓(xùn)練網(wǎng)絡(luò)，網(wǎng)絡(luò)隱層單元的分配就僅與訓(xùn)練樣本的分布及隱層單元的寬度有關(guān)，與執(zhí)行的任務(wù)無(wú)關(guān)。在隱層單元分配的基礎(chǔ)上，輸入與輸出之間的映射關(guān)系，通過(guò)調(diào)整隱層單元和輸出單元之間的權(quán)值來(lái)實(shí)現(xiàn)，這樣，不同的任務(wù)之間的影響就比較小，網(wǎng)絡(luò)

5、的資源就可以得到充分的利用。這一點(diǎn)和BP神經(jīng)網(wǎng)絡(luò)完全不同，BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的確定由每個(gè)任務(wù)（輸出節(jié)點(diǎn)）均方差的總和直接決定，這樣，訓(xùn)練的網(wǎng)絡(luò)只能是不同任務(wù)的折中，對(duì)于某個(gè)任務(wù)來(lái)說(shuō)，就無(wú)法達(dá)到最佳的效果。而RBF神經(jīng)網(wǎng)絡(luò)則可以使每個(gè)任務(wù)之間的影響降到較低的水平，從而每個(gè)任務(wù)都能達(dá)到較好的效果，這種并行的多任務(wù)系統(tǒng)會(huì)使RBF神經(jīng)網(wǎng)絡(luò)的應(yīng)用越來(lái)越廣泛。,2024/4/4,6,總之，RBF神經(jīng)網(wǎng)絡(luò)可以根據(jù)具體問(wèn)題確定相應(yīng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，具

6、有自學(xué)習(xí)、自組織、自適應(yīng)功能，它對(duì)非線(xiàn)性連續(xù)函數(shù)具有一致逼近性，學(xué)習(xí)速度快，可以進(jìn)行大范圍的數(shù)據(jù)融合，可以并行高速地處理數(shù)據(jù)。RBF神經(jīng)網(wǎng)絡(luò)的優(yōu)良特性使得其顯示出比BP神經(jīng)網(wǎng)絡(luò)更強(qiáng)的生命力，正在越來(lái)越多的領(lǐng)域內(nèi)替代BP神經(jīng)網(wǎng)絡(luò)。目前，RBF神經(jīng)網(wǎng)絡(luò)已經(jīng)成功地用于非線(xiàn)性函數(shù)逼近、時(shí)間序列分析、數(shù)據(jù)分類(lèi)、模式識(shí)別、信息處理、圖像處理、系統(tǒng)建模、控制和故障診斷等。,2024/4/4,7,Learning中的代數(shù)結(jié)構(gòu)的建立,空間所謂空間就是指

7、一個(gè)集合以及在上面定義的某種數(shù)學(xué)結(jié)構(gòu)。關(guān)于這個(gè)數(shù)學(xué)結(jié)構(gòu)的定義或者公理，就成為這個(gè)數(shù)學(xué)分支的基礎(chǔ)，一切由此而展開(kāi)。R^n 除了線(xiàn)性運(yùn)算，包括度量結(jié)構(gòu)和內(nèi)積結(jié)構(gòu)。,2024/4/4,8,第一，它是一個(gè)拓?fù)淇臻g(Topological space)如果對(duì)一個(gè)非空集合X給予適當(dāng)?shù)慕Y(jié)構(gòu)，使之能引入微積分中的極限和連續(xù)的概念，這樣的結(jié)構(gòu)就稱(chēng)為拓?fù)?，具有拓?fù)浣Y(jié)構(gòu)的空間稱(chēng)為拓?fù)淇臻g。第二，它是一個(gè)度量空間(Metric space)。我們可以計(jì)

8、算上面任意兩點(diǎn)的距離。,2024/4/4,9,第三，它是一個(gè)有限維向量空間(Finite dimensional space)。因此，我們可以對(duì)里面的元素進(jìn)行代數(shù)運(yùn)算（加法和數(shù)乘），我們還可以賦予它一組有限的基，從而可以用有限維坐標(biāo)表達(dá)每個(gè)元素。 第四，基于度量結(jié)構(gòu)和線(xiàn)性運(yùn)算結(jié)構(gòu)，可以建立起分析(Analysis)體系。我們可以對(duì)連續(xù)函數(shù)進(jìn)行微分，積分，建立和求解微分方程，以及進(jìn)行傅立葉變換和小波分析。,2024/4/4,10,,第五

9、，它是一個(gè)希爾伯特空間（也就是完備的內(nèi)積空間）(Hilbert space, Complete inner product space)。它有一套很方便計(jì)算的內(nèi)積(inner product)結(jié)構(gòu)—這個(gè)空間的度量結(jié)構(gòu)其實(shí)就是從其內(nèi)積結(jié)構(gòu)誘導(dǎo)出來(lái)。更重要的，它是完備的(Complete)—代表任何一個(gè)柯西序列(Cauchy sequence)都有極限—很多人有意無(wú)意中其實(shí)用到了這個(gè)特性，不過(guò)習(xí)慣性地認(rèn)為是理所當(dāng)然了。,2024/4/4,1

10、1,第六，它上面的線(xiàn)性映射構(gòu)成的算子空間仍舊是有限維的—一個(gè)非常重要的好處就是，所有的線(xiàn)性映射都可以用矩陣唯一表示。特別的，因?yàn)樗怯邢蘧S完備空間，它的泛函空間和它本身是同構(gòu)的，也是R^n。因而，它們的譜結(jié)構(gòu)，也就可以通過(guò)矩陣的特征值和特征向量獲得。 第七，它是一個(gè)測(cè)度空間—可以計(jì)算子集的大?。娣e/體積）。正因?yàn)榇?，我們才可能在上面建立概率分?distribution)—這是我們接觸的絕大多數(shù)連續(xù)統(tǒng)計(jì)模型的基礎(chǔ)。,2024/4/4

11、,12,Learning的主要工作分成兩個(gè)大的范疇：建立一種表達(dá)形式，讓它處于上面討論的R^n空間里面。 獲得了有限維向量表達(dá)后，建立各種代數(shù)算法或者統(tǒng)計(jì)模型進(jìn)行分析和處理。,2024/4/4,13,表達(dá),討論第一個(gè)范疇。先看看，目前用得比較廣泛的一些方法：直接基于原始數(shù)據(jù)建立表達(dá)。我們關(guān)心的最終目標(biāo)是一個(gè)個(gè)現(xiàn)實(shí)世界中的對(duì)象：一幅圖片，一段語(yǔ)音，一篇文章，一條交易記錄，等等。這些東西大部分本身沒(méi)有附著一個(gè)數(shù)值向量的。為了構(gòu)造一個(gè)向

12、量表達(dá)，我們可以把傳感器中記錄的數(shù)值，或者別的什么方式收集的數(shù)值數(shù)據(jù)按照一定的順序羅列出來(lái)，就形成一個(gè)向量了。如果有n個(gè)數(shù)字，就認(rèn)為它們?cè)赗^n里面。,2024/4/4,14,量化(quantization),這是在處理連續(xù)信號(hào)時(shí)被廣泛采用的方式。只是習(xí)以為常，一般不提名字而已。比如一個(gè)空間信號(hào)（Vision中的image）或者時(shí)間信號(hào)，它們的domain中的值是不可數(shù)無(wú)限大的(uncountably infinite)，不要說(shuō)表示為有

13、限維向量，即使表達(dá)為無(wú)限序列也是不可能的。在這種情況下，一般在有限域內(nèi)，按照一定順序每隔一定距離取一個(gè)點(diǎn)來(lái)代表其周?chē)狞c(diǎn)，從而形成有限維的表達(dá)。這就是信號(hào)在時(shí)域或空域的量化。,2024/4/4,15,這樣做不可避免要丟失信息。但是，由于小鄰域內(nèi)信號(hào)的高度相關(guān)，信息丟失的程度往往并不顯著。而且，從理論上說(shuō)，這相當(dāng)于在頻域中的低通過(guò)率。對(duì)于有限能量的連續(xù)信號(hào)，不可能在無(wú)限高的頻域中依然保持足夠的強(qiáng)度，只要采樣密度足夠，丟失的東西可以任意的少

14、。除了表示信號(hào)，對(duì)于幾何形體的表達(dá)也經(jīng)常使用量化。,2024/4/4,16,數(shù)學(xué)結(jié)構(gòu),找出有限個(gè)數(shù)充分表達(dá)一個(gè)對(duì)象也許不是最困難的。不過(guò),在其上面建立數(shù)學(xué)結(jié)構(gòu)卻未必了。首先需要一個(gè)拓?fù)浣Y(jié)構(gòu)用以描述空間上的點(diǎn)是如何聯(lián)系在一起。直接建立拓?fù)浣Y(jié)構(gòu)在數(shù)學(xué)上往往非常困難，也未必實(shí)用。因此，絕大部分工作采取的方式是首先建立度量結(jié)構(gòu)。一個(gè)度量空間，其度量會(huì)自然地誘導(dǎo)出一個(gè)拓?fù)浣Y(jié)構(gòu)。最簡(jiǎn)單的情況，就是使用原始向量表達(dá)的歐氏距離。不過(guò)，由于原始表達(dá)數(shù)

15、值的不同特性，這種方式效果一般不是特別好，未必能有效表達(dá)實(shí)際對(duì)象的相似性（或者不相似性）。因此，很多工作會(huì)有再此基礎(chǔ)上進(jìn)行度量的二次建立。,2024/4/4,17,方式是多種多樣的，一種是尋求一個(gè)映射，把原空間的元素變換到一個(gè)新的空間，在那里歐氏距離變得更加合適。這個(gè)映射發(fā)揮的作用包括對(duì)信息進(jìn)行篩選，整合，對(duì)某些部分進(jìn)行加強(qiáng)或者抑制。這就是大部分關(guān)于feature selection，feature extraction。這兩種方式未必

16、是不同的。如果映射是單射，那么它相當(dāng)于在原空間建立了一個(gè)不同的度量。,2024/4/4,18,代數(shù)運(yùn)算,上面提到的度量建立方法，比如歐氏距離，它需要對(duì)元素進(jìn)行代數(shù)運(yùn)算?？墒?，有些事物其原始表達(dá)可能是一個(gè)set，一個(gè)graph，或者別的什么特別的object。怎么建立代數(shù)運(yùn)算呢？一個(gè)新的代數(shù)結(jié)構(gòu)一旦建立起來(lái)，其它的數(shù)學(xué)結(jié)構(gòu)，包括拓?fù)?，度量，分析，以及?nèi)積結(jié)構(gòu)也隨之能被自然地誘導(dǎo)出來(lái)，我們也就具有了對(duì)這個(gè)對(duì)象空間進(jìn)行各種數(shù)學(xué)運(yùn)算和操作的基

17、礎(chǔ),2024/4/4,19,嵌入(embedding)到某個(gè)向量空間,最常見(jiàn)的就是保距嵌入，我們首先建立度量結(jié)構(gòu)（繞過(guò)向量表達(dá)，直接對(duì)兩個(gè)對(duì)象的距離通過(guò)某種方法進(jìn)行計(jì)算），然后把這個(gè)空間嵌入到目標(biāo)空間，通常是有限維向量空間，要求保持度量不變。manifold embedding，這個(gè)是通過(guò)保持局部結(jié)構(gòu)的嵌入，獲取全局結(jié)構(gòu)。,2024/4/4,20,內(nèi)積(inner product)結(jié)構(gòu),內(nèi)積結(jié)構(gòu)一旦建立，會(huì)直接誘導(dǎo)出一種性質(zhì)良好的度量

18、，就是范數(shù)(norm)，并且進(jìn)而誘導(dǎo)出拓?fù)浣Y(jié)構(gòu)。kernel理論指出，對(duì)于一個(gè)空間，只要定義一個(gè)正定核(positive kernel)，就必然存在一個(gè)希爾伯特空間，其內(nèi)積運(yùn)算等效于核運(yùn)算。這個(gè)結(jié)論的重要意義在于，我們可以繞開(kāi)線(xiàn)性空間，通過(guò)首先定義kernel的方式，誘導(dǎo)出一個(gè)線(xiàn)性空間(再生核希爾伯特空間 Reproducing Kernel Hilbert Space)，從而我們就自然獲得我們所需要的度量結(jié)構(gòu)和線(xiàn)性運(yùn)算結(jié)構(gòu)。這是ker

19、nel theory的基礎(chǔ)。,2024/4/4,21,kernel被視為非線(xiàn)性化的重要手段，用于處理非高斯的數(shù)據(jù)分布。通過(guò)nonlinear kernel改造的內(nèi)積空間，其結(jié)構(gòu)和原空間的結(jié)構(gòu)確實(shí)不是線(xiàn)性關(guān)聯(lián)，從這個(gè)意義上說(shuō)，它實(shí)施了非線(xiàn)性化。不過(guò)，我們還應(yīng)該明白，它的最終目標(biāo)還是要回到線(xiàn)性空間，新的內(nèi)積空間仍舊是一個(gè)線(xiàn)性空間，它一旦建立，其后的運(yùn)算都是線(xiàn)性的，因此，kernel的使用就是為了尋求一個(gè)新的線(xiàn)性空間，使得線(xiàn)性運(yùn)算更加合理——

20、非線(xiàn)性化的改造最終仍舊是要為線(xiàn)性運(yùn)算服務(wù)。,2024/4/4,22,流形(manifold),上面說(shuō)到的都是從全局的方式建立代數(shù)結(jié)構(gòu)的過(guò)程，但是那必須以某種全局結(jié)構(gòu)為基礎(chǔ)（無(wú)論預(yù)先定義的是運(yùn)算，度量還是內(nèi)積，都必須適用于全空間。）但是，全局結(jié)構(gòu)未必存在或者適合，而局部結(jié)構(gòu)往往簡(jiǎn)單方便得多。這里就形成一種策略，以局部而達(dá)全局——這就是流形(manifold)的思想，而其則根源于拓?fù)鋵W(xué)。,2024/4/4,23,從拓?fù)鋵W(xué)的角度說(shuō)，流形就是一

21、個(gè)非常優(yōu)良的拓?fù)淇臻g：符合Hausdorff分離公理（任何不同的兩點(diǎn)都可以通過(guò)不相交的鄰域分離），符合第二可數(shù)公理（具有可數(shù)的拓?fù)浠?，并且更重要的是，局部同胚于R^n。因此，一個(gè)正則(Regular)流形基本就具有了各種最良好的拓?fù)涮匦?。而局部同胚于R^n，代表了它至少在局部上可以繼承R^n的各種結(jié)構(gòu)，比如線(xiàn)性運(yùn)算和內(nèi)積，從而建立分析體系。,2024/4/4,24,神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用,2024/4/4,25,,設(shè)計(jì)一個(gè)三層BP

22、網(wǎng)絡(luò)對(duì)數(shù)字0至9進(jìn)行分類(lèi),每個(gè)數(shù)字用9?7的網(wǎng)格表示，灰色像素代表0，黑色像素代表1。將每個(gè)網(wǎng)格表示為0，1的長(zhǎng)位串。位映射由左上角開(kāi)始向下直到網(wǎng)格的整個(gè)一列，然后重復(fù)其他列。 選擇BP網(wǎng)絡(luò)結(jié)構(gòu)為63-6-10。63個(gè)輸入結(jié)點(diǎn)，對(duì)應(yīng)上述網(wǎng)格的映射。10個(gè)輸出結(jié)點(diǎn)對(duì)應(yīng)10種分類(lèi)。如果輸出結(jié)點(diǎn)的值大于0.9，則取為ON，如果輸出結(jié)點(diǎn)的值小于0.1，則取為OFF。,,,2024/4/4,26,測(cè)試結(jié)果表明：除了8以外，所有被測(cè)的數(shù)字都能夠

23、被正確地識(shí)別。對(duì)于數(shù)字8，神經(jīng)網(wǎng)絡(luò)的第6個(gè)結(jié)點(diǎn)的輸出值為0.53，第8個(gè)結(jié)點(diǎn)的輸出值為0.41，表明第8個(gè)樣本是模糊的，可能是數(shù)字6，也可能是數(shù)字8，但也不完全確信是兩者之一。,當(dāng)訓(xùn)練成功后，對(duì)如圖所示測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試數(shù)據(jù)都有一個(gè)或者多個(gè)位丟失。,2024/4/4,27,BP神經(jīng)網(wǎng)絡(luò)在軟測(cè)量中的應(yīng)用,2024/4/4,28,,主導(dǎo)變量：被估計(jì)的變量。輔助變量：與被估計(jì)變量相關(guān)的一組可測(cè)變量。,2024/4/4,29,軟測(cè)量系統(tǒng)的

24、設(shè)計(jì)：輔助變量的選擇：變量類(lèi)型、變量數(shù)量和檢測(cè)點(diǎn)位置的選擇。數(shù)據(jù)采集與處理。軟測(cè)量模型的建立：通過(guò)輔助變量來(lái)獲得對(duì)主導(dǎo)變量的最佳估計(jì)。,2024/4/4,30,斗口流量軟測(cè)量技術(shù),放水閘口，按照現(xiàn)行水資源管理辦法，斗口流量是水管部門(mén)與用水單位結(jié)算水費(fèi)的法定依據(jù)。量水法通過(guò)觀測(cè)干渠(閘前)水位和支渠(閘后)若干點(diǎn)水位以及放水口的閘門(mén)開(kāi)啟高度，建立適用的軟測(cè)量模型是實(shí)現(xiàn)精確自動(dòng)測(cè)量的關(guān)鍵。,2024/4/4,31,Q=β×

25、f(e,H,h1,h2,h3,…),分別接收啟閘高度e、閘前水位H和閘后水位h1,h2,h3,h4共6個(gè)直接測(cè)量值,2024/4/4,32,2024/4/4,33,,多層前向網(wǎng)絡(luò)軟測(cè)量模型的性能依賴(lài)于網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練樣本數(shù)據(jù)的質(zhì)量。為此從水工試驗(yàn)獲取的大量數(shù)據(jù)中精選出12組數(shù)據(jù)構(gòu)成訓(xùn)練樣本集,訓(xùn)練樣本數(shù)據(jù)基本覆蓋了特定流態(tài)下的典型測(cè)量值。為檢驗(yàn)經(jīng)過(guò)訓(xùn)練的BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)軟測(cè)量模型的測(cè)量精度和泛化能力,選擇訓(xùn)練樣本集之外的4組試驗(yàn)數(shù)據(jù)

26、,,構(gòu)成檢驗(yàn)樣本集。,2024/4/4,34,基于神經(jīng)網(wǎng)絡(luò)的故障診斷,2024/4/4,35,一、神經(jīng)網(wǎng)絡(luò)用與故障診斷的優(yōu)點(diǎn),⑴ 訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)能存儲(chǔ)有關(guān)過(guò)程的知識(shí)，能直接從歷史故障信息中學(xué)習(xí)?？梢愿鶕?jù)對(duì)象的日常歷史數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，然后將此信息與當(dāng)前測(cè)量數(shù)據(jù)進(jìn)行比較，以確定故障的類(lèi)型。⑵ 神經(jīng)網(wǎng)絡(luò)具有濾除噪聲及在有噪聲情況下的出正確結(jié)論的能力，可以訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別故障信息，使其能在噪聲環(huán)境中有效地工作，這種濾除噪聲的能力使得人工

27、神經(jīng)網(wǎng)絡(luò)適合在線(xiàn)故障檢測(cè)和診斷。⑶ 神經(jīng)網(wǎng)路具有分辨故障原因及故障類(lèi)型的能力。,2024/4/4,36,二、基于神經(jīng)網(wǎng)絡(luò)診斷系統(tǒng)結(jié)構(gòu),神經(jīng)網(wǎng)絡(luò)作為一種自適應(yīng)的模式識(shí)別技術(shù)，并不需要預(yù)先給出有關(guān)模式的經(jīng)驗(yàn)知識(shí)和判別函數(shù)，它通過(guò)自身的學(xué)習(xí)機(jī)制自動(dòng)形成所要求的決策區(qū)域。網(wǎng)絡(luò)的特性由其拓?fù)浣Y(jié)構(gòu)、神經(jīng)元特性、學(xué)習(xí)和訓(xùn)練規(guī)則所決定。它可以充分利用狀態(tài)信息，對(duì)來(lái)自于不同狀態(tài)的信息逐一進(jìn)行訓(xùn)練而獲得某種映射關(guān)系。而且網(wǎng)絡(luò)可以連續(xù)學(xué)習(xí)，如果環(huán)境發(fā)生改變

28、，這種映射關(guān)系還可以自適應(yīng)地進(jìn)行調(diào)整。,2024/4/4,37,典型的基于神經(jīng)網(wǎng)絡(luò)模式識(shí)別功能診斷系統(tǒng)結(jié)構(gòu),2024/4/4,38,基于神經(jīng)網(wǎng)絡(luò)的診斷過(guò)程分為兩步。首先，基于一定數(shù)量的訓(xùn)練樣本集（通常稱(chēng)為“征兆—故障”數(shù)據(jù)集）對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到期望的診斷網(wǎng)絡(luò)；其次，根據(jù)當(dāng)前診斷輸入對(duì)系統(tǒng)進(jìn)行診斷，診斷的過(guò)程即為利用神經(jīng)網(wǎng)絡(luò)進(jìn)行前向計(jì)算的過(guò)程。在學(xué)習(xí)和診斷之前，通常需要對(duì)診斷原始數(shù)據(jù)和訓(xùn)練樣本數(shù)據(jù)進(jìn)行適當(dāng)?shù)奶幚恚A(yù)處理和特征選擇

29、/提取等，目的是為診斷網(wǎng)絡(luò)提供合適的診斷輸入和訓(xùn)練樣本。此外，盡管神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的故障診斷是兩種不同的診斷方法，但兩者是緊密聯(lián)系在一起的。如采用小波分析等數(shù)據(jù)處理方法，可用為神經(jīng)網(wǎng)絡(luò)診斷提供可以利用的特征向量。,2024/4/4,39,三、基于RBF網(wǎng)絡(luò)的齒輪箱故障診斷,1、問(wèn)題描述 變速箱是整機(jī)進(jìn)行減速增扭的部件，它受扭轉(zhuǎn)和拉壓兩種載荷的綜合作用，據(jù)統(tǒng)計(jì)，以齒輪為代表的變速箱故障發(fā)生率占據(jù)除發(fā)動(dòng)機(jī)故障以外的其他所有故障的59

30、%~70%。在非拆卸狀態(tài)下，傳統(tǒng)的齒輪箱故障診斷手段往往依賴(lài)于專(zhuān)家的經(jīng)驗(yàn)判斷。但是，由于齒輪箱是一種非常復(fù)雜的傳動(dòng)機(jī)構(gòu)，它的故障模式和特征量之間是一種非常復(fù)雜的非線(xiàn)性關(guān)系，再加上齒輪箱在不同工況下的隨機(jī)因素，所以專(zhuān)家的經(jīng)驗(yàn)并不能解決所有的診斷問(wèn)題。而應(yīng)用神經(jīng)網(wǎng)絡(luò)可以有效地避免這個(gè)問(wèn)題。神經(jīng)網(wǎng)絡(luò)的自適應(yīng)、自學(xué)習(xí)和對(duì)非線(xiàn)性系統(tǒng)超強(qiáng)的分析能力注定它可以在齒輪箱的故障診斷中大顯身手。,2024/4/4,40,2、輸征兆/故障樣本集的收集與設(shè)計(jì),

31、神經(jīng)網(wǎng)絡(luò)輸入的確定實(shí)際上就是特征量的提取，對(duì)于特征量的選取，主要考慮它是否與故障有比較確定的因果關(guān)系，如果輸入征兆參數(shù)和故障沒(méi)有任何關(guān)系，就不能建立它們之間的聯(lián)系。 統(tǒng)計(jì)表明：齒輪箱故障中有60%左右都是由齒輪導(dǎo)致的，所以這里只研究齒輪故障的診斷。對(duì)于齒輪的故障，這里選取了頻域中的幾個(gè)特征量。,2024/4/4,41,3、RBF網(wǎng)絡(luò)設(shè)計(jì),2024/4/4,42,,神經(jīng)網(wǎng)絡(luò)工具箱中用于創(chuàng)建RBF網(wǎng)絡(luò)的函數(shù)為newrbe，在設(shè)計(jì)過(guò)程

32、中，最重要的參數(shù)是經(jīng)向基函數(shù)的分布常數(shù)。由于本例中的樣本數(shù)目不是很大，將分布常數(shù)設(shè)定為1.2。,2024/4/4,43,4、測(cè)試創(chuàng)建的RBF網(wǎng)絡(luò),接下來(lái)通過(guò)一組實(shí)際數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試，看網(wǎng)絡(luò)是否可以正確診斷出齒輪的故障。如果正確診斷出故障，則網(wǎng)絡(luò)可以投入使用。分別在無(wú)故障、齒根裂紋和斷齒時(shí)進(jìn)行測(cè)量，得到各參數(shù)的值，將這些數(shù)據(jù)作為輸入向量，利用仿真函數(shù)計(jì)算網(wǎng)絡(luò)輸出，通過(guò)故障判別準(zhǔn)則看是否出了故障。,2024/4/4,44,測(cè)試數(shù)據(jù),202

33、4/4/4,45,測(cè)試結(jié)果,輸 出 結(jié) 果 故障類(lèi)別 0.9750，0.0010，0.0031 無(wú)故障 0.0008，0.9873，0.0046 齒根裂紋 0.0016，0.0034，0.9987 斷齒,2024/4/4,46,,神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)的應(yīng)用,2024/4/4,47,系統(tǒng)辨識(shí)在工業(yè)方面的廣泛應(yīng)用,1. 控制系統(tǒng)的分析和設(shè)計(jì) 2

34、. 在實(shí)時(shí)控制中，辨識(shí)器做為被控對(duì)象的模型， 調(diào)整控制器參數(shù)，獲得較好的控制效果 3. 建立與辨識(shí)系統(tǒng)的逆模型，做為控制器 4. 預(yù)測(cè)、預(yù)報(bào)：建立時(shí)變模型，預(yù)測(cè)其參數(shù)， 以實(shí)現(xiàn)系統(tǒng)參數(shù)的預(yù)測(cè)、預(yù)報(bào)。 5. 監(jiān)視系統(tǒng)運(yùn)行狀態(tài)，進(jìn)行故障診斷,2024/4/4,48,系統(tǒng)辨識(shí)基本原理,2024/4/4,49,2024/4/4,50,基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí),基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) 選擇適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)作為被辨識(shí)

35、系統(tǒng)P的模型、（可是線(xiàn)性系統(tǒng)，也可是非線(xiàn)性系統(tǒng)）。 辨識(shí)過(guò)程 所選的網(wǎng)絡(luò)結(jié)構(gòu)確定后，在給定的被辨識(shí)系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)下，網(wǎng)絡(luò)通過(guò)學(xué)習(xí)（訓(xùn)練），不斷的調(diào)整權(quán)系值，使得準(zhǔn)則函數(shù)為最優(yōu)。,2024/4/4,51,2024/4/4,52,在線(xiàn)辨識(shí) 系統(tǒng)運(yùn)行中完成，辨識(shí)過(guò)程應(yīng)具有實(shí)時(shí)性，即必須在一個(gè)采樣周期內(nèi)，產(chǎn)生一次 模型參數(shù)估計(jì)的調(diào)整值。 離線(xiàn)辨識(shí) 取得系統(tǒng)輸入輸出數(shù)據(jù)，存儲(chǔ)后再辨識(shí)，辨識(shí)與系統(tǒng)分離，無(wú)實(shí)時(shí)性要求。離線(xiàn)辨識(shí) 使

36、網(wǎng)絡(luò)在系統(tǒng)工作前，先完成訓(xùn)練，因輸入輸出訓(xùn)練集很難覆蓋系統(tǒng)工作范圍，難以適應(yīng)系統(tǒng)工作中參數(shù)變化。,2024/4/4,53,,克服離線(xiàn)辨識(shí)不足 先進(jìn)行離線(xiàn)訓(xùn)練，得到網(wǎng)絡(luò)的權(quán)系作為在線(xiàn)學(xué)習(xí)初始權(quán)，再進(jìn)行在線(xiàn)學(xué)習(xí)，以加快后者學(xué)習(xí)過(guò)程。 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)能力，在被辨識(shí)系統(tǒng)特性變化時(shí)，能通過(guò)調(diào)整權(quán)系值，自適應(yīng)跟蹤被辨識(shí)系統(tǒng)的變化。 神經(jīng)控制系統(tǒng)中，系統(tǒng)辨識(shí)是以系統(tǒng)在閉環(huán)控制下所得到的觀測(cè)數(shù)據(jù)進(jìn)行的，因此，是在線(xiàn)辨識(shí)。對(duì)于時(shí)變系統(tǒng)，

37、在線(xiàn)方法，實(shí)時(shí)辨識(shí)是唯一可選用的方法。,2024/4/4,54,動(dòng)態(tài)系統(tǒng)辨識(shí)常用的神經(jīng)網(wǎng)絡(luò),2024/4/4,55,非線(xiàn)性DTNN,2024/4/4,56,輸出反饋網(wǎng)絡(luò),2024/4/4,57,2024/4/4,58,內(nèi)時(shí)延反饋網(wǎng)絡(luò),是局部遞歸網(wǎng)絡(luò)，既有前饋又有反饋，是動(dòng)態(tài)網(wǎng)絡(luò)，是濾波器?？蔀閱屋斎雴屋敵觯部蔀槎噍斎攵噍敵?。,2024/4/4,59,兩種辨識(shí)結(jié)構(gòu),從神經(jīng)網(wǎng)絡(luò)（模型）的輸入輸出，與被辨識(shí)系統(tǒng)的輸入輸出關(guān)系上，可分為兩種辨

38、識(shí)結(jié)構(gòu)： 并聯(lián)型； 串—并聯(lián)型,2024/4/4,60,并聯(lián)型,2024/4/4,61,串—并聯(lián)型,2024/4/4,62,假設(shè)非線(xiàn)性對(duì)象的數(shù)學(xué)模型可以表示為：,其中f是描述系統(tǒng)特征的未知非線(xiàn)性函數(shù)，m，n分別為輸入輸出的階次。則可以利用多層前向BP網(wǎng)絡(luò)來(lái)逼近非線(xiàn)性函數(shù)，進(jìn)而估計(jì)對(duì)象的模型。,2024/4/4,63,人工神經(jīng)網(wǎng)絡(luò)的辨識(shí)技術(shù),BP網(wǎng)絡(luò)系統(tǒng)辨識(shí)原理圖,2

39、024/4/4,64,液壓伺服系統(tǒng)的辨識(shí),2024/4/4,65,風(fēng)洞的控制對(duì)象的傳遞函數(shù)：,或,假設(shè)控制對(duì)象的二階慣性加純滯后的系統(tǒng)，則,為系統(tǒng)滯后時(shí)間， 為系統(tǒng)采樣時(shí)間。觀察所得實(shí)驗(yàn)數(shù)據(jù)，可知：,2024/4/4,66,模型仿真驗(yàn)證實(shí)驗(yàn)：,Ma = 0.4,樣本數(shù)據(jù)為：Ma = 0.4, 0.6, 0.7, 0.8, 0.9, 1.0,2024/4/4,67,模型仿真驗(yàn)證實(shí)驗(yàn)：,Ma = 0.8,樣本數(shù)據(jù)為：Ma = 0.4, 0

40、.6, 0.7, 0.8, 0.9, 1.0,2024/4/4,68,模型仿真驗(yàn)證實(shí)驗(yàn)：,Ma = 1.0,樣本數(shù)據(jù)為：Ma = 0.4, 0.6, 0.7, 0.8, 0.9, 1.0,2024/4/4,69,系統(tǒng)開(kāi)環(huán)實(shí)驗(yàn)：,2024/4/4,70,,神經(jīng)控制的設(shè)計(jì)與實(shí)現(xiàn),2024/4/4,71,2024/4/4,72,,,2024/4/4,73,不確定、不確知系統(tǒng)與環(huán)境,對(duì)處于不確定、不確知環(huán)境中的復(fù)雜的非線(xiàn)性不確定、不確知系統(tǒng)的設(shè)

41、計(jì)問(wèn)題，是控制領(lǐng)域研究的核心問(wèn)題。神經(jīng)控制是解決問(wèn)題的一條途徑。 在已知被控對(duì)象的一些先驗(yàn)知識(shí)情況下： （1）由神經(jīng)網(wǎng)絡(luò)做辨識(shí)器，在線(xiàn)識(shí)別對(duì)象模型，由于網(wǎng)絡(luò)的學(xué)習(xí)能力，辨識(shí)器的參數(shù)可隨著對(duì)象、環(huán)境的變化而自適應(yīng)的改變。 （2）由神經(jīng)網(wǎng)絡(luò)做控制器，其性能隨著對(duì)象、環(huán)境的變化而自適應(yīng)的改變（通過(guò)神經(jīng)辨識(shí)器）。,2024/4/4,74,控制結(jié)構(gòu)有兩個(gè)網(wǎng)絡(luò)，在高維空間搜索尋優(yōu)，訓(xùn)練時(shí)，需調(diào)整的權(quán)系值多，且收斂速度與所選的學(xué)習(xí)算法

42、、初始權(quán)系有關(guān)，因此，系統(tǒng)設(shè)計(jì)還是有相當(dāng)難度的。,神經(jīng)控制結(jié)構(gòu)一例,2024/4/4,75,單神經(jīng)元PID控制,數(shù)字PID算法：,增量式PID控制算法：,,2024/4/4,76,基于BP神經(jīng)網(wǎng)絡(luò)的PID控制,控制器由兩部分組成：常規(guī)PID控制器：直接進(jìn)行閉環(huán)控制；神經(jīng)網(wǎng)絡(luò)NN：對(duì)PID參數(shù)進(jìn)行調(diào)整。,2024/4/4,77,基于神經(jīng)網(wǎng)絡(luò)的多電機(jī)同步控制,對(duì)于多電機(jī)同步控制系統(tǒng)來(lái)說(shuō)，實(shí)現(xiàn)的是電動(dòng)機(jī)轉(zhuǎn)速的跟隨，受到擾動(dòng)的電動(dòng)機(jī)轉(zhuǎn)速是

43、變化的，其它的電動(dòng)機(jī)跟隨這臺(tái)電動(dòng)機(jī)的轉(zhuǎn)速變化。在系統(tǒng)受到擾動(dòng)后，電動(dòng)機(jī)之間的轉(zhuǎn)速趨于同步越快越好，即應(yīng)盡快消除轉(zhuǎn)速偏差；當(dāng)電動(dòng)機(jī)之間的轉(zhuǎn)速趨于同步時(shí)，要盡量減小轉(zhuǎn)速發(fā)生超調(diào)。一般情況是要求系統(tǒng)中的第i臺(tái)電動(dòng)機(jī)轉(zhuǎn)速vi和第i+l臺(tái)電動(dòng)機(jī)轉(zhuǎn)速vi+1，之間保持一定的比例關(guān)系，即vi=a·vi+1以滿(mǎn)足系統(tǒng)的實(shí)際工藝要求。這里a為轉(zhuǎn)速同步系數(shù)。,2024/4/4,78,同步控制器補(bǔ)償同樣采用PID控制。其差值經(jīng)過(guò)PID補(bǔ)償器加到隨

44、動(dòng)電機(jī)輸入端。,2024/4/4,79,2024/4/4,80,,BP神經(jīng)網(wǎng)絡(luò)，根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，調(diào)節(jié)PID控制器的參數(shù)，以期達(dá)到某種性能指標(biāo)的最優(yōu)化，使輸出層神經(jīng)元的輸出對(duì)應(yīng)于PID控制器的3個(gè)可調(diào)參數(shù)KD、Ki、Kd。通過(guò)BP神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、加權(quán)系數(shù)的調(diào)整，使BP神經(jīng)網(wǎng)絡(luò)輸出對(duì)應(yīng)于某種最優(yōu)控制規(guī)律下的PID控制器參數(shù)。以電機(jī)作為控制對(duì)像，一般采用增量式PID控制算法進(jìn)行控制。,2024/4/4,81,比較兩種仿真結(jié)果，經(jīng)計(jì)算采用