基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究.pdf

1、基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是數(shù)據(jù)挖掘技術(shù)中的重要內(nèi)容，它主要研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，并利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測。粒計(jì)算理論是解決復(fù)雜問題的有效方法，它通過對復(fù)雜數(shù)據(jù)進(jìn)行?；?，可將它轉(zhuǎn)化為若干較為簡單的問題，從而有助于我們對復(fù)雜問題的分析與求解。其思想實(shí)質(zhì)是用簡單易求、低成本的足夠滿意近似解替代精確解，已成為人工智能、軟計(jì)算和控制科學(xué)等領(lǐng)域的研究熱點(diǎn)之一。具體地講，凡是在分析問題和求解問題中，應(yīng)用了分組、分類和聚類手段

2、的一切理論與方法均屬于粒計(jì)算的范疇。
　　人工神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘的另一種經(jīng)典方法，是模擬生物神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)智能系統(tǒng)，也是軟計(jì)算技術(shù)之一。由于人工神經(jīng)網(wǎng)絡(luò)具有信息的分布存儲、并行處理以及自學(xué)習(xí)能力等優(yōu)點(diǎn)，所以它在信息處理、模式識別、智能控制等領(lǐng)域有著難以估量的應(yīng)用價(jià)值。而神經(jīng)網(wǎng)絡(luò)集成通過訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)論進(jìn)行結(jié)合，從而達(dá)到大幅提升網(wǎng)絡(luò)泛化能力的效果。粒計(jì)算在某種程度上對神經(jīng)網(wǎng)絡(luò)都具有一定的補(bǔ)充，融合這兩種理論，研究粒計(jì)算下

3、的神經(jīng)網(wǎng)絡(luò)及集成能夠較好地解決復(fù)雜數(shù)據(jù)問題，具有重要的現(xiàn)實(shí)意義。
　　本文主要研究了基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)模型及其算法和基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)集成（Neural Network Ensemble，NNE）模型及其算法。本文的主要研究內(nèi)容包括以下幾個(gè)方面：
　　1．研究基于領(lǐng)域覆蓋和AP算法的神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)模型及其算法。AP（Affinity Propagation，AP）聚類算法無需事先定義類數(shù)，在迭代過程中不斷搜索合適的聚類

4、中心，自動從數(shù)據(jù)點(diǎn)間識別類中心的位置及個(gè)數(shù)。AP算法是一種確定性的聚類算法，多次獨(dú)立運(yùn)行的聚類結(jié)果一般都十分穩(wěn)定。覆蓋算法具有可理解性強(qiáng)、計(jì)算速度快、識別率高等優(yōu)點(diǎn)，但它用隨機(jī)的方法從數(shù)據(jù)集中選取一部分?jǐn)?shù)據(jù)作為訓(xùn)練樣本集，學(xué)習(xí)的順序在覆蓋算法中直接影響覆蓋領(lǐng)域的大小和個(gè)數(shù)，對學(xué)習(xí)的效果影響很大。用AP聚類方法作為覆蓋算法的前端處理器對復(fù)雜數(shù)據(jù)樣本進(jìn)行聚類，無需預(yù)先定義覆蓋的數(shù)量，自動地確定領(lǐng)域覆蓋的中心和半徑，完成由輸入到輸出的映射。引

5、入AP聚類算法解決了覆蓋算法初始領(lǐng)域中心隨機(jī)選取的問題。
　　2.研究基于商空間粒度聚類的個(gè)體神經(jīng)網(wǎng)絡(luò)生成和集成方法。AP聚類算法對于偏向參數(shù)P值的選取比較關(guān)鍵，這個(gè)值的大小，直接影響著最后的聚類數(shù)量。引入商空間理論，運(yùn)用粒度的分解與合成原理，調(diào)整聚類后的粒度，力求尋求適合領(lǐng)域問題的最優(yōu)粒度。在此基礎(chǔ)上，用不同類別的樣本訓(xùn)練不同的個(gè)體神經(jīng)網(wǎng)絡(luò)，產(chǎn)生差異度較大的個(gè)體神經(jīng)網(wǎng)絡(luò)。個(gè)體神經(jīng)網(wǎng)絡(luò)的數(shù)目等于樣本類別數(shù)目，確定NNE的結(jié)構(gòu)。根據(jù)

6、輸入數(shù)據(jù)與樣本類別之間的相關(guān)程度自適應(yīng)調(diào)整集成權(quán)值，提高NNE的集成精度。
　　3．研究基于二次聚類的個(gè)體神經(jīng)網(wǎng)絡(luò)生成方法。NNE中個(gè)體網(wǎng)絡(luò)之間的差異度對NNE的泛化性能至關(guān)重要，為了提高個(gè)體神經(jīng)網(wǎng)絡(luò)的精度及差異度進(jìn)而提高NNE的性能，通過變換網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，使得樣本能夠反應(yīng)真實(shí)的數(shù)據(jù)分布，增加訓(xùn)練數(shù)據(jù)間的差異以此增大網(wǎng)絡(luò)間的差異度，進(jìn)而提高NNE的性能。首先用交叉驗(yàn)證方法劃分原始數(shù)據(jù)集，接著對所有樣本進(jìn)行聚類，得到第一次聚類樣本

7、子集，然后對每一類樣本子集進(jìn)行二次聚類得到每一子類的樣本子集，通過AP聚類使得“類內(nèi)相似，類間相異”的準(zhǔn)則最大化，類內(nèi)樣本能夠反應(yīng)真實(shí)的數(shù)據(jù)分布，最后按照排列組合的方式從二次聚類的每個(gè)樣本子集中選取一類樣本構(gòu)成訓(xùn)練集。交叉驗(yàn)證方法從多個(gè)角度學(xué)習(xí)樣本，訓(xùn)練樣本和驗(yàn)證樣本都盡可能參與學(xué)習(xí)，避免陷入局部最小值，能夠取得較好的效果。這樣在網(wǎng)絡(luò)的訓(xùn)練過程中，對每一個(gè)子網(wǎng)的訓(xùn)練集都采用不同的方式進(jìn)行選?。；?，使訓(xùn)練樣本能夠反映原始樣本真實(shí)的數(shù)據(jù)

8、分布，增加訓(xùn)練數(shù)據(jù)間的差異以此增大網(wǎng)絡(luò)間的差異度，用這種方法產(chǎn)生的個(gè)體神經(jīng)網(wǎng)絡(luò)進(jìn)行集成具有較高的性能。
　　4．研究多側(cè)面多粒度神經(jīng)網(wǎng)絡(luò)集成優(yōu)化方法。根據(jù)人類認(rèn)知復(fù)雜事物時(shí)分側(cè)面、多角度考慮最后權(quán)衡作出判斷的分而治之的思想，結(jié)合特征選擇算法，從多個(gè)側(cè)面劃分?jǐn)?shù)據(jù)集的屬性粒，在不同屬性粒和對應(yīng)的樣本子集上構(gòu)造多個(gè)多粒度個(gè)體神經(jīng)網(wǎng)絡(luò)參與集成，從多側(cè)面、多角度變換訓(xùn)練數(shù)據(jù)集劃分屬性粒及其對應(yīng)的樣本子集，構(gòu)建差異度較大的個(gè)體神經(jīng)網(wǎng)絡(luò)，通過計(jì)