選擇性神經(jīng)網(wǎng)絡集成算法研究.pdf

1、集成學習已經(jīng)成為近年來機器學習領域的熱點之一，其中選擇性的集成方法由于其在適應性、推廣性、組合性等方面的優(yōu)勢成為集成學習的一個重要方向。本文以神經(jīng)網(wǎng)絡集成為研究對象，利用信息論和計算科學等相關領域的理論和方法對選擇性集成算法進行了深入的研究，提出了多種高性能的選擇性集成的方法，并對算法的機理、性能、參數(shù)選擇以及差異度等問題進行了深入的探討。具體來說進行了以下幾方面的工作。 對采用全局優(yōu)化策略的選擇性神經(jīng)網(wǎng)絡集成算法進行了進一步研

2、究。引入兩種高性能全局優(yōu)化算法一粒子群優(yōu)化(PSO)和蟻群優(yōu)化(ACO)算法用于神經(jīng)網(wǎng)絡集成的構建，分別提出了基于離散二進制粒子群優(yōu)化(BPSO)的神經(jīng)網(wǎng)絡優(yōu)選集成方法和基于蟻群優(yōu)化的神經(jīng)網(wǎng)絡優(yōu)選集成算法?；贐PSO的優(yōu)選集成算法用刀維離散O-1空間的一個位置對應于一個可能的神經(jīng)網(wǎng)絡集成，將選擇性集成問題轉(zhuǎn)化為粒子在離散二進制空間尋找最優(yōu)位置的粒子群優(yōu)化問題?；贏CO的優(yōu)選集成算法在構建求解模型時，采用信息素反映神經(jīng)網(wǎng)絡個體精確度，

3、差異度啟發(fā)信息反映神經(jīng)網(wǎng)絡個體的差異度，有效地提高了搜索效率和預測精度。 對采用聚類選擇策略的選擇性神經(jīng)網(wǎng)絡集成算法進行了進一步研究。針對傳統(tǒng)k-均值聚類方法對數(shù)據(jù)分布要求嚴格的局限，采用譜聚類(SC)的思想和方法提出了基于譜聚類的神經(jīng)網(wǎng)絡優(yōu)選集成算法。算法采用互信息描述神經(jīng)網(wǎng)絡個體的差異程度，并將神經(jīng)網(wǎng)絡個體按相似程度進行聚類后，挑選每一類的一個代表構建神經(jīng)網(wǎng)絡集成。譜聚類方法將所有神經(jīng)網(wǎng)絡個體映射到低維譜空間，保證了聚類的準

4、確性，從而提高了由聚類選擇獲得的神經(jīng)網(wǎng)絡集成的性能。 提出了神經(jīng)網(wǎng)絡組合集成的思想，即將神經(jīng)網(wǎng)絡集成作為廣義神經(jīng)網(wǎng)絡集成的一個個體，通過調(diào)節(jié)神經(jīng)網(wǎng)絡個體的加權組合系數(shù)的方式調(diào)節(jié)成員神經(jīng)網(wǎng)絡集成的差異度，進而提高神經(jīng)網(wǎng)絡集成的性能。提出了基于該思想的兩種算法：基于最小信息損失的神經(jīng)網(wǎng)絡組合集成-EoE-MIL算法和基于最大獨立性的神經(jīng)網(wǎng)絡組合集成方法—EoE-AI算法。EoE-MIL算法以保證集成構建過程中信息最小損失為原則，利用

5、協(xié)方差矩陣主要特征值對應的特征向量將神經(jīng)網(wǎng)絡個體進行線性組合，特征向量的線性無關保證組合集成中各個神經(jīng)網(wǎng)絡集成的差異性。EoE-AI算法將Kullback-Leibler信息距離作為各神經(jīng)網(wǎng)絡統(tǒng)計獨立性的度量，并以此為基礎以保證組合集成的每個個體(神經(jīng)網(wǎng)絡集成)的最大獨立性為原則構建神經(jīng)網(wǎng)絡組合集成。兩種算法在提高系統(tǒng)預測性能的同時也具有一定的根據(jù)問題選擇模型的能力。此外，論文還對神經(jīng)網(wǎng)絡集成中的差異度進行了討論。 未來的研究將