選擇性神經(jīng)網(wǎng)絡(luò)集成算法研究.pdf

1、集成學(xué)習(xí)已經(jīng)成為近年來機(jī)器學(xué)習(xí)領(lǐng)域的熱點之一，其中選擇性的集成方法由于其在適應(yīng)性、推廣性、組合性等方面的優(yōu)勢成為集成學(xué)習(xí)的一個重要方向。本文以神經(jīng)網(wǎng)絡(luò)集成為研究對象，利用信息論和計算科學(xué)等相關(guān)領(lǐng)域的理論和方法對選擇性集成算法進(jìn)行了深入的研究，提出了多種高性能的選擇性集成的方法，并對算法的機(jī)理、性能、參數(shù)選擇以及差異度等問題進(jìn)行了深入的探討。具體來說進(jìn)行了以下幾方面的工作。 對采用全局優(yōu)化策略的選擇性神經(jīng)網(wǎng)絡(luò)集成算法進(jìn)行了進(jìn)一步研

2、究。引入兩種高性能全局優(yōu)化算法一粒子群優(yōu)化(PSO)和蟻群優(yōu)化(ACO)算法用于神經(jīng)網(wǎng)絡(luò)集成的構(gòu)建，分別提出了基于離散二進(jìn)制粒子群優(yōu)化(BPSO)的神經(jīng)網(wǎng)絡(luò)優(yōu)選集成方法和基于蟻群優(yōu)化的神經(jīng)網(wǎng)絡(luò)優(yōu)選集成算法。基于BPSO的優(yōu)選集成算法用刀維離散O-1空間的一個位置對應(yīng)于一個可能的神經(jīng)網(wǎng)絡(luò)集成，將選擇性集成問題轉(zhuǎn)化為粒子在離散二進(jìn)制空間尋找最優(yōu)位置的粒子群優(yōu)化問題?；贏CO的優(yōu)選集成算法在構(gòu)建求解模型時，采用信息素反映神經(jīng)網(wǎng)絡(luò)個體精確度，

3、差異度啟發(fā)信息反映神經(jīng)網(wǎng)絡(luò)個體的差異度，有效地提高了搜索效率和預(yù)測精度。 對采用聚類選擇策略的選擇性神經(jīng)網(wǎng)絡(luò)集成算法進(jìn)行了進(jìn)一步研究。針對傳統(tǒng)k-均值聚類方法對數(shù)據(jù)分布要求嚴(yán)格的局限，采用譜聚類(SC)的思想和方法提出了基于譜聚類的神經(jīng)網(wǎng)絡(luò)優(yōu)選集成算法。算法采用互信息描述神經(jīng)網(wǎng)絡(luò)個體的差異程度，并將神經(jīng)網(wǎng)絡(luò)個體按相似程度進(jìn)行聚類后，挑選每一類的一個代表構(gòu)建神經(jīng)網(wǎng)絡(luò)集成。譜聚類方法將所有神經(jīng)網(wǎng)絡(luò)個體映射到低維譜空間，保證了聚類的準(zhǔn)

4、確性，從而提高了由聚類選擇獲得的神經(jīng)網(wǎng)絡(luò)集成的性能。 提出了神經(jīng)網(wǎng)絡(luò)組合集成的思想，即將神經(jīng)網(wǎng)絡(luò)集成作為廣義神經(jīng)網(wǎng)絡(luò)集成的一個個體，通過調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)個體的加權(quán)組合系數(shù)的方式調(diào)節(jié)成員神經(jīng)網(wǎng)絡(luò)集成的差異度，進(jìn)而提高神經(jīng)網(wǎng)絡(luò)集成的性能。提出了基于該思想的兩種算法：基于最小信息損失的神經(jīng)網(wǎng)絡(luò)組合集成-EoE-MIL算法和基于最大獨立性的神經(jīng)網(wǎng)絡(luò)組合集成方法—EoE-AI算法。EoE-MIL算法以保證集成構(gòu)建過程中信息最小損失為原則，利用

5、協(xié)方差矩陣主要特征值對應(yīng)的特征向量將神經(jīng)網(wǎng)絡(luò)個體進(jìn)行線性組合，特征向量的線性無關(guān)保證組合集成中各個神經(jīng)網(wǎng)絡(luò)集成的差異性。EoE-AI算法將Kullback-Leibler信息距離作為各神經(jīng)網(wǎng)絡(luò)統(tǒng)計獨立性的度量，并以此為基礎(chǔ)以保證組合集成的每個個體(神經(jīng)網(wǎng)絡(luò)集成)的最大獨立性為原則構(gòu)建神經(jīng)網(wǎng)絡(luò)組合集成。兩種算法在提高系統(tǒng)預(yù)測性能的同時也具有一定的根據(jù)問題選擇模型的能力。此外，論文還對神經(jīng)網(wǎng)絡(luò)集成中的差異度進(jìn)行了討論。 未來的研究將