選擇性神經(jīng)網(wǎng)絡(luò)集成算法研究.pdf_第1頁
已閱讀1頁,還剩123頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、集成學(xué)習(xí)已經(jīng)成為近年來機(jī)器學(xué)習(xí)領(lǐng)域的熱點之一,其中選擇性的集成方法由于其在適應(yīng)性、推廣性、組合性等方面的優(yōu)勢成為集成學(xué)習(xí)的一個重要方向。本文以神經(jīng)網(wǎng)絡(luò)集成為研究對象,利用信息論和計算科學(xué)等相關(guān)領(lǐng)域的理論和方法對選擇性集成算法進(jìn)行了深入的研究,提出了多種高性能的選擇性集成的方法,并對算法的機(jī)理、性能、參數(shù)選擇以及差異度等問題進(jìn)行了深入的探討。具體來說進(jìn)行了以下幾方面的工作。 對采用全局優(yōu)化策略的選擇性神經(jīng)網(wǎng)絡(luò)集成算法進(jìn)行了進(jìn)一步研

2、究。引入兩種高性能全局優(yōu)化算法一粒子群優(yōu)化(PSO)和蟻群優(yōu)化(ACO)算法用于神經(jīng)網(wǎng)絡(luò)集成的構(gòu)建,分別提出了基于離散二進(jìn)制粒子群優(yōu)化(BPSO)的神經(jīng)網(wǎng)絡(luò)優(yōu)選集成方法和基于蟻群優(yōu)化的神經(jīng)網(wǎng)絡(luò)優(yōu)選集成算法。基于BPSO的優(yōu)選集成算法用刀維離散O-1空間的一個位置對應(yīng)于一個可能的神經(jīng)網(wǎng)絡(luò)集成,將選擇性集成問題轉(zhuǎn)化為粒子在離散二進(jìn)制空間尋找最優(yōu)位置的粒子群優(yōu)化問題?;贏CO的優(yōu)選集成算法在構(gòu)建求解模型時,采用信息素反映神經(jīng)網(wǎng)絡(luò)個體精確度,

3、差異度啟發(fā)信息反映神經(jīng)網(wǎng)絡(luò)個體的差異度,有效地提高了搜索效率和預(yù)測精度。 對采用聚類選擇策略的選擇性神經(jīng)網(wǎng)絡(luò)集成算法進(jìn)行了進(jìn)一步研究。針對傳統(tǒng)k-均值聚類方法對數(shù)據(jù)分布要求嚴(yán)格的局限,采用譜聚類(SC)的思想和方法提出了基于譜聚類的神經(jīng)網(wǎng)絡(luò)優(yōu)選集成算法。算法采用互信息描述神經(jīng)網(wǎng)絡(luò)個體的差異程度,并將神經(jīng)網(wǎng)絡(luò)個體按相似程度進(jìn)行聚類后,挑選每一類的一個代表構(gòu)建神經(jīng)網(wǎng)絡(luò)集成。譜聚類方法將所有神經(jīng)網(wǎng)絡(luò)個體映射到低維譜空間,保證了聚類的準(zhǔn)

4、確性,從而提高了由聚類選擇獲得的神經(jīng)網(wǎng)絡(luò)集成的性能。 提出了神經(jīng)網(wǎng)絡(luò)組合集成的思想,即將神經(jīng)網(wǎng)絡(luò)集成作為廣義神經(jīng)網(wǎng)絡(luò)集成的一個個體,通過調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)個體的加權(quán)組合系數(shù)的方式調(diào)節(jié)成員神經(jīng)網(wǎng)絡(luò)集成的差異度,進(jìn)而提高神經(jīng)網(wǎng)絡(luò)集成的性能。提出了基于該思想的兩種算法:基于最小信息損失的神經(jīng)網(wǎng)絡(luò)組合集成-EoE-MIL算法和基于最大獨立性的神經(jīng)網(wǎng)絡(luò)組合集成方法—EoE-AI算法。EoE-MIL算法以保證集成構(gòu)建過程中信息最小損失為原則,利用

5、協(xié)方差矩陣主要特征值對應(yīng)的特征向量將神經(jīng)網(wǎng)絡(luò)個體進(jìn)行線性組合,特征向量的線性無關(guān)保證組合集成中各個神經(jīng)網(wǎng)絡(luò)集成的差異性。EoE-AI算法將Kullback-Leibler信息距離作為各神經(jīng)網(wǎng)絡(luò)統(tǒng)計獨立性的度量,并以此為基礎(chǔ)以保證組合集成的每個個體(神經(jīng)網(wǎng)絡(luò)集成)的最大獨立性為原則構(gòu)建神經(jīng)網(wǎng)絡(luò)組合集成。兩種算法在提高系統(tǒng)預(yù)測性能的同時也具有一定的根據(jù)問題選擇模型的能力。此外,論文還對神經(jīng)網(wǎng)絡(luò)集成中的差異度進(jìn)行了討論。 未來的研究將

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論