基于集成學(xué)習(xí)的極限學(xué)習(xí)機(jī)的算法研究.pdf

1、神經(jīng)網(wǎng)絡(luò)一直以來(lái)都很難被廣泛應(yīng)用于實(shí)時(shí)計(jì)算領(lǐng)域,其中最主要的原因是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間太長(zhǎng)導(dǎo)致的計(jì)算效率較低,近年來(lái),極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)的提出使得前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間大大縮短,重新燃起了科研人員對(duì)于神經(jīng)網(wǎng)絡(luò)應(yīng)用的重視,然而但當(dāng)原始數(shù)據(jù)混雜入大量噪聲變量的時(shí)候,極限學(xué)習(xí)機(jī)算法的分類(lèi)和回歸正確率卻有極大程度的下降,這就對(duì)極限學(xué)習(xí)機(jī)的魯棒性提出了新的要求。集成學(xué)習(xí)算法的應(yīng)用有效的提升了機(jī)器

2、學(xué)習(xí)系統(tǒng)的魯棒性,因此我們思考利用集成學(xué)習(xí)的優(yōu)勢(shì)特性來(lái)彌補(bǔ)極限學(xué)習(xí)機(jī)的弱勢(shì)特性從而改善極限學(xué)習(xí)機(jī)的魯棒性差的缺陷。本論文旨在討論基于集成學(xué)習(xí)的極限學(xué)習(xí)機(jī)的算法研究及其在高維度混雜數(shù)據(jù)條件下的應(yīng)用。
　　本論文提出了三種新算法 EOP-ELM,AEOP-ELM和 LARSEN-ELM解決了極限學(xué)習(xí)機(jī)算法魯棒性的問(wèn)題,特別是 LARSEN-ELM能夠在高維度混雜數(shù)據(jù)條件下工作良好,主要是因?yàn)橐韵略?新算法 LARSEN-ELM首先采

3、取了對(duì)數(shù)據(jù)進(jìn)行特征提取的預(yù)處理步驟,在這里利用 LARS算法選取與輸出結(jié)果最為關(guān)聯(lián)的輸入數(shù)據(jù)從而加強(qiáng)輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的關(guān)聯(lián)度,這就從本質(zhì)上確保了算法的魯棒性。其次我們將一組原始的極限學(xué)習(xí)機(jī)作為算法訓(xùn)練的內(nèi)核,這樣可以加快算法訓(xùn)練速度降低訓(xùn)練耗時(shí)。最后我們利用了選擇性集成的魯棒性特點(diǎn)針對(duì)內(nèi)核進(jìn)行有效篩選,并均值集成選擇出的最優(yōu)內(nèi)核,從另外一個(gè)角度上確保了算法的魯棒性效果,以上步驟形成我們 LARSEN-ELM算法的整體框架,我們從理