極端學(xué)習(xí)機(jī)的有效計(jì)算.pdf

1、極端學(xué)習(xí)機(jī)(extremelearningmachine)(簡(jiǎn)稱(chēng)ELM)是一種基于前饋神經(jīng)網(wǎng)絡(luò)的快速學(xué)習(xí)算法，該算法任意給定權(quán)值和偏置，只要滿(mǎn)足激活函數(shù)是連續(xù)可微的，那么輸出權(quán)值就被唯一確定，而權(quán)值的確定是通過(guò)求隱含層輸出矩陣的摩爾彭羅斯廣義逆得到的，是一個(gè)線性系統(tǒng)。在絕大多數(shù)情況下，該算法的速度是很快的，但是當(dāng)遇到對(duì)于大樣本集的問(wèn)題(樣例個(gè)數(shù)特別多的時(shí)候)，若想得到很好的泛化能力，就會(huì)用到更多的隱含節(jié)點(diǎn)，學(xué)習(xí)速度就會(huì)大大減慢。

2、　　本文針對(duì)該算法在大規(guī)模數(shù)據(jù)集學(xué)習(xí)速度慢的情況，提出兩種簡(jiǎn)單快速計(jì)算摩爾彭羅斯廣義逆的算法，在泛化能力達(dá)到要求的情況下，大大加快了極端學(xué)習(xí)機(jī)的學(xué)習(xí)速度。前一種方法充分利用小矩陣求解速度快這一特點(diǎn)，把較大的矩陣轉(zhuǎn)化成小矩陣來(lái)計(jì)算，后一種方法充分利用極端學(xué)習(xí)機(jī)算法的核心(求解線性模型)，進(jìn)而用一種高效的快速解線性模型的方法求解摩爾彭羅斯廣義逆。將兩種方法得到的不同極端學(xué)習(xí)機(jī)用于UCI數(shù)據(jù)集中，分別與其他方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明這兩種極端