深度極限學(xué)習(xí)機(jī)的研究與應(yīng)用.pdf

1、近年來，深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的一項(xiàng)新興研究，其多隱含層的神經(jīng)網(wǎng)絡(luò)架構(gòu)有助于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層的特征抽取以形成數(shù)據(jù)的高階表示；貪婪的逐層無監(jiān)督訓(xùn)練可以作為有監(jiān)督參數(shù)微調(diào)過程的初始化設(shè)置，解決大數(shù)據(jù)時(shí)代訓(xùn)練標(biāo)簽難以獲取的難題。但是，深度神經(jīng)網(wǎng)絡(luò)的有監(jiān)督訓(xùn)練多采用基于梯度的優(yōu)化準(zhǔn)則，在該學(xué)習(xí)框架中，所有的隱含層參數(shù)需要迭代訓(xùn)練，因此，深度結(jié)構(gòu)難以以快速的學(xué)習(xí)速率實(shí)現(xiàn)良好的泛化性能。
　　針對基于梯度類學(xué)習(xí)算法訓(xùn)練速度慢、泛化性

2、能差等缺點(diǎn)，黃廣斌等人提出了一種簡便、高效的訓(xùn)練策略——極限學(xué)習(xí)機(jī)(ELM)。在該策略中，單隱層前饋神經(jīng)網(wǎng)絡(luò)根據(jù)某種概率分布隨機(jī)選取隱含層輸出，避免了參數(shù)的迭代微調(diào)；鑒于其學(xué)習(xí)速率快、泛化性能好、不易陷入局部最優(yōu)，ELM被廣泛應(yīng)用于各種分類和回歸問題。然而，ELM的單隱層結(jié)構(gòu)制約了其捕捉高維度數(shù)據(jù)中有效特征的能力，因此難以適用于大數(shù)據(jù)時(shí)代日益膨脹的數(shù)據(jù)。
　　基于以上兩種算法，黃廣斌等人提出一種深度多層極限學(xué)習(xí)機(jī)算法，多層的神經(jīng)網(wǎng)

3、絡(luò)結(jié)構(gòu)使其可以提取出數(shù)據(jù)中高層次的抽象信息；ELM的理論避免了網(wǎng)絡(luò)權(quán)值的反復(fù)迭代調(diào)整，提高了計(jì)算效率；半監(jiān)督的逐層訓(xùn)練機(jī)制解決了很多實(shí)際問題中訓(xùn)練標(biāo)簽難以獲取的問題。因此，深度多層極限學(xué)習(xí)機(jī)能同時(shí)有效地解決大數(shù)據(jù)時(shí)代高維度，大數(shù)據(jù)，獲取標(biāo)記樣本難、構(gòu)造特征難、訓(xùn)練難等問題。
　　針對深度極限學(xué)習(xí)機(jī)(DELM)算法，本文主要做了以下研究：
　　(1)在機(jī)器人抓取識別任務(wù)中，針對RGB信息和Depth信息融合問題，本文采用多模態(tài)

4、深度極限學(xué)習(xí)機(jī)(MM-DELM)作為多模態(tài)融合模型訓(xùn)練方案，可以有效地學(xué)習(xí)并融合RGB模態(tài)和Depth模態(tài)中的原始像素信息，并在Cornell Grasping數(shù)據(jù)集上進(jìn)行驗(yàn)證。
　　(2)通過實(shí)驗(yàn)證明，MM-DELM訓(xùn)練算法極大地改善了識別的準(zhǔn)確率，并且遵循著類似ELM的收斂性，其性能在廣泛的參數(shù)取值空間內(nèi)很穩(wěn)定，不同的參數(shù)選擇并不會(huì)造成模型性能大范圍的變動(dòng)。因此，為本文的參數(shù)選擇提供了依據(jù)。
　　(3)在時(shí)間序列預(yù)測任務(wù)