基于聯(lián)合稀疏和局部線性的極限學習機及應用.pdf

1、隨著人工智能的深入發(fā)展，機器學習已逐漸成為人工智能研究的核心內容之一，它的應用已遍及人工智能的各個分支，如計算機視覺、模式識別、智能機器人、專家系統(tǒng)、自動推理、自然語言理解等領域。作為機器學習主要研究內容的人工神經網絡能夠模擬生物神經網絡的運行模式，可以出色地執(zhí)行學習、分類、回歸等任務，受到了廣泛的關注和研究。本文重點研究其中的一類人工神經網絡----極限學習機(ELM)。極限學習機是一種基于隨機隱節(jié)點(hidden units或hid

2、den nodes)的神經網絡，與傳統(tǒng)人工神經網絡相比，一是它的訓練成本極低；二是它可以獲得全局最優(yōu)解；三是它設計靈活簡單易于非機器學習領域學者實現(xiàn)；四是它可以在同一個框架下解決壓縮、特征提取、聚類、回歸、分類等多個機器學習領域的研究問題。但是，極限學習機也存在自身的弱點，比如隱層規(guī)模過大會影響算法測試效率，對于一些實際問題分類、回歸精度不高等進行了研究。
　　本研究主要內容包括：⑴提出了一種基于聯(lián)合稀疏正則的半監(jiān)督剪枝極限學習機

3、（S3ELM）的分類算法，該算法目的是在保證分類精度的前提下，精簡極限學習機網絡規(guī)模，加快算法的測試速度，與以往剪枝算法不同，該算法基于-范數(shù)正則項，因此是非貪婪式的剪枝算法，而半監(jiān)督正則項的加入也使算法在只有較少標簽信息的條件下獲得更為出色的分類效果。我們在人工數(shù)據集、UCI數(shù)據集、人臉數(shù)據集上的數(shù)值實驗表明，該算法可以很好地優(yōu)化極限學習機網絡結構、精簡網絡規(guī)模、在保證分類效果的同時大大減少測試時間。⑵給出了分片線性可分的數(shù)據集在經過

4、一個合適的線性投影之后仍然可以保持線性可分的理論性質，并在此基礎之上提出了一個線性維數(shù)約減算法。受此理論的啟發(fā)，提出了基于局部線性可分性的極限學習機（LLS-ELM）算法，與傳統(tǒng)極限學習機隨機隱節(jié)點獨立于數(shù)據的設計不同，該算法依賴于訓練數(shù)據的分布，但同時保持了極限學習機隨機隱節(jié)點的特點，由于隨機隱節(jié)點與數(shù)據相關，算法可以在只有很少隨機隱節(jié)點的條件下提供理想的分類精度，這從側面達到了快速簡化極限學習機網絡結構的目的。本論文選擇了一個人工數(shù)

5、據集和六個 UCI數(shù)據集對該算法加以測試，實驗結果充分驗證了該算法具有提高算法精度、提升算法測試效率并保持極限學習機學習速度快的優(yōu)點。⑶提出了一種基于極限學習機的局部標簽近似聚類算法(LLAELM)，該算法利用極限學習機替代了局部學習聚類算法中的核嶺回歸分類器，由于極限學習機具有參數(shù)少、判決函數(shù)簡單、高準確度等特點，使該算法可以在更少參數(shù)條件下，獲得與基于核嶺回歸的局部學習聚類算法相當甚至更好的聚類效果。我們使用了大量的數(shù)據集測試該算法

6、，數(shù)值實驗結果表明，利用該算法進行降維后的大部分數(shù)據都可以獲得更優(yōu)的聚類效果。⑷將極限學習機用于高光譜圖像分類，并提出了一種基于空間近鄰的半監(jiān)督極限學習機算法(SNS-ELM)，該算法針對高光譜圖像空間相鄰的像素通常屬于相同的類別這一屬性，采用圖拉普拉斯正則的方式開發(fā)空間鄰域信息，并提出了相應的數(shù)學模型，為了能夠求解這一模型，我們給出了一個基于交替方向迭代的算法，并推導了兩個方向的迭代公式，該算法可以非常直觀地將有標簽數(shù)據的信息向無標簽