基于數(shù)據(jù)分布特征的主動學(xué)習(xí)算法研究.pdf

1、隨著機器學(xué)習(xí)研究的不斷深入，學(xué)習(xí)算法所能處理的數(shù)據(jù)規(guī)模越來越龐大。然而，對數(shù)據(jù)進行標注一般仍需要人工完成，所消耗的成本日益成為限制機器學(xué)習(xí)發(fā)展的瓶頸。主動學(xué)習(xí)通過讓機器主動地挑選學(xué)習(xí)樣本，能夠避免對冗余數(shù)據(jù)進行標注，極大地降低標簽成本。
　　傳統(tǒng)的主動學(xué)習(xí)方法在挑選無標簽樣本時，只考慮樣本對當前已學(xué)得的模型的信息量，而沒有考慮了數(shù)據(jù)集的整體分布特征，存在一些明顯的不足：
　?。?）主動挑選出來的數(shù)據(jù)集中仍存在較多冗余樣本；<

2、br>　?。?）主動學(xué)習(xí)容易陷入局部最優(yōu)解；
　?。?）傳統(tǒng)主動學(xué)習(xí)方法對信息利用不夠充分。
　　為了克服這些不足，本文針對主動學(xué)習(xí)支持向量機研究了以下內(nèi)容：
　?。?）研究了一種基于半監(jiān)督聚類的主動學(xué)習(xí)支持向量機。選擇引擎在挑選樣本時不再以當前模型作為唯一依據(jù)。選擇引擎首先將特定區(qū)域內(nèi)的樣本聚成兩個樣本簇，然后選擇兩個簇交界處附近的樣本。根據(jù)聚類假設(shè)，這樣的樣本有較大的概率成為最終模型的支持向量。實驗結(jié)果表明，這種改

3、進的樣本選擇方法有效降低了主動學(xué)習(xí)挑選出來的樣本集的冗余性。
　?。?）研究了一種新的主動學(xué)習(xí)停止標準。該方法同樣以聚類假設(shè)的思想為基礎(chǔ)，認為主動學(xué)習(xí)應(yīng)該在分類超平面落在特征空間的稀疏區(qū)域時停止。為了判斷分類面是否落在稀疏區(qū)域，提出了一種基于隨機搜索的正則化圖分割算法。正則化圖分割（Normalized Graph Cut，縮寫Ncut）是實現(xiàn)低密度分割思想的代表性方法。如果SVM的分類結(jié)果與 Ncut得到的結(jié)果非常相似，則表明當

4、前 SVM模型的分類面已落在稀疏區(qū)域，主動學(xué)習(xí)可以停止。實驗結(jié)果表明，這種新的停止標準在標簽成本與模型泛化能力之間取得了較好的平衡。
　　（3）研究了一種基于特征選擇的主動學(xué)習(xí)方法。該方法在主動學(xué)習(xí)的早期階段只使用少數(shù)主要特征來描述整個數(shù)據(jù)集，從而使主動學(xué)習(xí)得到的模型能夠迅速抓住數(shù)據(jù)集的整體分布特征，降低陷入差的局部最優(yōu)解的可能性。隨著主動學(xué)習(xí)的進行，有標簽樣本數(shù)量逐漸增大，再逐漸增加數(shù)據(jù)集的細節(jié)特征，以進一步提高模型精度。實驗結(jié)