非線性維數(shù)約減算法中若干關鍵問題的研究.pdf

1、維數(shù)約減是處理多維數(shù)據(jù)的一個重要步驟,是機器學習中的一個重要研究課題,尤其是非線性維數(shù)約減技術已經(jīng)成為機器學習中的一個研究熱點.本文針對非線性維數(shù)約減算法中的若干關鍵問題進行了研究. 首先,分析和比較了基于應力函數(shù)的評價模型、基于剩余方差的評價模型和基于DY-DX表示法的評價模型,提出了一種基于距離比例方差的評價模型.實驗結果表明,利用該模型不但可以評判同一算法在不同參數(shù)下的映射效果,而且可以比較不同算法之間的嵌入質(zhì)量.同時還討

2、論了如何利用應力函數(shù)、剩余方差和距離比例方差來確定鄰域參數(shù)和低維空間的維數(shù). 其次,研究了增量式非線性維數(shù)約減算法問題,通過改進增量式ISOMAP算法得到了基于距離保持的增量式算法,提出了基于拓樸保持的增量式算法和基于k近鄰投影的增量式算法,這三種算法都可以較為中肯地將訓練集之外的樣本映射到低維空間中.理論分析和實驗結果表明,基于距離保持的增量式算法具有較好的映射質(zhì)量,基于拓樸保持的增量式算法具有較高的效率,但它們都只是對ISO

3、MAP算法的擴展.而基于k近鄰投影的增量式算法同時具有較好的映射質(zhì)量和較高的計算效率,而且可以作為任一種非線性維數(shù)約減算法的擴展.對于含噪聲的數(shù)據(jù),由于新樣本的低維嵌入與訓練集的低維坐標無關,基于拓樸保持的增量式算法對噪聲不太敏感.而其他兩種算法只要在映射訓練樣本時較好地處理了噪聲,就可以忽略噪聲的影響. 最后,本文討論了非線性維數(shù)約減算法在分類和聚類中的應用.在指紋分類和文本分類中的實驗結果表明,通過結合非線性維數(shù)約減算法和分