基于聚類與流形正則化的分類方法研究.pdf

1、分類器設(shè)計一直是模式識別領(lǐng)域研究的重要課題之一。近十年來,隨著統(tǒng)計學(xué)習(xí)和核函數(shù)理論的深入研究,涌現(xiàn)出許多新方法。這些理論和方法較好地解決了模式分類中的局部最優(yōu)、過擬合以及維數(shù)災(zāi)難等問題。然而,在以支持向量機為代表的核分類方法的基礎(chǔ)上,近年來又涌現(xiàn)出了一些新的研究熱點,這些新的熱點往往是傳統(tǒng)模式分類方法存在的弊端,例如,海量高維數(shù)據(jù)的分類、類重疊和噪聲干擾下的數(shù)據(jù)分類、多標(biāo)記數(shù)據(jù)分類、類不平衡數(shù)據(jù)的分類、非線性分類中的核函數(shù)(矩陣)優(yōu)化以

2、及非線性快速分類等等。在此背景下,本文主要從快速魯棒聚類算法、不平衡樣本的分類、核優(yōu)化、基于流形正則化的快速半監(jiān)督分類等幾個方面進行深入研究,提出了解決類不平衡、核優(yōu)化以及快速分類的新方法。
　　論文的主要研究工作包括以下四個方面的內(nèi)容:
　　(1)針對實際應(yīng)用中樣本重疊以及噪聲干擾問題,提出了一種基于樣本加權(quán)的可能性模糊聚類算法和一種魯棒可能性模糊核聚類算法。第一種聚類算法主要解決近似線性可分問題,算法通過為孤立點或噪聲點

3、賦予較小的權(quán)重縮小典型值的收斂范圍,減小其對聚類的影響。在分析算法收斂性的基礎(chǔ)上,證明了其具有比傳統(tǒng)IPCM(ImprovedPossibilisticC-Means)算法更快的收斂速度,在有效降低時間復(fù)雜度的同時能夠取得較好的聚類準(zhǔn)確率。第二種聚類算法主要解決線性不可分問題,同時,為解決無監(jiān)督條件下的核函數(shù)參數(shù)選擇問題,提出了一種核函數(shù)參數(shù)優(yōu)化方法。因此,所提出的聚類算法不僅可以同時處理線性不可分和部分重疊數(shù)據(jù)集,而且具有更強的魯棒性

4、,在噪聲干擾下能夠取得較好的聚類準(zhǔn)確率。
　　(2)針對實際應(yīng)用中正負樣本數(shù)量分布不平衡分類問題,基于兩種魯棒聚類算法,建立了可能性模糊支持向量機(PossibilisticFuzzySupportVectorMachine,PFSVM)模型,提出了基于可能性模糊聚類的不平衡數(shù)據(jù)分類方法。所設(shè)計的分類器較好地解決了分類中的類不平衡、孤立點和噪聲干擾問題,通過魯棒聚類算法為訓(xùn)練樣本分配模糊隸屬度和典型值,減小了孤立點和噪聲對SVM的

5、分類精度以及泛化能力所造成的影響。
　　(3)針對多核學(xué)習(xí)效率較低以及需要預(yù)先定義一組核函數(shù)等缺陷,建立了無監(jiān)督非參數(shù)核學(xué)習(xí)模型,該模型易于拓展至有監(jiān)督學(xué)習(xí)。提出了非參數(shù)核學(xué)習(xí)分類方法。該方法通過對多核學(xué)習(xí)優(yōu)化問題進行放松,使其可以轉(zhuǎn)化為一系列的稀疏特征值分解子問題,每次迭代中只需進行閉合解的計算,從而提高了核學(xué)習(xí)的性能和效率。所建立的模型通過把譜核學(xué)習(xí)和間隔最大化標(biāo)準(zhǔn)進行有機結(jié)合,充分利用了數(shù)據(jù)的低維流形結(jié)構(gòu),增強了決策函數(shù)的光

6、滑性,同時可以有效利用未標(biāo)記數(shù)據(jù)進行最大間隔分類。實驗驗證了非參核學(xué)習(xí)的有效性,在有監(jiān)督和無監(jiān)督情況下,提出的非參核學(xué)習(xí)方法的性能均優(yōu)于多核學(xué)習(xí)方法。
　　(4)為解決半監(jiān)督快速學(xué)習(xí)問題,建立了擴展的流形正則化框架E-MR(ExtendedManifoldRegularizedFramework),提出了推廣的決策函數(shù)表示定理、單輸出極速學(xué)習(xí)機與流形正則化框架關(guān)系定理和多輸出極速學(xué)習(xí)機與流形正則化框架關(guān)系定理。這些定理為快速半監(jiān)督

7、分類模型和算法的提出提供了理論依據(jù),表明所建立的流形正則化極速學(xué)習(xí)機模型(ManifoldRegularizedExtremeLearningMachine,MRELM)是E-MR框架的一個特例,其本質(zhì)是隨機地離散化核函數(shù)。因此,所提出的算法是傳統(tǒng)核分類的近似算法。MRELM繼承了ELM無需調(diào)整模型參數(shù)的優(yōu)點,能夠為不同的學(xué)習(xí)任務(wù)提供統(tǒng)一的解析解。實驗結(jié)果驗證了MRELM算法的有效性。
　　本文研究的內(nèi)容主要涉及到了不平衡數(shù)據(jù)分類