模式分類的K-近鄰方法.pdf

1、在模式識別、機器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域中，K-近鄰準則有著廣泛的研究和應(yīng)用背景。在實際的應(yīng)用中，K-近鄰分類由于其直觀、簡單、有效、易實現(xiàn)等特點，是一種常用的分類方法，被認為是數(shù)據(jù)挖掘領(lǐng)域的十大算法之一。近些年來，在基于圖嵌入的降維中，很多圖嵌入算法都采用K-近鄰準則來構(gòu)建數(shù)據(jù)的局部鄰接關(guān)系圖，如保局部投影(Locality Preserving Projections,LPP)及其變體，這種K-近鄰構(gòu)圖方式在高維的數(shù)據(jù)模式分類中取得了良

2、好的性能。本文圍繞模式分類的K-近鄰方法進行研究和探討，其研究的內(nèi)容主要包括基于K-近鄰準則的分類問題，K-近鄰準則在基于圖嵌入的降維技術(shù)中的應(yīng)用。本文的主要創(chuàng)新點如下：
　　1．針對基于 K-近鄰準則的非參數(shù)分類算法的分類性能受訓(xùn)練樣本局外點的嚴重影響，尤其是在小樣本的情況下，設(shè)計了基于局部均值的 K-近質(zhì)心近鄰(Local Mean-Based K-Nearest Centroid Neighbor, LMKNCN)分類算法。

3、LMKNCN考慮了待測樣本點在每類訓(xùn)練集中的k個近鄰點與其自身所具有的相似性和空間幾何分布性，同時利用從每類訓(xùn)練樣本中所選取的k個近鄰點的局部均值大小，來判斷未知樣本所屬類別。所提算法不僅具有基于局部均值的 K-近鄰(Local Mean-Based K-Nearest Neighbor, LMKNN)分類在局外點存在的情況下所表現(xiàn)出的穩(wěn)健性，而且具有K-近質(zhì)心近鄰(K-Nearest Centroid Neighbor, KNCN)分

4、類在小樣本情況下所表現(xiàn)的有效性。大量的真實和人工數(shù)據(jù)集上的實驗表明了LMKNCN算法在訓(xùn)練集樣本個數(shù)、近鄰選擇個數(shù)和特征維度變化的情況下，都取得了良好的分類效果。
　　2．針對基于圖嵌入的降維方法中存在的小樣本問題、外樣本問題、局部過學(xué)習(xí)問題，提出了一種新的有監(jiān)督的圖嵌入學(xué)習(xí)算法，即保局判別近鄰嵌入(Locality-PreservedDiscriminant Neighborhood Embedding, LDNE)。LDNE將

5、保局部投影和判別近鄰嵌入(Discriminant Neighborhood Embedding, DNE)整合在統(tǒng)一的學(xué)習(xí)模型中，使其獲得的圖嵌入，較好的反映了高維數(shù)據(jù)所隱含的本質(zhì)流形結(jié)構(gòu)，不僅具有LPP的保局部特點和DNE的判別能力，還進一步增強了模式之間的判別信息。高維數(shù)據(jù)集上的一系列實驗充分驗證了LDNE是一種有效的降維算法，增強了高維數(shù)據(jù)在低維嵌入子空間的模式識別能力。
　　3．在保局部投影的降維算法中，近鄰圖的構(gòu)造與權(quán)

6、重的配置起著至關(guān)重要的作用。鑒于此，根據(jù) LPP的保局部思想，提出了最大近鄰間隔判別投影(Maximum Neighborhood Margin Discriminant Projection, MNMDP)算法。在MNMDP方法中，近鄰邊權(quán)重的定義，充分考慮了樣本的類別信息，進而定義類內(nèi)近鄰散度和類間近鄰散度，同時在目標函數(shù)優(yōu)化時，利用最大間隔準則(MaximumMargin Criterion, MMC)，最大化同類近鄰和異類近鄰之

7、間的間隔，從而找到高維數(shù)據(jù)在低維空間的圖嵌入。MNMDP不僅能解決圖嵌入降維中存在的相關(guān)問題，而且提高了模式之間的判別能力。在基于手的生物鑒定數(shù)據(jù)集上的實驗，驗證了MNMDP算法的有效性。
　　4．將稀疏構(gòu)圖和近鄰構(gòu)圖有機結(jié)合起來，在稀疏保持投影(Sparsity Preserving Projections, SPP)和LPP的基礎(chǔ)上，提出了稀疏保局投影(Sparsity Locality Preserving Projecti