基于稀疏學(xué)習(xí)和流形學(xué)習(xí)的KNN算法研究.pdf

1、數(shù)據(jù)挖掘是一種從大量復(fù)雜數(shù)據(jù)中，尋找、提取有用規(guī)律，形成有用模式，得到價(jià)值的過(guò)程。隨著現(xiàn)代科技水平的發(fā)展，尤其是近年大數(shù)據(jù)概念的提出，我們正進(jìn)入一個(gè)數(shù)據(jù)資源開(kāi)發(fā)的時(shí)代，數(shù)據(jù)挖掘技術(shù)正得到越來(lái)越多的重視，在工業(yè)發(fā)展，醫(yī)療衛(wèi)生，信息產(chǎn)業(yè)等諸多領(lǐng)域發(fā)揮著重要的作用。
　　KNN（K-最近鄰）算法作為數(shù)據(jù)挖掘的“十大經(jīng)典算法”之一，因?yàn)閷?duì)復(fù)雜數(shù)據(jù)集性能優(yōu)越，容易實(shí)現(xiàn)的特點(diǎn)，應(yīng)用領(lǐng)域十分廣泛。但KNN算法自身也存在著諸多缺點(diǎn)。例如K值如何選

2、取便是個(gè)公開(kāi)性難題，傳統(tǒng)的K值由使用者自定義確定，但這種方法有很強(qiáng)的隨機(jī)性，一定程度上依賴(lài)人員的經(jīng)驗(yàn)。另外一些方法通過(guò)十折交叉法得到K值，雖然這種方法避免了K值選取的盲目性，可以確定具體的K值，但是計(jì)算量大，效率偏低，并且沒(méi)有考慮到數(shù)據(jù)自身的結(jié)構(gòu)特點(diǎn)。另外，真實(shí)的樣本數(shù)據(jù)本身存在著噪聲，傳統(tǒng)的KNN算法對(duì)于實(shí)際樣本存在的噪盧沒(méi)有識(shí)別能力，敏感性較高，大量噪聲樣本的存在會(huì)影響形成模型和規(guī)則的準(zhǔn)確性。其次，KNN算法需要做很多數(shù)據(jù)空間的轉(zhuǎn)換

3、，在進(jìn)行投影變換過(guò)程中，數(shù)據(jù)本身的歐式距離會(huì)產(chǎn)生變化，造成的直接結(jié)果就是會(huì)改變樣本之間的近鄰關(guān)系，造成KNN算法進(jìn)行相對(duì)距離計(jì)算時(shí)產(chǎn)生較大的偏差，如何保證在這種空間轉(zhuǎn)換的過(guò)程中，依然能夠保持?jǐn)?shù)據(jù)之間相對(duì)不變的位置關(guān)系，保證近鄰距離計(jì)算的準(zhǔn)確性是一個(gè)難題。最后，傳統(tǒng)KNN算法在使用樣本時(shí)更多的是孤立的看待，忽略了他們之間存在的相關(guān)關(guān)系，數(shù)據(jù)本身的特點(diǎn)決定相同屬性類(lèi)型的樣本之間存在相關(guān)關(guān)系，這種相關(guān)性的存在也保存著大量有用的信息。
　

4、　為此，本文基于稀疏學(xué)習(xí)理論和流形學(xué)習(xí)理論知識(shí)，使用融合L2.1范式的最小二乘方模型重構(gòu)的方法優(yōu)化樣本空間，自動(dòng)確定KNN算法中的K值[1]。重構(gòu)過(guò)程中充分利用樣本間的相關(guān)關(guān)系，尋找樣本之間的有用信息;本文應(yīng)用的具有行稀疏性的L2.1范式，能使變換陣W具有很好的稀疏效果，具備去噪能力，并且能夠選取合適的數(shù)據(jù)樣本，壓縮樣本空間?？紤]重構(gòu)的過(guò)程中，投影變換時(shí)樣本空間應(yīng)保持?jǐn)?shù)據(jù)結(jié)構(gòu)近鄰關(guān)系不變的問(wèn)題，本文引入基于流形學(xué)習(xí)理論思想的LPP算法，