基于支持向量機的孤立點檢測方法研究.pdf

1、孤立點檢測是數(shù)據(jù)挖掘領(lǐng)域的重要內(nèi)容之一。孤立點檢測可以發(fā)現(xiàn)不具備一般數(shù)據(jù)特性的數(shù)據(jù)，進而發(fā)現(xiàn)潛在的有用信息。孤立點檢測可以應(yīng)用到很多實際領(lǐng)域，如信用卡欺’詐檢測、故障診斷、醫(yī)學(xué)診斷、網(wǎng)絡(luò)入侵檢測和信息檢索等。近年來很多國內(nèi)外學(xué)者著力于結(jié)合支持向量機技術(shù)進行孤立點檢測應(yīng)用，其成果頗豐。然而隨著研究的不斷深入和應(yīng)用范圍的不斷擴大，現(xiàn)存方法遇到了一些障礙，檢測模型的泛化能力和穩(wěn)定性能也存在諸多問題。由于上述原因，本文以基于支持向量機的孤立點檢

2、測為題進行研究，以期提供更加高效穩(wěn)定的孤立點檢測方法，主要研究內(nèi)容如下：
　　 1、一類支持向量機及其改進算法進行孤立點檢測問題研究。實際應(yīng)用中訓(xùn)練集通常包含大量的有標簽正常樣本，但只包含少量或者根本不存在有標簽孤立點樣本，這種情況下一類支持向量機表現(xiàn)出優(yōu)勢，但是由于算法對坐標原點依賴性強、參數(shù)不易選擇等原因造成孤立點檢測的誤報率較高。針對這些問題本文首先利用受試者工作特征分析技術(shù)作為性能評價標準，使用兩種參數(shù)搜索方法對模型進行

3、優(yōu)化，進而獲得最佳決策函數(shù)。其次，設(shè)計了“局部密度一類支持向量機”算法，為每個樣本測量數(shù)據(jù)局部密度并加到對應(yīng)的松弛變量上，在訓(xùn)練過程中包含這些信息將有助于獲得更理想的決策函數(shù)。此外，提出了“孤立點一類支持向量機”算法，通過綜合距離和概率輸出兩種標準在無標簽訓(xùn)練集中探測可疑孤立點，然后在特征空間刻畫與可疑孤立點保持最大間隔的分類超平面，并在此基礎(chǔ)上提出了一種根據(jù)數(shù)據(jù)異常程度動態(tài)更新數(shù)據(jù)樣本的方法，提供了穩(wěn)定高效的檢測性能。
　　

4、2、數(shù)據(jù)預(yù)處理技術(shù)改善孤立點檢測中支持向量分類器性能問題研究。支持向量機進行分類操作的時候，決策超平面會受到數(shù)據(jù)庫中孤立點干擾而發(fā)生偏移；其原因在于孤立點在訓(xùn)練過程中易于成為邊界支持向量，從而對最后的決策函數(shù)做出較大貢獻：另外數(shù)據(jù)維數(shù)過高也會降低分類效率和性能。為此本文提出使用數(shù)據(jù)預(yù)處理方法改善分類器性能，通過主成分分析處理訓(xùn)練數(shù)據(jù)，為遠離聚簇中心孤立點設(shè)置較小的權(quán)值，這樣孤立點對最終決策函數(shù)起到的作用將大大降低，從而緩解決策超平面被偏

5、移的問題，提出的方法被成功地應(yīng)用到蛋白質(zhì)亞細胞定位預(yù)測領(lǐng)域。針對高維數(shù)據(jù)會影響分類器性能的問題，利用高斯過程潛變量模型來抽取特征，并且設(shè)計了階梯跳躍式降維方法，為獲得良好分類性能提供了保障。
　　 3、使用混合策略的孤立點檢測研究。孤立點檢測應(yīng)用中數(shù)據(jù)存在不平衡的特點，兩類樣本數(shù)量比例失調(diào)，將支持向量機的分類超平面向預(yù)測大類正常樣本的方向傾斜，進而能夠?qū)⒐铝Ⅻc樣本全部識別為正常樣本。本文首先結(jié)合兩種支持向量機算法提出了一個兩階段

6、的孤立點檢測方法；集成不同權(quán)值改進半監(jiān)督的一類支持向量機對數(shù)據(jù)集進行重采樣，執(zhí)行過程中通過設(shè)定較低權(quán)值降低孤立點的信息量，除去部分正常樣本從而平衡兩類樣本的比例：使用代價敏感支持向量機執(zhí)行孤立點檢測操作，以兩種誤分類代價線性和最小為目標，實現(xiàn)了代價敏感孤立點挖掘。其次結(jié)合集成學(xué)習(xí)方法改進支持向量分類器的性能，利用聚類算法分解正常樣本與孤立點樣本作為單個分類器的輸入，綜合不同分類模型的輸出結(jié)果改善孤立點檢測性能。對于大類正常樣本，使用聚類