離群點(diǎn)預(yù)處理及檢測算法研究.pdf

1、離群點(diǎn)檢測主要應(yīng)用于數(shù)據(jù)清洗與數(shù)挖掘兩個方面，其作用就是發(fā)現(xiàn)數(shù)據(jù)的“小眾模式”，即數(shù)據(jù)集中顯著不同于其它數(shù)據(jù)的對象。在現(xiàn)實(shí)中，一個人的噪音可能是另一個人的信號。在很多應(yīng)用中，例外事件常常比普通事件更有趣、也更有研究價值，因此離群點(diǎn)數(shù)據(jù)的檢測和分析是一項(xiàng)重要且有意義的研究工作。但現(xiàn)有的離群點(diǎn)檢測算法僅能識別可疑數(shù)據(jù)，不能確定是否是“有意義”的離群點(diǎn)，離群點(diǎn)檢測算法在高維數(shù)據(jù)挖掘過程中性能有所下降。因此本文針對這些問題進(jìn)行了探討和研究。

2、r>　　 首先，本文從離群點(diǎn)檢測的現(xiàn)實(shí)意義、算法、應(yīng)用領(lǐng)域等各個方面對離群點(diǎn)檢測問題進(jìn)行了綜述，分析了現(xiàn)實(shí)數(shù)據(jù)存在的問題，總結(jié)了針對不同數(shù)據(jù)問題所采用的處理方法。針對當(dāng)前離群點(diǎn)檢測算法只能識別可疑數(shù)據(jù)，不能識別出是否是“有意義”的離群點(diǎn)這一缺陷，提出采用二次挖掘方法與模型法區(qū)分“噪聲”與“有意義”離群點(diǎn)。
　　 其次，本文對離群點(diǎn)挖掘技術(shù)進(jìn)行了介紹，總結(jié)了當(dāng)前離群點(diǎn)挖掘技術(shù)；研究了基于近鄰的離群點(diǎn)挖掘算法，對基于近鄰的DB(p

3、，D)-離群點(diǎn)挖掘算法，k-近鄰算法(KNN)及LOF(Local Outlier Factor)算法的優(yōu)缺點(diǎn)進(jìn)行了比較；針對高維數(shù)據(jù)之間的距離尺度和區(qū)域密度不再具有直觀的意義及算法挖掘的正確率下降等問題，本文采用基于奇異值分解的方法約減數(shù)據(jù)維度，實(shí)現(xiàn)高維數(shù)據(jù)到低維空間的映射，然后再用k-近鄰法及LOF算法進(jìn)行離群點(diǎn)的挖掘。
　　 然后，將基于奇異值預(yù)處理的離群點(diǎn)挖掘法與直接運(yùn)用離群點(diǎn)挖掘算法進(jìn)行離群點(diǎn)挖掘的檢測率、誤報(bào)率及時間