基于聚類(lèi)和孤立點(diǎn)檢測(cè)的數(shù)據(jù)預(yù)處理方法的研究.pdf

1、隨著網(wǎng)絡(luò)信息化服務(wù)的不斷發(fā)展，企業(yè)都積累了前所未有的海量數(shù)據(jù)，如何從這些海量數(shù)據(jù)中挖掘出自己需要的信息并應(yīng)用到自身的發(fā)展決策中成為了一個(gè)迫切需要研究的問(wèn)題.面對(duì)這樣的挑戰(zhàn)，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生.但是，由于數(shù)據(jù)在采集或者錄入過(guò)程中的一些錯(cuò)誤以及一些其它的原因，導(dǎo)致數(shù)據(jù)中難免會(huì)存在一些問(wèn)題.這些問(wèn)題在很大程度上影響著數(shù)據(jù)挖掘任務(wù)的成敗.因此，使用數(shù)據(jù)預(yù)處理技術(shù)改善數(shù)據(jù)質(zhì)量顯得非常重要.而聚類(lèi)和孤立點(diǎn)檢測(cè)作為數(shù)據(jù)挖掘領(lǐng)域的兩個(gè)非常熱門(mén)的研究方

2、向，也受到人們?cè)絹?lái)越多的關(guān)注，因此，本文從數(shù)據(jù)預(yù)處理的任務(wù)出發(fā)，分析聚類(lèi)和孤立點(diǎn)檢測(cè)方法與數(shù)據(jù)預(yù)處理需求之間的關(guān)系，并研究相應(yīng)的數(shù)據(jù)預(yù)處理方法有重要的理論意義和實(shí)用價(jià)值，
　　本文首先對(duì)基于聚類(lèi)和孤立點(diǎn)檢測(cè)的數(shù)據(jù)預(yù)處理進(jìn)行了簡(jiǎn)單的概述.然后介紹了面向數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理系統(tǒng)的整體架構(gòu)，該系統(tǒng)是根據(jù)新的分類(lèi)方式將數(shù)據(jù)預(yù)處理任務(wù)分成六個(gè)部分來(lái)實(shí)現(xiàn)的.緊接著描述了系統(tǒng)的啟動(dòng)，以及該系統(tǒng)的每個(gè)功能模塊的任務(wù).
　　其次，本文分析了如

3、何用聚類(lèi)方法實(shí)現(xiàn)預(yù)處理系統(tǒng)中的噪聲處理功能.并詳細(xì)介紹了聚類(lèi)的相關(guān)概念、聚類(lèi)算法的分類(lèi)及其要求，同時(shí)將兩個(gè)經(jīng)典的聚類(lèi)算法k-均值算法和最遠(yuǎn)優(yōu)先算法用于系統(tǒng)中的噪聲識(shí)別.進(jìn)而通過(guò)對(duì)這兩個(gè)經(jīng)典算法的分析與研究，用最遠(yuǎn)優(yōu)先策略選擇k-均值算法的初始聚類(lèi)中心，提出了一種改進(jìn)的用于噪聲處理的k-均值算法.最后實(shí)驗(yàn)表明改進(jìn)的算法在處理低維數(shù)據(jù)時(shí)，聚類(lèi)效果要優(yōu)于原來(lái)的k-均值算法，而且聚類(lèi)效率也有了一定的提高，平均為原來(lái)的k-均值算法的2倍.