高維空間數(shù)據(jù)挖掘預(yù)處理技術(shù)研究.pdf

1、本文結(jié)合國(guó)家863計(jì)劃項(xiàng)目“空間數(shù)據(jù)挖掘的神經(jīng)網(wǎng)絡(luò)技術(shù)研究”（No．2007AA12Z228）展開(kāi)研究。 目前，數(shù)據(jù)預(yù)處理已經(jīng)成為實(shí)現(xiàn)對(duì)大規(guī)模高維空間數(shù)據(jù)集的數(shù)據(jù)挖掘的必經(jīng)階段。數(shù)據(jù)預(yù)處理的核心目標(biāo)是把數(shù)據(jù)組織成一種標(biāo)準(zhǔn)形式，使其可由數(shù)據(jù)挖掘工具處理，同時(shí)能夠有效保證所得到的輸入數(shù)據(jù)集在數(shù)據(jù)挖掘過(guò)程中獲得最佳的數(shù)據(jù)挖掘效果。為此，本文對(duì)高維空間數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理技術(shù)進(jìn)行了相關(guān)的研究。 首先，本文總結(jié)了現(xiàn)有的數(shù)據(jù)預(yù)處理方

2、法，并針對(duì)原始高維空間數(shù)據(jù)所存在的問(wèn)題以及空間數(shù)據(jù)挖掘模型對(duì)輸入數(shù)據(jù)集的要求和期望，提出了一個(gè)面向空間數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理工作流程，該工作流程包括數(shù)據(jù)集成、數(shù)據(jù)清理、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)約簡(jiǎn)或分區(qū)四個(gè)階段。 然后，論文對(duì)工作流程中的關(guān)鍵技術(shù)進(jìn)行了深入研究。針對(duì)數(shù)據(jù)清理階段的異常點(diǎn)檢測(cè)，本文采用基于移動(dòng)曲面擬合的方法實(shí)現(xiàn)對(duì)空間數(shù)據(jù)的異常點(diǎn)檢測(cè)；采用基于移動(dòng)窗口和標(biāo)準(zhǔn)差理論的方法實(shí)現(xiàn)對(duì)時(shí)序數(shù)據(jù)的異常點(diǎn)檢測(cè)；采用聚類(lèi)分析的方法實(shí)現(xiàn)對(duì)多維數(shù)據(jù)

3、的異常點(diǎn)檢測(cè)。以上檢測(cè)方法均編程實(shí)現(xiàn)，通過(guò)工程實(shí)例驗(yàn)證了其有效性。針對(duì)高維空間數(shù)據(jù)集具有海量、高維度特點(diǎn)而難于處理的問(wèn)題，本文提出采用主成分分析法對(duì)數(shù)據(jù)集進(jìn)行維度約簡(jiǎn)，從而實(shí)現(xiàn)了數(shù)據(jù)降維。另一方面，本文創(chuàng)新地提出了一種改進(jìn)的快速傅立葉變換約簡(jiǎn)方法，實(shí)現(xiàn)了對(duì)時(shí)序數(shù)據(jù)的有效約簡(jiǎn)。經(jīng)驗(yàn)證，在原始信息損失小于5％的情況下，約簡(jiǎn)后數(shù)據(jù)量可以小于等于原始數(shù)據(jù)的10％。此外，本文還提出了一種數(shù)據(jù)分區(qū)方法。該方法僅以時(shí)間信息、空間信息為參考軸，不僅實(shí)現(xiàn)