基于Hadoop的交通數(shù)據(jù)清洗研究與應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和電腦的不斷更新?lián)Q代，各行各業(yè)的數(shù)據(jù)量呈爆炸性增加，從海量的數(shù)據(jù)中進(jìn)行有效的價(jià)值挖掘已成為研究的熱點(diǎn)，而保證數(shù)據(jù)的質(zhì)量處于較高水平是數(shù)據(jù)挖掘的重要先決條件。從數(shù)據(jù)中獲取信息，從信息中提取知識(shí)，再?gòu)闹R(shí)到智能，而如何從中挖掘有用信息才能體現(xiàn)數(shù)據(jù)的價(jià)值，數(shù)據(jù)清洗技術(shù)可提供干凈、準(zhǔn)確、高質(zhì)量的數(shù)據(jù)。
　　數(shù)據(jù)清洗在數(shù)據(jù)挖掘過(guò)程中處于非常重要的位置，同時(shí)也是獲得高質(zhì)量數(shù)據(jù)的關(guān)鍵技術(shù)。傳統(tǒng)的數(shù)據(jù)清洗技術(shù)主要應(yīng)用于結(jié)構(gòu)化及小數(shù)據(jù)

2、量的處理與分析，它在處理不同來(lái)源的數(shù)據(jù)時(shí)操作會(huì)非常復(fù)雜，從而導(dǎo)致低質(zhì)量的分析結(jié)果。目前，針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理主要借助于大數(shù)據(jù)技術(shù)，研究人員需要總結(jié)原有數(shù)據(jù)清洗模式，創(chuàng)新數(shù)據(jù)處理技術(shù)，結(jié)合新的理論模型使得數(shù)據(jù)清洗技術(shù)更加符合大數(shù)據(jù)時(shí)代的特征。正確的決策需要可靠且準(zhǔn)確的數(shù)據(jù)，是對(duì)實(shí)際情況的正確反映。數(shù)據(jù)質(zhì)量的高標(biāo)準(zhǔn)是數(shù)據(jù)分析的前提，而數(shù)據(jù)清洗在存儲(chǔ)或遷移數(shù)據(jù)時(shí)可檢測(cè)出其中的錯(cuò)誤，同時(shí)提高其質(zhì)量。
　　如今，有關(guān)數(shù)據(jù)清洗的相關(guān)算法已經(jīng)

3、逐漸被提及并在現(xiàn)實(shí)生活中得到印證。本論文以基于無(wú)線傳感器接收到的道路交通數(shù)據(jù)為基本研究、實(shí)驗(yàn)對(duì)象。針對(duì)采集到的數(shù)據(jù)中存在的異常數(shù)據(jù)，根據(jù)k-means算法，提出一種以歐氏距離作為指標(biāo)，比較數(shù)據(jù)點(diǎn)的相識(shí)度并進(jìn)行劃分與聚類(lèi)。同時(shí)，為了判斷數(shù)據(jù)的正常與否借助于聚類(lèi)中心和數(shù)據(jù)點(diǎn)兩者之間的距離作為指標(biāo)。另外根據(jù)灰色系統(tǒng)理論建立錯(cuò)誤數(shù)據(jù)修復(fù)模型，對(duì)異常數(shù)據(jù)進(jìn)行修復(fù)?，F(xiàn)有的對(duì)海量數(shù)據(jù)處理的信息系統(tǒng)一般都運(yùn)行在時(shí)下最流行的開(kāi)源框架Hadoop上，但是往

4、往會(huì)因?yàn)槎喾N緣由使得效果并不符合預(yù)期。鑒于此種情況，本文的研究目的是對(duì)道路交通數(shù)據(jù)清洗，通過(guò)異常數(shù)據(jù)點(diǎn)的檢測(cè)和修復(fù)，并對(duì)過(guò)程進(jìn)行優(yōu)化從而提高清洗效率。
　　本篇論文所做的重要工作包含以下內(nèi)容：首先，通過(guò)研究我們發(fā)現(xiàn)交通數(shù)據(jù)清洗中傳統(tǒng)的數(shù)據(jù)清洗算法不能滿足目前海量數(shù)據(jù)清洗的要求，同時(shí)，在灰色系統(tǒng)理論的基礎(chǔ)上，滿足對(duì)交通數(shù)據(jù)的清洗要求，本文提出一種分布式數(shù)據(jù)清洗方法—基于Hadoop的分布式數(shù)據(jù)清洗技術(shù)。其次，針對(duì)無(wú)線傳感器獲得的道路