基于Hadoop的交通數(shù)據(jù)清洗研究與應用研究.pdf

1、隨著計算機技術(shù)和電腦的不斷更新?lián)Q代，各行各業(yè)的數(shù)據(jù)量呈爆炸性增加，從海量的數(shù)據(jù)中進行有效的價值挖掘已成為研究的熱點，而保證數(shù)據(jù)的質(zhì)量處于較高水平是數(shù)據(jù)挖掘的重要先決條件。從數(shù)據(jù)中獲取信息，從信息中提取知識，再從知識到智能，而如何從中挖掘有用信息才能體現(xiàn)數(shù)據(jù)的價值，數(shù)據(jù)清洗技術(shù)可提供干凈、準確、高質(zhì)量的數(shù)據(jù)。
　　數(shù)據(jù)清洗在數(shù)據(jù)挖掘過程中處于非常重要的位置，同時也是獲得高質(zhì)量數(shù)據(jù)的關(guān)鍵技術(shù)。傳統(tǒng)的數(shù)據(jù)清洗技術(shù)主要應用于結(jié)構(gòu)化及小數(shù)據(jù)

2、量的處理與分析，它在處理不同來源的數(shù)據(jù)時操作會非常復雜，從而導致低質(zhì)量的分析結(jié)果。目前，針對非結(jié)構(gòu)化數(shù)據(jù)的處理主要借助于大數(shù)據(jù)技術(shù)，研究人員需要總結(jié)原有數(shù)據(jù)清洗模式，創(chuàng)新數(shù)據(jù)處理技術(shù)，結(jié)合新的理論模型使得數(shù)據(jù)清洗技術(shù)更加符合大數(shù)據(jù)時代的特征。正確的決策需要可靠且準確的數(shù)據(jù)，是對實際情況的正確反映。數(shù)據(jù)質(zhì)量的高標準是數(shù)據(jù)分析的前提，而數(shù)據(jù)清洗在存儲或遷移數(shù)據(jù)時可檢測出其中的錯誤，同時提高其質(zhì)量。
　　如今，有關(guān)數(shù)據(jù)清洗的相關(guān)算法已經(jīng)

3、逐漸被提及并在現(xiàn)實生活中得到印證。本論文以基于無線傳感器接收到的道路交通數(shù)據(jù)為基本研究、實驗對象。針對采集到的數(shù)據(jù)中存在的異常數(shù)據(jù)，根據(jù)k-means算法，提出一種以歐氏距離作為指標，比較數(shù)據(jù)點的相識度并進行劃分與聚類。同時，為了判斷數(shù)據(jù)的正常與否借助于聚類中心和數(shù)據(jù)點兩者之間的距離作為指標。另外根據(jù)灰色系統(tǒng)理論建立錯誤數(shù)據(jù)修復模型，對異常數(shù)據(jù)進行修復?，F(xiàn)有的對海量數(shù)據(jù)處理的信息系統(tǒng)一般都運行在時下最流行的開源框架Hadoop上，但是往

4、往會因為多種緣由使得效果并不符合預期。鑒于此種情況，本文的研究目的是對道路交通數(shù)據(jù)清洗，通過異常數(shù)據(jù)點的檢測和修復，并對過程進行優(yōu)化從而提高清洗效率。
　　本篇論文所做的重要工作包含以下內(nèi)容：首先，通過研究我們發(fā)現(xiàn)交通數(shù)據(jù)清洗中傳統(tǒng)的數(shù)據(jù)清洗算法不能滿足目前海量數(shù)據(jù)清洗的要求，同時，在灰色系統(tǒng)理論的基礎(chǔ)上，滿足對交通數(shù)據(jù)的清洗要求，本文提出一種分布式數(shù)據(jù)清洗方法—基于Hadoop的分布式數(shù)據(jù)清洗技術(shù)。其次，針對無線傳感器獲得的道路