基于Hadoop的橋梁監(jiān)測(cè)數(shù)據(jù)孤立點(diǎn)挖掘研究.pdf

1、橋梁是公路交通的重要組成部分，保證橋梁的運(yùn)營(yíng)安全極為重要。橋梁健康監(jiān)測(cè)是一種通用的管理辦法，監(jiān)測(cè)數(shù)據(jù)處理是其中的一個(gè)核心內(nèi)容。隨著時(shí)間的推移，橋梁監(jiān)測(cè)系統(tǒng)會(huì)累積越來越多的數(shù)據(jù)，而傳統(tǒng)的數(shù)據(jù)處理技術(shù)在面對(duì)日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)與處理時(shí)壓力越來越大。Hadoop是一種流行的大數(shù)據(jù)處理平臺(tái)，它以HDFS分布式文件存儲(chǔ)系統(tǒng)及MapReduce計(jì)算框架為核心，Hive、Sqoop等工具為枝干，形成了一個(gè)完整的大數(shù)據(jù)處理生態(tài)系統(tǒng)，使用Hadoop處理大

2、量橋梁監(jiān)測(cè)數(shù)據(jù)，具有理論意義及現(xiàn)實(shí)價(jià)值。數(shù)據(jù)挖掘是常用的一種數(shù)據(jù)處理手段，孤立點(diǎn)挖掘是其中的熱門研究之一，目前在許多行業(yè)與領(lǐng)域如網(wǎng)絡(luò)入侵檢測(cè)、天氣預(yù)報(bào)等都有所應(yīng)用，而在橋梁監(jiān)測(cè)領(lǐng)域，孤立點(diǎn)數(shù)據(jù)的挖掘研究還沒有得到足夠重視。本文主要研究基于Hadoop的橋梁監(jiān)測(cè)數(shù)據(jù)孤立點(diǎn)挖掘方案，研究?jī)?nèi)容體現(xiàn)在以下幾個(gè)方面:
　　第一，針對(duì)K-近鄰孤立點(diǎn)算法開銷大的缺點(diǎn)，結(jié)合劃分思想、聚類思想及最小限界矩陣?yán)碚撨M(jìn)行了改進(jìn)，提出一種基于k-均值聚類劃

3、分的k-近鄰孤立點(diǎn)算法（KMKNN）。該算法首先對(duì)數(shù)據(jù)集進(jìn)行均值聚類，以聚類結(jié)果作為劃分依據(jù)把數(shù)據(jù)集分成不同區(qū)域，判斷每個(gè)區(qū)域是否包含孤立點(diǎn)，對(duì)不存在孤立點(diǎn)的區(qū)域進(jìn)行剪枝處理，最后對(duì)包含孤立點(diǎn)的候選區(qū)域中的數(shù)據(jù)進(jìn)行k-近鄰計(jì)算，得到孤立點(diǎn)。實(shí)驗(yàn)表明，改進(jìn)算法相比原始K-近鄰算法提高了運(yùn)算效率。
　　第二，KMKNN算法的缺點(diǎn)在于對(duì)數(shù)據(jù)集進(jìn)行K-均值聚類時(shí)，需要給定聚類數(shù)目且隨機(jī)選取初始聚類中心，得到的聚類結(jié)果精度不高，使得最終得到

4、的孤立點(diǎn)不準(zhǔn)確。因此，對(duì)KMKNN算法進(jìn)行改進(jìn)，使用Canopy聚類計(jì)算初始聚類數(shù)目，使用最大最小距離算法計(jì)算初始聚類中心，提出一種基于Canopy與最大最小距離算法的均值聚類劃分k-近鄰算法(CMM-KMKNN)。實(shí)驗(yàn)表明，改進(jìn)算法提高了聚類精度及孤立點(diǎn)精度。
　　第三，由于KMKNN及CMM-KMKNN算法需要對(duì)數(shù)據(jù)進(jìn)行大量迭代計(jì)算操作，算法開銷大，因此搭建了一個(gè)Hadoop集群實(shí)驗(yàn)環(huán)境，對(duì)KMKNN與CMM-KMKNN算法實(shí)