基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺(tái)的研究.pdf

1、隨著社會(huì)的信息化發(fā)展，我國(guó)氣象事業(yè)已經(jīng)進(jìn)入高速發(fā)展階段，每日產(chǎn)生的氣象數(shù)據(jù)在不斷增加，累積的歷史數(shù)據(jù)可以用“海量”來(lái)形容。然而，面對(duì)如此龐大的氣象數(shù)據(jù)，當(dāng)前的數(shù)據(jù)處理方式已經(jīng)不能跟上“大數(shù)據(jù)”時(shí)代的步伐。如何安全、高效的存儲(chǔ)和計(jì)算這些海量的氣象數(shù)據(jù)，并從中快速、準(zhǔn)確的發(fā)現(xiàn)有意義的信息已經(jīng)成為了氣象數(shù)據(jù)挖掘領(lǐng)域中的熱點(diǎn)。
　　本課題來(lái)自于天津?yàn)I海氣象局的相關(guān)科研項(xiàng)目，旨在建立一個(gè)集氣象數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)挖掘、氣象數(shù)據(jù)應(yīng)用為一體

2、的平臺(tái)。主要的研究?jī)?nèi)容分為以下幾個(gè)部分：
　?。?）設(shè)計(jì)氣象監(jiān)測(cè)系統(tǒng)硬件電路。在了解氣象自動(dòng)站對(duì)溫度、相對(duì)濕度、風(fēng)速、風(fēng)向以及降雨量測(cè)量要求的基礎(chǔ)上，對(duì)以上幾種天氣要素進(jìn)行傳感器的選型，使用PIC18F8722單片機(jī)作為主控芯片，使用GPRS模塊進(jìn)行通過(guò)數(shù)據(jù)的無(wú)線傳輸。
　?。?）對(duì)氣象數(shù)據(jù)的存儲(chǔ)和氣象數(shù)據(jù)分析的研究。首先介紹了數(shù)據(jù)挖掘中的幾種常用的算法分類(lèi)，將聚類(lèi)算法作為重點(diǎn)研究對(duì)象，選取基樣本選擇的CLARA算法；其次介

3、紹了分布式系統(tǒng)基礎(chǔ)架構(gòu)hadoop的基本內(nèi)容，并對(duì)其核心部分及相關(guān)子項(xiàng)目做了重點(diǎn)研究，在此之上重新定義了氣象數(shù)據(jù)倉(cāng)庫(kù)的組成框架，并對(duì)其內(nèi)部組成及相互關(guān)系做了說(shuō)明；最后，搭建實(shí)驗(yàn)環(huán)境，將CLARA算法進(jìn)行并行化處理，使之能夠應(yīng)用到hadoop云計(jì)算平臺(tái)之上，設(shè)計(jì)一系列實(shí)驗(yàn)來(lái)驗(yàn)證其優(yōu)勢(shì)。
　?。?）對(duì)氣象數(shù)據(jù)應(yīng)用的研究。在深入研究了Delauday三角網(wǎng)和網(wǎng)格序列等值線生成算法的基礎(chǔ)上，將兩者結(jié)合起來(lái)，形成一個(gè)新的等值線生成算法，最后