甘肅省氣象科學(xué)數(shù)據(jù)共享平臺(tái)及其應(yīng)用研究.pdf

1、科學(xué)數(shù)據(jù)共享平臺(tái)建設(shè)可以最大限度地發(fā)揮科學(xué)數(shù)據(jù)資源效益，在為政府部門提供決策服務(wù)、氣象業(yè)務(wù)自身發(fā)展、地學(xué)相關(guān)領(lǐng)域的科學(xué)研究、地方國民經(jīng)濟(jì)建設(shè)等領(lǐng)域都具有很強(qiáng)的科學(xué)意義和重要的現(xiàn)實(shí)意義?；谠獢?shù)據(jù)技術(shù)構(gòu)建的科學(xué)數(shù)據(jù)共享平臺(tái)，充分展示了數(shù)據(jù)資源與數(shù)據(jù)共享的融合。平臺(tái)有著完整的構(gòu)建策略，數(shù)據(jù)資源分布存放而又有序存取，滿足多用戶并發(fā)訪問及流量疏導(dǎo)，極大地提高了共享數(shù)據(jù)資源的可獲取性；同時(shí)，遵循數(shù)據(jù)本身的內(nèi)在關(guān)聯(lián)，強(qiáng)調(diào)數(shù)據(jù)之間的聯(lián)系，為平臺(tái)各級各

2、類用戶提供翔實(shí)可靠的數(shù)據(jù)。 本文以甘肅省氣象科學(xué)數(shù)據(jù)為研究對象，構(gòu)建了甘肅省氣象科學(xué)數(shù)據(jù)共享平臺(tái)，取得如下成果：遵循區(qū)域地帶性與非地帶性相結(jié)合、綜合性和主導(dǎo)因素相結(jié)合的原則，應(yīng)用數(shù)據(jù)質(zhì)量控制技術(shù)首次研制了一批西北氣象科學(xué)數(shù)據(jù)集，主要包括西北地區(qū)地面氣象、高空氣象、氣象災(zāi)害、氣象輻射、歷史氣候代用資料等五大類資料，共31個(gè)數(shù)據(jù)集；平臺(tái)構(gòu)建中采用了元數(shù)據(jù)技術(shù)、GIS等技術(shù)，建立了以氣象專題數(shù)據(jù)集為基本數(shù)據(jù)，以商用分布式數(shù)據(jù)庫為基礎(chǔ)平

3、臺(tái)，為用戶提供了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的透明訪問存取，通過元數(shù)據(jù)系統(tǒng)和根據(jù)統(tǒng)一元數(shù)據(jù)標(biāo)準(zhǔn)建立的元數(shù)據(jù)庫，系統(tǒng)實(shí)現(xiàn)了共享網(wǎng)不同分節(jié)點(diǎn)的元數(shù)據(jù)發(fā)布和元數(shù)據(jù)搜索導(dǎo)航機(jī)制。將元數(shù)據(jù)技術(shù)應(yīng)用于成熟應(yīng)用系統(tǒng)中，這在國內(nèi)是不多見的；平臺(tái)開發(fā)采用了分布式的數(shù)據(jù)存儲(chǔ)，處理了數(shù)據(jù)分散存儲(chǔ)而集中存取的問題，提出了以統(tǒng)一的元數(shù)據(jù)為數(shù)據(jù)的宏觀描述，通過計(jì)算機(jī)科學(xué)中分布式系統(tǒng)的理論和方法，建立各個(gè)系統(tǒng)分節(jié)點(diǎn)協(xié)同機(jī)制；平臺(tái)開發(fā)的技術(shù)思路和應(yīng)用系統(tǒng)，已經(jīng)向湖北、江西、新

4、疆、寧夏等省氣象部門推廣應(yīng)用，也可廣泛應(yīng)用于科技基礎(chǔ)條件平臺(tái)建設(shè)中的地學(xué)數(shù)據(jù)資源共享系統(tǒng)建設(shè)，為甘肅省地學(xué)領(lǐng)域的科學(xué)數(shù)據(jù)共享起到示范和帶動(dòng)作用。 文中利用共享平臺(tái)提供的基礎(chǔ)數(shù)據(jù)，作了多種相關(guān)研究：首先進(jìn)行甘肅省氣候區(qū)劃研究；接著提出了一種空間插值方法(ISTDW)并將其應(yīng)用到雷達(dá)數(shù)據(jù)的數(shù)據(jù)的異常值處理中；同時(shí)，深入研究了多元雷達(dá)時(shí)間序列相似性匹配問題并給出了一種相似性匹配算法；最后，應(yīng)用人工智能相關(guān)算法(仿生優(yōu)化算法(PSO(粒

5、子群)算法、魚群算法(AFSA))和預(yù)測算法(BP神經(jīng)網(wǎng)絡(luò)、最小二乘支持向量機(jī)))進(jìn)行應(yīng)用研究，取得如下結(jié)果：提出一種甘肅省氣候區(qū)劃方案；設(shè)計(jì)的ETL過程實(shí)現(xiàn)了雷達(dá)測量數(shù)據(jù)和地面常規(guī)觀測數(shù)據(jù)的時(shí)空粒度一致性，應(yīng)用DIRE(動(dòng)態(tài)增量規(guī)則引擎)實(shí)現(xiàn)異常值檢測及ISTDW插值方法進(jìn)行數(shù)據(jù)清洗，三種措施確保了雷達(dá)測量數(shù)據(jù)的數(shù)據(jù)質(zhì)量，為氣象數(shù)據(jù)倉庫的建設(shè)提供了“清潔”的數(shù)據(jù)；提出的多元雷達(dá)時(shí)間序列相似性匹配算法(SBMDTSM)綜合考慮了異常數(shù)據(jù)

6、、序列形變、季節(jié)等方面對距離度量的影響，給出了形式化的距離度量模型，驗(yàn)證了SBMDTSM相似性匹配算法在漏報(bào)率、多報(bào)率和準(zhǔn)確性方面均優(yōu)于APCA和DWT算法，較好地解決了多元雷達(dá)時(shí)間序列相似性搜索這一研究難題；利用人工魚群算法具有快速跟蹤變化能力及不容易陷入局部最小值的優(yōu)點(diǎn)(即具有很強(qiáng)的跳出局部極值的能力)來自動(dòng)尋找最優(yōu)的最小二乘支持向量機(jī)的參數(shù)；提出一種新穎的算法--粒子群與魚群混合的新算法，取名為AFSA-PSO-parallel-