氣象資料歸檔與檢索優(yōu)化技術(shù)研究.pdf

1、氣象科學(xué)數(shù)據(jù)是數(shù)值預(yù)報(bào)業(yè)務(wù)化應(yīng)用中不可或缺的重要資源，也是支撐數(shù)值天氣預(yù)報(bào)技術(shù)快速發(fā)展的基石，蘊(yùn)藏著巨大的科學(xué)、經(jīng)濟(jì)和社會(huì)價(jià)值。隨著時(shí)間的推進(jìn)和數(shù)值天氣預(yù)報(bào)精細(xì)化水平的提高，氣象科學(xué)數(shù)據(jù)在種類及數(shù)量上不斷增長，其有效利用和高效管理已成為挑戰(zhàn)性的研究課題。處于世界領(lǐng)先地位的歐洲中期天氣預(yù)報(bào)中心（ECMWF）為此研發(fā)了氣象資料歸檔與檢索系統(tǒng)（MARS），提供了觀測資料及數(shù)值預(yù)報(bào)產(chǎn)品資料的存檔、查詢等海量氣象數(shù)據(jù)管理服務(wù)，目前被廣泛應(yīng)用。本文

2、對MARS平臺(tái)的關(guān)鍵技術(shù)集中進(jìn)行了分析研究，對查詢訪問的關(guān)鍵性能瓶頸問題給出了相應(yīng)的并行優(yōu)化設(shè)計(jì)和實(shí)現(xiàn)方法，主要工作如下：
　　1.研究分析了GRIB和BUFR編碼類型的氣象數(shù)據(jù)結(jié)構(gòu)特點(diǎn)，在此基礎(chǔ)上，針對性開展了國內(nèi)外氣象數(shù)據(jù)資料管理平臺(tái)的技術(shù)發(fā)展和功能特點(diǎn)分析，并著重研究了MARS框架元數(shù)據(jù)管理關(guān)鍵技術(shù)，即基于多維時(shí)空數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)立方體索引技術(shù)。
　　2.開展了基于MARS檢索區(qū)域查詢方式的優(yōu)化研究，提出了一種高效的補(bǔ)集

3、轉(zhuǎn)換區(qū)域查詢方法（CTRQ）。針對現(xiàn)有MARS系統(tǒng)執(zhí)行大范圍區(qū)域查詢的效率瓶頸問題，基于數(shù)學(xué)補(bǔ)集思想設(shè)計(jì)了一種高效的補(bǔ)集轉(zhuǎn)換區(qū)域查詢方法，并通過OpenMP混合模型編程，實(shí)現(xiàn)了基于高性能計(jì)算平臺(tái)的CTRQ算法并行化操作。該方法能有效降低數(shù)據(jù)立方體聚集計(jì)算量，并通過并行算法進(jìn)一步提高了計(jì)算效率。
　　3.開展了基于MARS歸檔物理結(jié)構(gòu)重組織優(yōu)化算法研究，提出了一種基于索引映射的并行處理方法（IMPP）。針對現(xiàn)有MARS系統(tǒng)海量氣象數(shù)