基于HBase的海量氣象結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化.pdf

1、海量氣象觀探測數(shù)據(jù)是提高公共氣象服務(wù)精細(xì)化、精準(zhǔn)化和個性化水平的關(guān)鍵，日增TB級的氣象數(shù)據(jù)在存儲、檢索以及共享方面的時效性要求對構(gòu)建在傳統(tǒng)IOE技術(shù)架構(gòu)上的氣象數(shù)據(jù)管理系統(tǒng)提出了嚴(yán)峻挑戰(zhàn)。因此以數(shù)據(jù)共享為導(dǎo)向的氣象數(shù)據(jù)共享平臺成為了研究的熱點(diǎn)，它旨在通過分布式架構(gòu)以及可線性擴(kuò)容能力來處理海量氣象數(shù)據(jù)，所以整個數(shù)據(jù)平臺負(fù)載的平衡以及對數(shù)據(jù)查詢的低延時是保證各個氣象服務(wù)高效使用氣象數(shù)據(jù)的關(guān)鍵。
　　本文主要研究HBase分布式非關(guān)系型

2、數(shù)據(jù)庫(Hadoop DataBase)的區(qū)域數(shù)據(jù)塊拆分策略與索引模型，針對HBase在數(shù)據(jù)導(dǎo)入階段以及數(shù)據(jù)查詢階段的不足，提出了一種更有效的方案。具體內(nèi)容及成果如下:
　　(1)提出了基于負(fù)載量的區(qū)域數(shù)據(jù)塊拆分策略。在數(shù)據(jù)導(dǎo)入階段，首先計算出每個節(jié)點(diǎn)的負(fù)載值，然后根據(jù)負(fù)載值確定區(qū)域數(shù)據(jù)塊的拆分閾值。負(fù)載值的評價函數(shù)包括了CPU、內(nèi)存和磁盤I/O使用率等影響各個節(jié)點(diǎn)負(fù)載的因素，并通過層次分析法確定各項影響因素的權(quán)值。該策略在HBa

3、se原有的拆分策略基礎(chǔ)上增加對節(jié)點(diǎn)負(fù)載值的判斷，通過調(diào)整拆分閾值在一定程度上減輕高負(fù)載節(jié)點(diǎn)的壓力。
　　(2)提出了基于協(xié)處理器的輔助索引模型。首先根據(jù)氣象結(jié)構(gòu)化數(shù)據(jù)的文件格式特點(diǎn)設(shè)計HBase的表結(jié)構(gòu);然后根據(jù)HBase的存儲特性確定輔助索引的模型，采用分層索引思想對持久化的原始數(shù)據(jù)建立索引表;接著利用協(xié)處理器的回調(diào)函數(shù)完成對索引表的同步與維護(hù)工作。該索引策略克服了HBase不支持非行鍵查詢的障礙，大幅度提高了結(jié)構(gòu)化數(shù)據(jù)的查詢效