基于數據庫集群的海洋環(huán)境數據優(yōu)化存儲與分布式管理.pdf

1、由于衛(wèi)星遙感等海洋探測技術的快速發(fā)展，所獲得的海洋數據呈爆炸趨勢增長，數據量高達幾百GB甚至于TB級的海量海洋數據庫應用已經出現。海洋環(huán)境數據存在著多源多格式、數據量大的特點，而基于互聯(lián)網或局域網對這些數據的訪問又有速度、效率、可用性等方面的要求。本文針對這些問題，研究海量數據優(yōu)化存儲方法以及基于數據庫集群的分布式數據管理技術，提高海洋數據管理的整體性能和系統(tǒng)的可靠性。論文的主要研究內容和成果如下： 1．海洋環(huán)境數據優(yōu)化存儲研究

2、 由于海洋環(huán)境數據應用具有面向查詢的特點，查詢效率和存儲空間占用量是進行海洋環(huán)境數據庫建設所要考慮的最重要的因素?；谶@種實際需求，對海洋數據優(yōu)化存儲進行研究，研究包括三個方面：改造傳統(tǒng)關系存儲模式；研究數據分片方法；研究相應的數據操作方法。 本文提出了一種新的類似網格結構的關系模式Grid_R來管理海洋數據，該結構類似數據采集的實際地理經緯度網格，除了時間，緯度，將所有的經度直接作為屬性列。數據分片方法以及相應的數據操

3、作方法研究均基于Grid_R數據組織結構。通過存儲與組織的優(yōu)化減少了數據庫的數據冗余，磁盤空間占用量不到傳統(tǒng)方法的1/4，減少了網絡傳輸時的數據量，在某種意義上實現了數據壓縮。單表查詢效率比傳統(tǒng)方法提高了4倍以上。 2．基于數據庫集群技術的海量數據分布式管理研究 傳統(tǒng)的集中式數據庫系統(tǒng)難以有效支持基于WEB的海洋地理信息系統(tǒng)功能。隨著數據庫請求不斷增加，查詢方式的日益復雜，數據庫服務器的負載增加，響應單個請求的速度越來越

4、慢，對系統(tǒng)的穩(wěn)定運行帶來了不利影響。海量數據也對單服務器的存儲能力提出挑戰(zhàn)。 本文將數據庫集群技術應用于海洋環(huán)境數據的管理，提出使用基于中間件的數據庫集群實現海量數據的分布式管理，將數據分布于不同的數據庫節(jié)點上，集群中間件系統(tǒng)負責各節(jié)點的協(xié)作與并行處理，可以獲得高性能、高可用性、高可擴展性，突破傳統(tǒng)的集中式數據庫服務器上的DBMS所固有的性能瓶頸限制。 3．海洋環(huán)境數據庫集群關鍵技術研究 基于優(yōu)化存儲結構和分布式

5、管理策略，對數據庫集群數據分布、負載均衡以及并行查詢等關鍵技術進行研究： 提出了一種新的數據分布算法：兩步分布法，將數據集分為分片數據集和復制數據集，兩步分布法即先均勻分布分片數據集、再按異構節(jié)點資源權值分布復制數據集，在保證相鄰數據分布在不同節(jié)點的基礎上，使數據分布盡量達到均衡； 提出了一種基于數據復制的動態(tài)負載均衡算法來平衡集群的負載，以達到提高整體性能的目標，并解決了局部節(jié)點過熱和集群可用性問題； 提出了一

6、種并行查詢算法來實現用戶對集群的透明查詢，將用戶的全局查詢進行解析，根據元數據將全局查詢轉化對各節(jié)點的本地查詢，調用負載均衡獲得最佳查詢節(jié)點，然后在各節(jié)點并行執(zhí)行查詢，最后進行重構得到最終結果，并將結果返回用戶。 根據研究成果，基于海洋大氣地理信息系統(tǒng)MAGIS(MarineandAtmosphericGeographicalInformationSystem)平臺軟件，建設了多節(jié)點海洋環(huán)境數據庫集群，并開發(fā)了集群中間件分布式海