混合云存儲環(huán)境下海洋大數(shù)據(jù)的布局及遷移算法研究.pdf

1、隨著信息技術的不斷更新，各種高新的數(shù)據(jù)觀測、監(jiān)測設備廣泛應用于海洋數(shù)據(jù)的采集，包括：衛(wèi)星遙感、航空、氣象氣球，臺站，浮標，船舶，以及水下傳感器等。全方位、立體化的海洋監(jiān)測系統(tǒng)的形成，為我國全面實現(xiàn)海洋信息化奠定了堅實的基礎。由于海洋科學學科特征以及海洋數(shù)據(jù)獲取手段的多源性導致了海洋數(shù)據(jù)具有海量性、多樣性、實時性、空間性、敏感性、異構性等特征，并且海洋數(shù)據(jù)量急劇增加，海洋數(shù)據(jù)無疑成為大數(shù)據(jù)的典范。海量、復雜的海洋大數(shù)據(jù)在給信息化發(fā)展帶來機

2、遇的同時，也給數(shù)據(jù)的管理帶了新的挑戰(zhàn)。而海洋大數(shù)據(jù)的高效管理是實現(xiàn)海洋信息化的基石，是制約海洋信息化發(fā)展的瓶頸問題之一，因此，如何對復雜的、海量的海洋大數(shù)據(jù)進行高效的數(shù)據(jù)管理是目前亟需解決的問題。
　　伴隨著云計算的興起和發(fā)展，云存儲引起了業(yè)界的關注，其為大數(shù)據(jù)管理提供了新的理念和方法。云存儲分為公有云、私有云和混合云三種類型，其具有容量大、成本低、高擴展性以及高可靠性等優(yōu)勢，為大數(shù)據(jù)的高效管理提供了有效的方法。云存儲環(huán)境由成千上

3、萬個價格相對低廉的基礎設施組成，為大規(guī)模的數(shù)據(jù)存儲、數(shù)據(jù)計算提供了足夠大的空間。海洋大數(shù)據(jù)具有區(qū)別于傳統(tǒng)數(shù)據(jù)的顯著特征（如海量性、多樣性、實時性、空間性、敏感性、異構性等），并且海洋數(shù)據(jù)的特征不僅影響海洋大數(shù)據(jù)的高效管理，同時也影響著海洋大數(shù)據(jù)的應用。故此，兼顧考慮海洋大數(shù)據(jù)的典型特征下，本文提出了適合于海洋大數(shù)據(jù)存儲的混合云存儲模式，其主要內容如下：
　　1.文章針對研究的背景與意義首先做了綜述。其次綜述了國內外云存儲、數(shù)據(jù)布局

4、與數(shù)據(jù)遷移的研究現(xiàn)狀，并在此基礎之上，分析了在大數(shù)據(jù)的管理方面尚且存在的問題。由于海洋大數(shù)據(jù)顯著的特征，在混合云存儲環(huán)境下海洋大數(shù)據(jù)的管理亟待解決的問題主要有：1）如何在混合云存儲環(huán)境中對屬性特征顯著的海洋大數(shù)據(jù)進行合理的數(shù)據(jù)布局，減少后續(xù)數(shù)據(jù)應用過程中數(shù)據(jù)的傳遞與遷移；2）如何判斷何時（When），哪個數(shù)據(jù)中心（Where），哪一部分（Which）數(shù)據(jù)進行遷移；3）在保證數(shù)據(jù)安全和數(shù)據(jù)響應速度的前提下，如何盡可能的降低數(shù)據(jù)管理的成本。

5、
　　2.對海洋大數(shù)據(jù)的顯著特征做了詳細闡述。根據(jù)海洋大數(shù)據(jù)的空間性特征以及海洋大數(shù)據(jù)應用特點，即在實際的應用過程中空間位置臨近的數(shù)據(jù)對象被同時調用的概率較高。本文利用空間相關性理論，對海洋大數(shù)據(jù)進行相關性分析，根據(jù)數(shù)據(jù)之間的相關程度對海洋大數(shù)據(jù)進行布局。將相關性程度高的數(shù)據(jù)存儲在同一或者臨近的數(shù)據(jù)中心上，避免或減少數(shù)據(jù)中心之間數(shù)據(jù)的傳遞，從而降低了資源和時間的消耗，提高數(shù)據(jù)存儲性能并降低了數(shù)據(jù)管理成本。
　　3.針對混合云

6、存儲環(huán)境中的關鍵問題——數(shù)據(jù)遷移，本文首先對該問題進行了形式化的描述，并對問題中所涉及的概念給出了較為準確的定義，進而提出了混合云存儲中海洋大數(shù)據(jù)的遷移算法。在遷移算法中，將海洋數(shù)據(jù)的敏感度、數(shù)據(jù)訪問頻率，數(shù)據(jù)大小，數(shù)據(jù)時間長度等因素作為遷移因子，對影響數(shù)據(jù)遷移的因素進行了充分的權衡。遷移算法兼顧考慮了數(shù)據(jù)存儲容量、海洋數(shù)據(jù)本身的屬性特征和數(shù)據(jù)訪問過程中的動態(tài)變化。
　　4.最后，本文通過實驗對所提出方法的正確性與有效性進行了驗證