基于冗余的云存儲數(shù)據(jù)分布策略研究.pdf

1、隨著大數(shù)據(jù)時代的來臨，云存儲在面對海量的數(shù)據(jù)處理與挖掘中起到了關(guān)鍵的作用，傳統(tǒng)的云存儲系統(tǒng)為了保證數(shù)據(jù)可用性采用完全副本或者糾刪碼來加入數(shù)據(jù)冗余，這兩種數(shù)據(jù)冗余方法都存在一定的弊端，未能充分發(fā)揮數(shù)據(jù)中心和移動終端的特點及服務(wù)需求，針對此種情況，結(jié)合上述兩種數(shù)據(jù)冗余方案設(shè)計了一種云存儲系統(tǒng)架構(gòu)及其數(shù)據(jù)分布策略。
　　通過深入分析完全副本和糾刪編碼這兩種數(shù)據(jù)冗余的優(yōu)缺點，設(shè)計了一種兩層結(jié)構(gòu)的云存儲系統(tǒng)架構(gòu)，分為數(shù)據(jù)中心—超級節(jié)點。利用

2、糾刪碼節(jié)省存儲空間的特點，在數(shù)據(jù)中心采用糾刪碼的方式加入冗余；利用副本的高性能特點在超級節(jié)點采用副本方式為客戶端提供高效的數(shù)據(jù)訪問。在數(shù)據(jù)中心中針對文件糾刪編碼后形成的多個數(shù)據(jù)片，提出了一種基于負載均衡的節(jié)點排序數(shù)據(jù)片分布算法，這種數(shù)據(jù)片分布算法能夠快速定位到要讀取文件的數(shù)據(jù)分片，加快超級節(jié)點從數(shù)據(jù)中心存取數(shù)據(jù)的速度，并且有利于數(shù)據(jù)中心存儲數(shù)據(jù)片的分布均衡；在超級節(jié)點中，文件的多副本要根據(jù)實際訪問熱度完成副本到糾刪碼的轉(zhuǎn)換，提出了一種基

3、于歷史訪問信息多周期的熱度計算方法，根據(jù)訪問熱度動態(tài)調(diào)整數(shù)據(jù)片的副本數(shù)，并對熱度更新時機、副本上下限、多余副本回收等問題做了較為深入的研究分析。
　　測試結(jié)果表明，在數(shù)據(jù)中心一側(cè)，本文提出的節(jié)點排序算法取數(shù)據(jù)片的時間較隨機和順序取數(shù)據(jù)片時間節(jié)省了70％以上，且節(jié)點之間的數(shù)據(jù)片分布差小于6%，實現(xiàn)了負載均衡；超級節(jié)點中，動態(tài)副本管理算法和optorsim中LRU和LFU算法相比較，在提高性能的同時減少了50%的副本數(shù)目，節(jié)省了存儲空