面向數(shù)據(jù)密集型應用的存儲策略研究.pdf

1、隨著互聯(lián)網(wǎng)和信息收集技術(shù)的發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)量呈爆炸式增長，依賴于海量數(shù)據(jù)的數(shù)據(jù)密集型應用也層出不窮。現(xiàn)今數(shù)據(jù)密集型應用已在科學計算、互聯(lián)網(wǎng)數(shù)據(jù)處理、網(wǎng)絡(luò)媒體處理等領(lǐng)域受到廣泛關(guān)注。數(shù)據(jù)的存儲管理直接關(guān)系到數(shù)據(jù)密集型應用的性能，因而成為當前的重要研究內(nèi)容。
　　 隨著云計算概念和架構(gòu)的逐漸清晰，云計算平臺已經(jīng)成為數(shù)據(jù)集密集型應用的首選部署平臺。在云計算環(huán)境下，數(shù)據(jù)密集型應用的數(shù)據(jù)集與多個工作流有依賴關(guān)系，往往需要跨數(shù)據(jù)中心的數(shù)據(jù)

2、處理。當前對存儲策略的研究主要以減少數(shù)據(jù)中心之間的流量為目標，較少考慮費用的消耗問題和多副本因素。與此同時，作為遺留應用，傳統(tǒng)的數(shù)據(jù)密集型應用仍然將數(shù)據(jù)存儲在單數(shù)據(jù)中心上，并采用分布式的存儲系統(tǒng)架構(gòu)。由于單數(shù)據(jù)中心內(nèi)部有高速網(wǎng)絡(luò)連接，此時的存儲策略主要考慮系統(tǒng)的容錯性和吞吐能力，以及多副本放置問題。
　　 針對上述問題，本文分別對云計算環(huán)境和傳統(tǒng)存儲環(huán)境下的數(shù)據(jù)密集型應用的存儲策略開展了研究，具體工作包括:
　　 1)在

3、云計算環(huán)境下，提出一種以減小費用消耗為目標的數(shù)據(jù)密集型應用的數(shù)據(jù)存儲模型，分別提出基于最大流的數(shù)據(jù)存儲策略和基于副本創(chuàng)建的數(shù)據(jù)存儲策略。基于最大流的數(shù)據(jù)存儲策略將云計算環(huán)境下的數(shù)據(jù)存儲的費用消耗問題轉(zhuǎn)為帶有代價的網(wǎng)絡(luò)流問題，利用數(shù)據(jù)存儲的特性求解存儲部署的最小費用。基于副本創(chuàng)建的策略則是在最大流策略上考慮了副本因素，進一步降低了應用的存儲部署代價。
　　 2)在單數(shù)據(jù)中心的存儲環(huán)境下，本文完善了分布式存儲系統(tǒng)LandHouse的

4、架構(gòu)，并根據(jù)Peterson存儲環(huán)的特性，提出了一種基于糾刪碼的數(shù)據(jù)分塊策略以及相應的負載均衡算法來提高存儲系統(tǒng)的容錯性和吞吐量。
　　 3)本文分別對兩種環(huán)境下的策略進行了實驗。對云計算環(huán)境下的存儲問題，實驗結(jié)果證明本文提出的策略有效地減少了數(shù)據(jù)密集型應用的費用消耗。對于單數(shù)據(jù)中心，實驗證明本文提出的數(shù)據(jù)分塊策略和負載均衡算法有效的提高了系統(tǒng)的容錯性和吞吐量。
　　 “大數(shù)據(jù)”的存儲和處理是當前的熱門研究課題，本文的工