面向大數(shù)據(jù)的異構(gòu)集群存儲系統(tǒng)副本放置與選擇策略研究.pdf

1、集群存儲系統(tǒng)作為新一代企業(yè)級存儲架構(gòu)，是云計算和大數(shù)據(jù)時代應(yīng)對存儲容量壓力、I/O性能瓶頸、存儲成本危機(jī)等諸多挑戰(zhàn)的重要解決方案?，F(xiàn)有集群存儲系統(tǒng)一般由大量廉價商用存儲設(shè)備構(gòu)成，節(jié)點失效和硬件故障被認(rèn)為是一種常態(tài)。為此，副本技術(shù)被廣泛運用于該存儲架構(gòu)中以保證系統(tǒng)的高可靠性和高可用性。隨著云計算技術(shù)和大數(shù)據(jù)應(yīng)用模式的不斷發(fā)展，如何針對個體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用、多樣化的I/O負(fù)載及集群存儲系統(tǒng)的新特性，高效地實現(xiàn)多個副本的“存”和“取”

2、，即副本的放置和選擇，是當(dāng)前集群存儲系統(tǒng)副本管理研究中需要解決的關(guān)鍵問題。
　　現(xiàn)有工作在分布式存儲系統(tǒng)的副本放置和選擇方面取得了一定進(jìn)展，但仍存在諸多不足。在靜態(tài)副本放置方面，已有策略的負(fù)載均衡能力尚缺乏有效的理論證明，適用范圍不清晰，且未考慮存儲節(jié)點的異構(gòu)性，應(yīng)用具有局限性;在動態(tài)副本放置方面，現(xiàn)有算法雖然具有更加靈活的I/O負(fù)載均衡能力，但會增加系統(tǒng)的復(fù)雜性并導(dǎo)致副本放置呈現(xiàn)無序化，且同樣未考慮存儲節(jié)點的異構(gòu)性，嚴(yán)重影響系統(tǒng)

3、能效和應(yīng)用性能;而在副本選擇方面，已有策略選擇標(biāo)準(zhǔn)單一、可擴(kuò)展性差，沒有從大數(shù)據(jù)應(yīng)用角度出發(fā)考慮按需服務(wù)的數(shù)據(jù)請求，無法滿足越來越多的個體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用。
　　本文針對異構(gòu)集群存儲系統(tǒng)副本管理中放置和選擇兩個關(guān)鍵技術(shù)，研究相關(guān)機(jī)制和算法，為構(gòu)建大容量、高性能、低成本和強(qiáng)擴(kuò)展性的集群存儲系統(tǒng)提供合理、高效的副本策略，以滿足當(dāng)前大數(shù)據(jù)應(yīng)用對存儲系統(tǒng)提出的迫切需求，具體的研究內(nèi)容主要包括以下四個方面:第一，結(jié)合排隊論對異構(gòu)集群

4、存儲系統(tǒng)的靜態(tài)副本放置策略展開遞進(jìn)式研究，以期解決現(xiàn)有工作所存在的問題，為集群存儲系統(tǒng)的整體設(shè)計和規(guī)劃提供理論依據(jù);第二，以目前主流的Hadoop作為研究對象，提出一種面向大規(guī)模異構(gòu)Hadoop集群存儲系統(tǒng)的動態(tài)副本放置策略，能夠充分利用集群中高性能節(jié)點提升大數(shù)據(jù)應(yīng)用任務(wù)的執(zhí)行性能，同時提高集群系統(tǒng)能效并節(jié)省一定的存儲開銷;第三，提出一個QoS偏好感知算法獲取個體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用的非定量QoS偏好，結(jié)合系統(tǒng)當(dāng)前副本放置方案，在多

5、維QoS約束下解決最佳副本的選擇問題;第四，基于東南大學(xué)云計算平臺，設(shè)計并開發(fā)面向AMS大數(shù)據(jù)應(yīng)用的分級存儲數(shù)據(jù)管理系統(tǒng)，為AMS大數(shù)據(jù)處理的高效快速執(zhí)行提供合理的副本策略并驗證本文的理論研究工作。
　　本論文對面向大數(shù)據(jù)應(yīng)用的異構(gòu)集群存儲系統(tǒng)的副本放置和選擇策略進(jìn)行了深入探索，通過一系列仿真實驗和AMS大數(shù)據(jù)處理的實驗結(jié)果表明，本文所提的相關(guān)機(jī)制和算法能夠?qū)Ξ悩?gòu)集群存儲系統(tǒng)中的數(shù)據(jù)及其副本進(jìn)行合理、高效的管理和優(yōu)化，可為實際應(yīng)用