面向大數(shù)據(jù)的異構(gòu)集群存儲(chǔ)系統(tǒng)副本放置與選擇策略研究.pdf

1、集群存儲(chǔ)系統(tǒng)作為新一代企業(yè)級(jí)存儲(chǔ)架構(gòu)，是云計(jì)算和大數(shù)據(jù)時(shí)代應(yīng)對(duì)存儲(chǔ)容量壓力、I/O性能瓶頸、存儲(chǔ)成本危機(jī)等諸多挑戰(zhàn)的重要解決方案?，F(xiàn)有集群存儲(chǔ)系統(tǒng)一般由大量廉價(jià)商用存儲(chǔ)設(shè)備構(gòu)成，節(jié)點(diǎn)失效和硬件故障被認(rèn)為是一種常態(tài)。為此，副本技術(shù)被廣泛運(yùn)用于該存儲(chǔ)架構(gòu)中以保證系統(tǒng)的高可靠性和高可用性。隨著云計(jì)算技術(shù)和大數(shù)據(jù)應(yīng)用模式的不斷發(fā)展，如何針對(duì)個(gè)體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用、多樣化的I/O負(fù)載及集群存儲(chǔ)系統(tǒng)的新特性，高效地實(shí)現(xiàn)多個(gè)副本的“存”和“取”

2、，即副本的放置和選擇，是當(dāng)前集群存儲(chǔ)系統(tǒng)副本管理研究中需要解決的關(guān)鍵問(wèn)題。
　　現(xiàn)有工作在分布式存儲(chǔ)系統(tǒng)的副本放置和選擇方面取得了一定進(jìn)展，但仍存在諸多不足。在靜態(tài)副本放置方面，已有策略的負(fù)載均衡能力尚缺乏有效的理論證明，適用范圍不清晰，且未考慮存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性，應(yīng)用具有局限性;在動(dòng)態(tài)副本放置方面，現(xiàn)有算法雖然具有更加靈活的I/O負(fù)載均衡能力，但會(huì)增加系統(tǒng)的復(fù)雜性并導(dǎo)致副本放置呈現(xiàn)無(wú)序化，且同樣未考慮存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性，嚴(yán)重影響系統(tǒng)

3、能效和應(yīng)用性能;而在副本選擇方面，已有策略選擇標(biāo)準(zhǔn)單一、可擴(kuò)展性差，沒(méi)有從大數(shù)據(jù)應(yīng)用角度出發(fā)考慮按需服務(wù)的數(shù)據(jù)請(qǐng)求，無(wú)法滿(mǎn)足越來(lái)越多的個(gè)體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用。
　　本文針對(duì)異構(gòu)集群存儲(chǔ)系統(tǒng)副本管理中放置和選擇兩個(gè)關(guān)鍵技術(shù)，研究相關(guān)機(jī)制和算法，為構(gòu)建大容量、高性能、低成本和強(qiáng)擴(kuò)展性的集群存儲(chǔ)系統(tǒng)提供合理、高效的副本策略，以滿(mǎn)足當(dāng)前大數(shù)據(jù)應(yīng)用對(duì)存儲(chǔ)系統(tǒng)提出的迫切需求，具體的研究?jī)?nèi)容主要包括以下四個(gè)方面:第一，結(jié)合排隊(duì)論對(duì)異構(gòu)集群

4、存儲(chǔ)系統(tǒng)的靜態(tài)副本放置策略展開(kāi)遞進(jìn)式研究，以期解決現(xiàn)有工作所存在的問(wèn)題，為集群存儲(chǔ)系統(tǒng)的整體設(shè)計(jì)和規(guī)劃提供理論依據(jù);第二，以目前主流的Hadoop作為研究對(duì)象，提出一種面向大規(guī)模異構(gòu)Hadoop集群存儲(chǔ)系統(tǒng)的動(dòng)態(tài)副本放置策略，能夠充分利用集群中高性能節(jié)點(diǎn)提升大數(shù)據(jù)應(yīng)用任務(wù)的執(zhí)行性能，同時(shí)提高集群系統(tǒng)能效并節(jié)省一定的存儲(chǔ)開(kāi)銷(xiāo);第三，提出一個(gè)QoS偏好感知算法獲取個(gè)體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用的非定量QoS偏好，結(jié)合系統(tǒng)當(dāng)前副本放置方案，在多

5、維QoS約束下解決最佳副本的選擇問(wèn)題;第四，基于東南大學(xué)云計(jì)算平臺(tái)，設(shè)計(jì)并開(kāi)發(fā)面向AMS大數(shù)據(jù)應(yīng)用的分級(jí)存儲(chǔ)數(shù)據(jù)管理系統(tǒng)，為AMS大數(shù)據(jù)處理的高效快速執(zhí)行提供合理的副本策略并驗(yàn)證本文的理論研究工作。
　　本論文對(duì)面向大數(shù)據(jù)應(yīng)用的異構(gòu)集群存儲(chǔ)系統(tǒng)的副本放置和選擇策略進(jìn)行了深入探索，通過(guò)一系列仿真實(shí)驗(yàn)和AMS大數(shù)據(jù)處理的實(shí)驗(yàn)結(jié)果表明，本文所提的相關(guān)機(jī)制和算法能夠?qū)Ξ悩?gòu)集群存儲(chǔ)系統(tǒng)中的數(shù)據(jù)及其副本進(jìn)行合理、高效的管理和優(yōu)化，可為實(shí)際應(yīng)用