大數(shù)據(jù)平臺(tái)分布式存儲(chǔ)資源自動(dòng)部署研究.pdf

1、隨著大量的基于互聯(lián)網(wǎng)的服務(wù)與大量的服務(wù)托管在云平臺(tái)上的趨勢(shì)日益流行，需要更加強(qiáng)大的后端存儲(chǔ)系統(tǒng)來(lái)支持這些服務(wù)。一方面存儲(chǔ)系統(tǒng)自身應(yīng)該要有更強(qiáng)大的處理高并發(fā)和高強(qiáng)度的工作負(fù)載的能力。分布式存儲(chǔ)是當(dāng)前一種很優(yōu)秀的解決辦法。它將會(huì)實(shí)現(xiàn)以下特性：伸縮性、可用性、持久性、一致性以及分區(qū)容忍性。目前實(shí)現(xiàn)一個(gè)分布式存儲(chǔ)來(lái)滿(mǎn)足以上所有設(shè)想是非常困難的或者說(shuō)是不可能的。因此，把研究的重點(diǎn)放在限制不同的特性來(lái)設(shè)計(jì)不同的分布式存儲(chǔ)解決方案來(lái)滿(mǎn)足不同的使用場(chǎng)景

2、。另一方面，隨著云計(jì)算技術(shù)的發(fā)展為設(shè)計(jì)分布式存儲(chǔ)帶來(lái)了新的挑戰(zhàn)。為了更好的在云計(jì)算中使用現(xiàn)收現(xiàn)付的價(jià)格模型，一種動(dòng)態(tài)的資源部署中間件被提出來(lái)(如彈性控制器)。彈性控制是能夠幫助節(jié)約應(yīng)用的程序的配置成本，同時(shí)不損耗應(yīng)用的性能。設(shè)計(jì)一種彈性控制機(jī)制來(lái)自動(dòng)部署分布式存儲(chǔ)系統(tǒng)是非常重要的。這個(gè)問(wèn)題將要面對(duì)的挑戰(zhàn)是對(duì)系統(tǒng)的工作負(fù)載的正確判斷和在伸縮系統(tǒng)的時(shí)候的數(shù)據(jù)遷移開(kāi)銷(xiāo)(即是系統(tǒng)添加或刪除實(shí)例的時(shí)候傳輸數(shù)據(jù)消耗的時(shí)間和資源)。
　　本課題

3、設(shè)計(jì)的自動(dòng)部署系統(tǒng)主要是采用了工作負(fù)載預(yù)測(cè)的方法來(lái)實(shí)現(xiàn)的。主要是通過(guò)監(jiān)測(cè)存儲(chǔ)系統(tǒng)的性能指標(biāo)數(shù)據(jù)(請(qǐng)求延遲、cpu利用率、實(shí)例數(shù)量等)，通過(guò)檢測(cè)的工作負(fù)載數(shù)據(jù)來(lái)預(yù)測(cè)系統(tǒng)下一個(gè)時(shí)期的工作負(fù)載情況，以及使用檢測(cè)的數(shù)據(jù)推出系統(tǒng)滿(mǎn)足SLA的最小配置，從而在下一預(yù)測(cè)窗口開(kāi)始前重新部署系統(tǒng)規(guī)模。在添加或移除實(shí)例的時(shí)候會(huì)做一個(gè)數(shù)據(jù)的遷移，使服務(wù)請(qǐng)求更加均勻的訪問(wèn)每一個(gè)存儲(chǔ)實(shí)例。
　　對(duì)工作負(fù)載的預(yù)測(cè)是整個(gè)系統(tǒng)的核心部分，本課題采用了基于維納濾波器