云存儲系統(tǒng)資源調(diào)度技術(shù)研究.pdf

1、隨著云存儲服務(wù)的日益普及，人們對云存儲系統(tǒng)的服務(wù)質(zhì)量、使用成本以及溫室氣體排放等方面提出了更高的要求。云存儲系統(tǒng)是一個具有多數(shù)據(jù)中心、多種資源、多個數(shù)據(jù)對象（包括文件、視頻、圖片等），且服務(wù)于多個用戶的復雜系統(tǒng)，其資源調(diào)度技術(shù)是研究如何通過副本放置和帶寬分配等手段，實現(xiàn)提高服務(wù)質(zhì)量（包括數(shù)據(jù)可靠性、帶寬供應(yīng)以及訪問局部性）、降低服務(wù)成本以及降低二氧化碳排放等目標。為了實現(xiàn)上述目標，云存儲資源調(diào)度技術(shù)需要解決三個難點問題：（1）缺少完善的

2、數(shù)學模型來描述資源調(diào)度、服務(wù)成本、二氧化碳排放和服務(wù)質(zhì)量之間的關(guān)系，因此也就難以有針對性的提出有效的資源調(diào)度方案；（2）云存儲系統(tǒng)較為復雜，由其抽象而來的數(shù)學模型一般都是NP難問題，這增加了調(diào)度算法的設(shè)計難度；（3）系統(tǒng)中的數(shù)據(jù)對象太多，極大的增加了調(diào)度算法的運行時間。在本文的研究工作中，將克服這些難點問題，最終給出合理的解決方案。
　　研究云存儲系統(tǒng)資源調(diào)度技術(shù)需要對用戶的訪問流量做出準確預(yù)測，因此利用時間序列理論中的ARIMA

3、和GARCH模型，實現(xiàn)一種文件下載系統(tǒng)中的流量預(yù)測方案，該方案能夠準確預(yù)測各個文件未來時段內(nèi)的下載流量。
　　隨著視頻點播應(yīng)用被逐步遷移到云平臺上，針對視頻點播應(yīng)用的云存儲資源調(diào)度技術(shù)成為部署大規(guī)模視頻數(shù)據(jù)的關(guān)鍵問題。解決該問題的過程共分兩個步驟，一是建立數(shù)學模型，二是對模型的求解。首先針對多視頻頻道，多觀影用戶，多數(shù)據(jù)中心的系統(tǒng)架構(gòu)，建立數(shù)學模型以描述資源分配、資源費用以及服務(wù)質(zhì)量等要素之間的關(guān)系，并通過理論證明對該模型求解是

4、NP難問題。因此，為了獲得該模型的解，提出一種分布式算法——DREAM(-L)，為分配下載帶寬、放置頻道副本等問題提供解決方案，使得在云存儲系統(tǒng)中的視頻點播應(yīng)用能夠以較低的費用滿足數(shù)據(jù)可靠性、帶寬供應(yīng)、訪問局部性等服務(wù)質(zhì)量需求。
　　為了優(yōu)化更多的云存儲應(yīng)用，需要提出更為通用的云存儲系統(tǒng)資源調(diào)度技術(shù)。一方面，擴展此前提出的數(shù)學模型和算法，增加上傳帶寬的分配方案，并優(yōu)化數(shù)據(jù)更新開銷。另一反面，當系統(tǒng)中需要優(yōu)化的數(shù)據(jù)對象大幅增加時，很

5、多資源調(diào)度算法的運算時間過長，無法在有效時間內(nèi)完成資源調(diào)度任務(wù)。為了提高資源調(diào)度算法的運行效率，提出數(shù)據(jù)對象分組技術(shù)，該技術(shù)使資源調(diào)度算法的運行時間不隨數(shù)據(jù)對象數(shù)目的增加而增加。實驗結(jié)果表明，數(shù)據(jù)對象分組技術(shù)能夠保證調(diào)度算法在常數(shù)時間內(nèi)完成運算。
　　為了降低云存儲系統(tǒng)的二氧化碳排放量，提出了與碳排放相關(guān)的云存儲系統(tǒng)能耗模型。再利用二氧化碳排放強度這一參數(shù)，把能耗模型轉(zhuǎn)化為碳排放模型，并針對碳排放模型提出了對應(yīng)的分布式求解算法，該