分布式云計(jì)算資源配置技術(shù)研究.pdf

1、采用令用戶滿意的高效資源配置機(jī)制是云服務(wù)提供商取得成功的關(guān)鍵因素之一。在基礎(chǔ)設(shè)施即服務(wù)（Infrastructure act as Service，IaaS）模型中，云服務(wù)提供商主要以虛擬機(jī)的形式對(duì)外提供服務(wù)，因此資源配置問(wèn)題也就歸結(jié)為在滿足業(yè)務(wù)需求前提下的虛擬機(jī)部署問(wèn)題。本文首先依據(jù)虛擬機(jī)部署順序，采用自頂向下的方法，將分布式云計(jì)算中虛擬機(jī)部署分為三個(gè)階段，即云網(wǎng)絡(luò)選擇階段，數(shù)據(jù)中心選擇階段和服務(wù)器選擇階段。然后結(jié)合各階段中具體業(yè)務(wù)的

2、不同需求，給出了針對(duì)性的資源配置策略。
　　在云網(wǎng)絡(luò)選擇階段，云經(jīng)紀(jì)人（cloud broker）會(huì)利用長(zhǎng)期資源預(yù)留的價(jià)格優(yōu)勢(shì)和資源統(tǒng)計(jì)復(fù)用帶來(lái)的增益，通過(guò)租賃公有云服務(wù)提供商的基礎(chǔ)設(shè)施來(lái)降低自己的成本。由于云服務(wù)提供商會(huì)提供多種不同的虛擬機(jī)預(yù)留實(shí)例周期（virtual machines reserved instance terms），而不同周期的實(shí)例價(jià)格不同，云經(jīng)紀(jì)人必須從多種實(shí)例周期中做出適當(dāng)選擇，以便采用最低成本資源滿足用

3、戶的實(shí)時(shí)動(dòng)態(tài)需求。針對(duì)此目標(biāo)，本文提出了最長(zhǎng)實(shí)例周期優(yōu)選的逐層預(yù)留啟發(fā)式算法和基于集合覆蓋的近似算法來(lái)解決離線情況下的資源配置問(wèn)題，并提出了基于歷史資源使用信息的在線資源配置算法。實(shí)驗(yàn)表明啟發(fā)式離線算法的運(yùn)行速度幾乎是近似離線算法的兩倍，相比全部使用實(shí)時(shí)虛擬機(jī)的方法，兩種離線算法均能節(jié)省大約27％的成本，在線算法能節(jié)省大約14%的成本。與已有的只考慮一種預(yù)留實(shí)例的算法相比，本文提出的算法更具有實(shí)用性。
　　在數(shù)據(jù)中心選擇階段，本文

4、研究了虛擬機(jī)部署時(shí)基于聚類的數(shù)據(jù)中心選擇和大數(shù)據(jù)向云端遷移時(shí)數(shù)據(jù)中心選擇兩個(gè)問(wèn)題。第一個(gè)問(wèn)題的目標(biāo)是優(yōu)化數(shù)據(jù)中心間通信時(shí)延和帶寬。為某大型任務(wù)或者某組織服務(wù)的一組相互通信的虛擬機(jī)可能會(huì)跨越多個(gè)數(shù)據(jù)中心，所以需要極小化最大的數(shù)據(jù)中心間的距離，以便極小化通信時(shí)延，同時(shí)節(jié)省昂貴的數(shù)據(jù)中心間的長(zhǎng)途帶寬。本文首先提出了基于密度聚類的2-近似數(shù)據(jù)中心選擇算法。相比已有的只考慮數(shù)據(jù)中心間距離的方法，該算法能充分利用數(shù)據(jù)中心的組網(wǎng)拓?fù)鋵傩?、稠密屬性以?/p>

5、容量信息，效率提升了約15%～72%。然后建立了虛擬機(jī)半通信模型，并提出了基于該模型的虛擬機(jī)劃分算法將虛擬機(jī)分組并對(duì)應(yīng)到已選定的數(shù)據(jù)中心。實(shí)驗(yàn)表明，該算法不僅能進(jìn)一步減少數(shù)據(jù)中心間的帶寬消耗，而且運(yùn)行速度比已有算法快2倍左右。所有算法均適用于虛擬機(jī)同構(gòu)或異構(gòu)的場(chǎng)景，克服了已有算法只適用于虛擬機(jī)同構(gòu)場(chǎng)景的局限性。第二個(gè)問(wèn)題的目標(biāo)是為分布式大數(shù)據(jù)選擇合適的數(shù)據(jù)中心，將數(shù)據(jù)遷移到云端，既可保證快速的本地?cái)?shù)據(jù)接入又能實(shí)現(xiàn)低成本數(shù)據(jù)遷移和處理。本

6、文首先分析了大數(shù)據(jù)遷移時(shí)的四種目標(biāo)：即公平數(shù)據(jù)放置、優(yōu)選數(shù)據(jù)放置、傳輸成本最小化數(shù)據(jù)放置和總成本最小化數(shù)據(jù)放置。然后采用二分圖對(duì)問(wèn)題進(jìn)行了建模。針對(duì)前兩種目標(biāo)，提出了一種基于組合優(yōu)化的緊的3-近似算法。針對(duì)后兩種目標(biāo)，提出了一種最近數(shù)據(jù)中心優(yōu)先的啟發(fā)式算法。所給兩種算法能夠降低接入時(shí)延和成本，解決因法規(guī)限制或者用戶偏好引起的部分?jǐn)?shù)據(jù)中心不可用的問(wèn)題，彌補(bǔ)了已有方法默認(rèn)全部數(shù)據(jù)中心均可用的不足。
　　在服務(wù)器選擇階段，需要實(shí)現(xiàn)服務(wù)質(zhì)

7、量可感知的低成本服務(wù)器選擇。服務(wù)器和組網(wǎng)占了數(shù)據(jù)中心總成本的60%左右。如何有效部署虛擬機(jī)以盡可能地節(jié)省成本，并保證服務(wù)質(zhì)量，對(duì)于提高云服務(wù)提供商的競(jìng)爭(zhēng)力起著舉足輕重的作用。考慮異構(gòu)服務(wù)器以及虛擬機(jī)多種資源需求的隨機(jī)性，該問(wèn)題被形式化為一個(gè)多目標(biāo)非線性規(guī)劃。通過(guò)利用數(shù)據(jù)中心的組網(wǎng)拓?fù)湫畔?，具有更大通信量的虛擬機(jī)被盡可能地部署在一起，減少了通信時(shí)延并節(jié)省了服務(wù)器之間帶寬消耗。同時(shí)，統(tǒng)計(jì)復(fù)用和新定義的“相似性”方法被用來(lái)整合虛擬機(jī)，資源容量

8、違約被盡可能地限定在指定的極小概率內(nèi)。這樣的部署方案既不會(huì)影響服務(wù)質(zhì)量，又可以節(jié)省服務(wù)器和網(wǎng)絡(luò)成本。本文分別針對(duì)離線和在線場(chǎng)景給出了啟發(fā)式算法。與已有算法比較，實(shí)驗(yàn)顯示本文所給算法能更多地節(jié)省包括服務(wù)器，帶寬在內(nèi)的多種資源成本，而且運(yùn)行更快。
　　本文最后考慮了跨數(shù)據(jù)中心大數(shù)據(jù)處理時(shí)數(shù)據(jù)中心和服務(wù)器的協(xié)同選擇問(wèn)題?？紤]到將跨全球分布的數(shù)據(jù)全部遷移到同一個(gè)數(shù)據(jù)中心進(jìn)行分析不一定可行，而已廣為接受的大數(shù)據(jù)分析框架Hadoop卻只能處理