分布式服務(wù)系統(tǒng)基于分層的存儲(chǔ)資源管理研究.pdf

1、隨著通信技術(shù)和計(jì)算機(jī)科學(xué)的發(fā)展,互聯(lián)網(wǎng)逐漸形成以多媒體為核心的服務(wù)平臺(tái)。內(nèi)容分發(fā)網(wǎng)絡(luò)和對(duì)等網(wǎng)絡(luò)廣泛應(yīng)用于交互式視頻點(diǎn)播(VideoonDemand,VoD)系統(tǒng)的開(kāi)發(fā),以提高服務(wù)質(zhì)量、增大系統(tǒng)吞吐量、降低內(nèi)容提供商的部署成本等。盡管這兩類(lèi)網(wǎng)絡(luò)具有良好的可擴(kuò)展性、容災(zāi)性,但其節(jié)點(diǎn)組織松散,故要求必須采取適當(dāng)?shù)牟呗怨芾硐到y(tǒng)資源。用戶(hù)隨機(jī)的VCR操作行為以及流媒體對(duì)服務(wù)質(zhì)量的嚴(yán)格要求加劇了VoD系統(tǒng)的復(fù)雜性。本文以實(shí)現(xiàn)高效的緩存性能為目的,研

2、究分布式VoD系統(tǒng)的存儲(chǔ)資源管理。由于用戶(hù)規(guī)模的膨脹,存儲(chǔ)資源管理已成為網(wǎng)絡(luò)服務(wù)的關(guān)鍵。本文所提出的緩存策略對(duì)VoD系統(tǒng)的研制和發(fā)展有著實(shí)際的指導(dǎo)意義,對(duì)云計(jì)算等分布式系統(tǒng)的研究具有一定的參考價(jià)值。
　　 本文將VoD系統(tǒng)的存儲(chǔ)資源分為代理緩存、服務(wù)器內(nèi)存(RandomAccessMemory,RAM)以及客戶(hù)端緩存三層,并分別針對(duì)各層的緩存特點(diǎn)和優(yōu)化目標(biāo)進(jìn)行討論,其創(chuàng)新性主要體現(xiàn)在以下四個(gè)方面:
　　 第一,本文提出了

3、基于窗口的熱度統(tǒng)計(jì)算法。熱度是視頻緩存的重要參數(shù),它反映了用戶(hù)對(duì)不同視頻內(nèi)容的偏好程度,并直接影響緩存策略的性能。固定周期的熱度統(tǒng)計(jì)方法不能實(shí)時(shí)地反映用戶(hù)行為的變化,本文通過(guò)統(tǒng)計(jì)視頻數(shù)據(jù)段的請(qǐng)求率得到其熱度。該方法能夠靈活、及時(shí)地跟蹤熱度的真實(shí)變化。
　　 第二,本文給出了用戶(hù)點(diǎn)播延遲期望的表達(dá)式,并提出了相應(yīng)的代理緩存策略。由于VoD系統(tǒng)服務(wù)器節(jié)點(diǎn)間的傳輸延遲較大,在傳統(tǒng)的緩存算法下,若點(diǎn)播存在大量VCR行為,用戶(hù)將難以獲得良

4、好的服務(wù)體驗(yàn)。本文定義了視頻數(shù)據(jù)段間的點(diǎn)播跳轉(zhuǎn)概率,結(jié)合數(shù)據(jù)預(yù)取機(jī)制研究了點(diǎn)播的起始延遲和網(wǎng)絡(luò)抖動(dòng)延遲,給出一個(gè)較優(yōu)的代理緩存策略,并通過(guò)在線(xiàn)調(diào)整逼近最優(yōu)解。同時(shí)在代理緩存己知的情況下,我們提出了相應(yīng)的數(shù)據(jù)預(yù)取算法,利用緩存和預(yù)取兩種數(shù)據(jù)獲取方法的相互協(xié)作,減小用戶(hù)的點(diǎn)播延遲,提高代理緩存效率。
　　 第三,本文研究了減小流媒體服務(wù)器磁盤(pán)I/O的內(nèi)存緩存策略,并建立其部分可觀Markov決策過(guò)程(PartlyObservable

5、MarkovDecisionProcess,POMDP)模型。相對(duì)于其它RAM緩存算法,流媒體系統(tǒng)可以利用視頻的統(tǒng)計(jì)信息預(yù)測(cè)并調(diào)整緩存部署。我們定義了平均磁盤(pán)I/O,并提出一種簡(jiǎn)單的貪心算法,然后給出了基于POMDP的緩存策略。在該P(yáng)OMDP模型中,磁盤(pán)I/O被轉(zhuǎn)化為Markov鏈的長(zhǎng)期運(yùn)行平均代價(jià),基于觀測(cè)的隨機(jī)策略被用于優(yōu)化該模型。
　　 第四,本文針對(duì)客戶(hù)節(jié)點(diǎn)的不穩(wěn)定特性,提出一種以二次規(guī)劃為基礎(chǔ)的客戶(hù)端緩存置換算法。為了