大規(guī)模流媒體服務(wù)系統(tǒng)存儲(chǔ)調(diào)度研究.pdf

1、隨著多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)和計(jì)算機(jī)技術(shù)的不斷進(jìn)步，流媒體服務(wù)的應(yīng)用和研究取得了飛速的發(fā)展。流媒體服務(wù)的特點(diǎn)是一邊下載一邊觀看，以流的形式進(jìn)行媒體數(shù)據(jù)的傳輸和服務(wù)，使用戶可以在線欣賞到連續(xù)不斷的媒體內(nèi)容。由于流媒體服務(wù)數(shù)據(jù)量大、實(shí)時(shí)性高，對(duì)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備以及服務(wù)器的資源調(diào)度都提出了很高的要求。 流媒體服務(wù)系統(tǒng)的資源調(diào)度問(wèn)題主要指服務(wù)資源的調(diào)度和存儲(chǔ)資源的調(diào)度，本文針對(duì)大規(guī)模流媒體服務(wù)系統(tǒng)中存儲(chǔ)調(diào)度問(wèn)題，圍繞流媒體服務(wù)器集群的副本

2、管理問(wèn)題和層次化流媒體服務(wù)系統(tǒng)的存儲(chǔ)調(diào)度問(wèn)題展開(kāi)研究，通過(guò)建立問(wèn)題的數(shù)學(xué)模型進(jìn)行分析，提出相應(yīng)的存儲(chǔ)調(diào)度策略，并對(duì)存儲(chǔ)調(diào)度策略進(jìn)行性能分析，最后討論存儲(chǔ)調(diào)度系統(tǒng)在工程實(shí)現(xiàn)中的若干問(wèn)題。 現(xiàn)有針對(duì)流媒體服務(wù)器集群內(nèi)的副本管理問(wèn)題的研究，模型的主要目標(biāo)是服務(wù)器間的負(fù)載均衡，然而，考慮到工程實(shí)際中存儲(chǔ)調(diào)度的代價(jià)也是影響系統(tǒng)性能的重要因素，本文把副本調(diào)整的代價(jià)也作為存儲(chǔ)調(diào)度的目標(biāo)，進(jìn)而可以更好地分析存儲(chǔ)調(diào)度問(wèn)題，發(fā)現(xiàn)現(xiàn)有算法的局限性，提

3、出相應(yīng)的改進(jìn)方案。 針對(duì)基于zipf分布副本產(chǎn)生算法總副本數(shù)有限的問(wèn)題，本文提出了A)使用比例因子直接放大Zipf算法決定的副本數(shù)，B)放大Zipf產(chǎn)生算法的區(qū)間劃分?jǐn)?shù)目?jī)煞N改進(jìn)方案，可以產(chǎn)生更大的總副本數(shù)，進(jìn)而充分利用系統(tǒng)的存儲(chǔ)資源，為更多的用戶提供服務(wù)。 在流媒體服務(wù)器集群中副本放置問(wèn)題中，由于現(xiàn)有的基于最小負(fù)載優(yōu)先(Smallest Load First，SLF)的副本放置過(guò)程不能有效利用服務(wù)器中已經(jīng)存儲(chǔ)的副本資源

4、，可能會(huì)創(chuàng)建過(guò)多的副本而使存儲(chǔ)調(diào)度代價(jià)過(guò)高；而基于背包問(wèn)題的算法(如MMPacking，Dynamic Repacking等)，雖然可以有效地利用服務(wù)器上已經(jīng)存儲(chǔ)的副本資源，但是由于其副本產(chǎn)生機(jī)制的局限性，不能有效地利用系統(tǒng)全部的服務(wù)能力和存儲(chǔ)能力。針對(duì)這個(gè)問(wèn)題，本文基于最小負(fù)載優(yōu)先(SLF)算法提出改進(jìn)的副本放置策略，同時(shí)結(jié)合基于Zipf分布的副本產(chǎn)生策略，不僅可以滿足負(fù)載均衡的要求，而且可以在有效地利用系統(tǒng)存儲(chǔ)資源和服務(wù)資源的前提下

5、，成倍地減少需要?jiǎng)?chuàng)建的副本數(shù)，極大地降低了存儲(chǔ)調(diào)度的代價(jià)，使系統(tǒng)可以有更多的資源來(lái)服務(wù)用戶的請(qǐng)求。 針對(duì)層次化存儲(chǔ)架構(gòu)下的大規(guī)模流媒體服務(wù)系統(tǒng)，本文通過(guò)將子樹(shù)虛擬化為虛擬節(jié)點(diǎn)，使存儲(chǔ)調(diào)度問(wèn)題變得更具一般性，進(jìn)而提出分為自頂而下副本分發(fā)和自底而上副本請(qǐng)求兩個(gè)過(guò)程的存儲(chǔ)調(diào)度策略，對(duì)存儲(chǔ)調(diào)度策略進(jìn)行了算法復(fù)雜度分析，并針對(duì)負(fù)載均衡程度、用戶接受概率等指標(biāo)通過(guò)仿真實(shí)驗(yàn)進(jìn)行了驗(yàn)證，結(jié)果表明該存儲(chǔ)調(diào)度策略可以使系統(tǒng)處于負(fù)載均衡的狀態(tài)，進(jìn)而充