大規(guī)模流媒體服務系統(tǒng)存儲調度研究.pdf

1、隨著多媒體技術、網(wǎng)絡技術和計算機技術的不斷進步，流媒體服務的應用和研究取得了飛速的發(fā)展。流媒體服務的特點是一邊下載一邊觀看，以流的形式進行媒體數(shù)據(jù)的傳輸和服務，使用戶可以在線欣賞到連續(xù)不斷的媒體內容。由于流媒體服務數(shù)據(jù)量大、實時性高，對存儲設備、網(wǎng)絡設備以及服務器的資源調度都提出了很高的要求。 流媒體服務系統(tǒng)的資源調度問題主要指服務資源的調度和存儲資源的調度，本文針對大規(guī)模流媒體服務系統(tǒng)中存儲調度問題，圍繞流媒體服務器集群的副本

2、管理問題和層次化流媒體服務系統(tǒng)的存儲調度問題展開研究，通過建立問題的數(shù)學模型進行分析，提出相應的存儲調度策略，并對存儲調度策略進行性能分析，最后討論存儲調度系統(tǒng)在工程實現(xiàn)中的若干問題。 現(xiàn)有針對流媒體服務器集群內的副本管理問題的研究，模型的主要目標是服務器間的負載均衡，然而，考慮到工程實際中存儲調度的代價也是影響系統(tǒng)性能的重要因素，本文把副本調整的代價也作為存儲調度的目標，進而可以更好地分析存儲調度問題，發(fā)現(xiàn)現(xiàn)有算法的局限性，提

3、出相應的改進方案。 針對基于zipf分布副本產(chǎn)生算法總副本數(shù)有限的問題，本文提出了A)使用比例因子直接放大Zipf算法決定的副本數(shù)，B)放大Zipf產(chǎn)生算法的區(qū)間劃分數(shù)目兩種改進方案，可以產(chǎn)生更大的總副本數(shù)，進而充分利用系統(tǒng)的存儲資源，為更多的用戶提供服務。 在流媒體服務器集群中副本放置問題中，由于現(xiàn)有的基于最小負載優(yōu)先(Smallest Load First，SLF)的副本放置過程不能有效利用服務器中已經(jīng)存儲的副本資源

4、，可能會創(chuàng)建過多的副本而使存儲調度代價過高；而基于背包問題的算法(如MMPacking，Dynamic Repacking等)，雖然可以有效地利用服務器上已經(jīng)存儲的副本資源，但是由于其副本產(chǎn)生機制的局限性，不能有效地利用系統(tǒng)全部的服務能力和存儲能力。針對這個問題，本文基于最小負載優(yōu)先(SLF)算法提出改進的副本放置策略，同時結合基于Zipf分布的副本產(chǎn)生策略，不僅可以滿足負載均衡的要求，而且可以在有效地利用系統(tǒng)存儲資源和服務資源的前提下

5、，成倍地減少需要創(chuàng)建的副本數(shù)，極大地降低了存儲調度的代價，使系統(tǒng)可以有更多的資源來服務用戶的請求。 針對層次化存儲架構下的大規(guī)模流媒體服務系統(tǒng)，本文通過將子樹虛擬化為虛擬節(jié)點，使存儲調度問題變得更具一般性，進而提出分為自頂而下副本分發(fā)和自底而上副本請求兩個過程的存儲調度策略，對存儲調度策略進行了算法復雜度分析，并針對負載均衡程度、用戶接受概率等指標通過仿真實驗進行了驗證，結果表明該存儲調度策略可以使系統(tǒng)處于負載均衡的狀態(tài)，進而充