大規(guī)模視頻轉(zhuǎn)碼調(diào)度算法的研究與設(shè)計.pdf

1、隨著國家大力推進互聯(lián)網(wǎng)、廣播電視網(wǎng)、移動網(wǎng)的三網(wǎng)融合，有越來越多的視頻數(shù)據(jù)需要暢游于三網(wǎng)之間。然而，三網(wǎng)間網(wǎng)絡(luò)帶寬、播放設(shè)備以及播放軟件各不相同，因此需要對視頻進行轉(zhuǎn)碼。但三網(wǎng)間有著規(guī)模高達百億級的視頻文件，其轉(zhuǎn)碼任務(wù)的存儲量達到100PB級，轉(zhuǎn)碼任務(wù)的計算量也達到P級，如此大的存儲量和計算量，無法依靠單臺計算機來實現(xiàn)。
　　本文提出了一種通過計算機集群系統(tǒng)的解決方案。首先研究了集群的體系結(jié)構(gòu)，集群的特點，集群的分類和幾種常用的集

2、群調(diào)度算法，并針對視頻轉(zhuǎn)碼的特殊背景，選擇LVS（LinuxvirtualServer）作為集群的解決方案，通過剖析LVS的內(nèi)部機制、調(diào)度算法的比較和算法的分析，提出了一種針對視頻轉(zhuǎn)碼的改進型動態(tài)負載均衡算法：ADLBA算法（Advanced DynamicLoad Balance Algorithm）。
　　ADLBA算法分為調(diào)度器端和節(jié)點端兩個部分。調(diào)度器會定期收集各個計算節(jié)點實時的CPU信息和內(nèi)存信息，獲得每個計算節(jié)點的真實

3、負載。同時，根據(jù)視頻格式間相互轉(zhuǎn)換時所需的資源需求，制定轉(zhuǎn)碼系數(shù)表，確定視頻任務(wù)對資源的預(yù)期需求。最后調(diào)度器根據(jù)節(jié)點真實負載和任務(wù)的預(yù)期資源需求計算得出一個綜合負載需求，選擇綜合負載最小的計算節(jié)點來調(diào)度。在節(jié)點端，算法通過優(yōu)先級反饋隊列的設(shè)置，來進行任務(wù)排隊隊列的管理，并選擇優(yōu)先級最高的任務(wù)到CPU上執(zhí)行。
　　最后，本文完整實現(xiàn)了ADLBA算法，并搭建了集群系統(tǒng)環(huán)境，通過與WLC算法在任務(wù)運行時間、平均等待時間和平均CPU利用率