基于MapReduce的海量視頻轉(zhuǎn)碼系統(tǒng)優(yōu)化機制.pdf

1、隨著智能移動終端的普及,移動應(yīng)用變得越來越重要,視頻服務(wù)作為主要的娛樂工具將會在移動應(yīng)用中發(fā)揮重要作用。移動終端的異構(gòu)性以及視頻編碼格式的多樣性等導致終端對視頻的需求都不一樣,并且由于移動網(wǎng)絡(luò)的易變性,同一終端在不同時刻對視頻的需求也不一樣。因此為了根據(jù)網(wǎng)絡(luò)狀況傳輸不同質(zhì)量層次的視頻文件,需要將視頻文件轉(zhuǎn)碼成不同分辨率碼率的多個文件,即需要對海量視頻進行轉(zhuǎn)碼。由于視頻文件數(shù)據(jù)量大,轉(zhuǎn)碼又是耗時耗資源的一個過程,需要合理地分配計算資源和網(wǎng)

2、絡(luò)帶寬來提高資源利用率,降低轉(zhuǎn)碼時間。
　　基于MapReduce的海量視頻轉(zhuǎn)碼系統(tǒng)采用Hadoop對轉(zhuǎn)碼過程進行并行加速,結(jié)合數(shù)據(jù)管理和數(shù)據(jù)本地化任務(wù)調(diào)度方式,減少數(shù)據(jù)在集群中的遷移。主要優(yōu)化方案為:
　　(1)在視頻接入時將各個視頻文件分散到轉(zhuǎn)碼節(jié)點,并對轉(zhuǎn)碼過程進行流水線式處理,合理分配計算資源和網(wǎng)絡(luò)帶寬;
　　(2)為減少視頻分片傳輸,在進行任務(wù)調(diào)度的時候結(jié)合數(shù)據(jù)本地化特征,將數(shù)據(jù)在某節(jié)點上的任務(wù)保留在該節(jié)點中

3、;并對視頻分片元數(shù)據(jù)進行管理,根據(jù)任務(wù)調(diào)度在集群中進行分割、復制、排序等操作,在轉(zhuǎn)碼階段才根據(jù)元數(shù)據(jù)指示的文件分片名及位置傳輸視頻分片;
　　(3)為實現(xiàn)最大的系統(tǒng)利用率,對分片進行不同粒度的分割,最后,結(jié)合遺傳算法和粒子群優(yōu)化算法對轉(zhuǎn)碼日志進行分析,優(yōu)化節(jié)點的任務(wù)槽數(shù)目配置。
　　基于MapReduce的海量視頻轉(zhuǎn)碼數(shù)據(jù)管理與調(diào)度縮短了視頻文件的轉(zhuǎn)碼時間,提高了系統(tǒng)的吞吐量。性能測試表明,相對于現(xiàn)有的基于MapReduce