基于Spark的流媒體云轉(zhuǎn)碼技術(shù)研究與應(yīng)用.pdf

1、隨著智能手機(jī)的普及、3G/4G網(wǎng)絡(luò)的覆蓋，移動(dòng)互聯(lián)網(wǎng)技術(shù)正逐漸滲透到百姓生活中。而移動(dòng)網(wǎng)絡(luò)資費(fèi)的下降，使得用戶(hù)也逐漸開(kāi)始通過(guò)移動(dòng)設(shè)備在線(xiàn)觀看視頻與網(wǎng)絡(luò)直播。但由于移動(dòng)網(wǎng)絡(luò)信號(hào)的不穩(wěn)定性，會(huì)造成用戶(hù)觀看高清視頻時(shí)畫(huà)面的頻繁卡頓只能降低清晰度來(lái)獲得流暢度，因此傳統(tǒng)流媒體技術(shù)無(wú)法同時(shí)滿(mǎn)足用戶(hù)流暢度和清晰度雙方面的要求。HLS（HTTP Live Streaming）為蘋(píng)果公司2009年發(fā)布的新一代流媒體傳輸協(xié)議，不但彌補(bǔ)了各類(lèi)傳統(tǒng)流媒體協(xié)議的

2、缺點(diǎn)，而且還提供了自適應(yīng)多碼率，可以在不同網(wǎng)絡(luò)環(huán)境下自動(dòng)切換清晰度保證播放的流暢。HLS協(xié)議的實(shí)現(xiàn)需要視頻符合其規(guī)定的MPEG-2 TS編碼格式，由于轉(zhuǎn)碼是非常耗費(fèi)資源的任務(wù)，現(xiàn)在主流的集中式單機(jī)轉(zhuǎn)碼已經(jīng)不能滿(mǎn)足人民的要求。同時(shí)如今迅速增長(zhǎng)的視頻需求，使得現(xiàn)在主流的集中式單機(jī)轉(zhuǎn)碼顯得捉襟見(jiàn)肘，提供視頻服務(wù)的成本也居高不下，因此分布式和并行化處理是視頻轉(zhuǎn)碼的必然趨勢(shì)。
　　本文使用了Spark開(kāi)源分布式計(jì)算平臺(tái)，通過(guò)Spark的內(nèi)存

3、計(jì)算能夠得到比基于Hadoop的云轉(zhuǎn)碼系統(tǒng)更快的速度。另外，Spark提供了Spark Streaming流式計(jì)算功能，能夠便捷高效地處理流視頻，實(shí)現(xiàn)視頻直播功能。
　　本文設(shè)計(jì)了流媒體云轉(zhuǎn)碼系統(tǒng)的整體框架，主要由轉(zhuǎn)碼模塊、Spark模塊、流媒體服務(wù)器模塊組成。其中轉(zhuǎn)碼模塊和Spark模塊屬于云轉(zhuǎn)碼系統(tǒng)，轉(zhuǎn)碼模塊通過(guò)開(kāi)源視頻處理軟件 FFmpeg來(lái)實(shí)現(xiàn)轉(zhuǎn)碼功能。Spark模塊實(shí)現(xiàn)了兩個(gè)功能：一是通過(guò)MapReduce框架調(diào)用轉(zhuǎn)碼模

4、塊來(lái)進(jìn)行轉(zhuǎn)碼實(shí)現(xiàn)視頻的點(diǎn)播功能；二是通過(guò)Spark Streaming流式計(jì)算來(lái)完成視頻流轉(zhuǎn)碼并實(shí)現(xiàn)直播功能。
　　本文采用開(kāi)源HTTP服務(wù)器Nginx搭建了簡(jiǎn)易的HLS服務(wù)器，并由它來(lái)完成添加索引等資源消耗小的后期工作。然后將Spark云轉(zhuǎn)碼應(yīng)用到HLS流媒體服務(wù)器中，并利用軟件模擬不穩(wěn)定網(wǎng)絡(luò)環(huán)境下的自適應(yīng)多碼率切換。
　　最后本文對(duì)所實(shí)現(xiàn)的流媒體云轉(zhuǎn)碼系統(tǒng)進(jìn)行了測(cè)試分析工作，比較了在不同情況下Spark、Hadoop、S