基于Spark的流媒體云轉(zhuǎn)碼技術研究與應用.pdf

1、隨著智能手機的普及、3G/4G網(wǎng)絡的覆蓋，移動互聯(lián)網(wǎng)技術正逐漸滲透到百姓生活中。而移動網(wǎng)絡資費的下降，使得用戶也逐漸開始通過移動設備在線觀看視頻與網(wǎng)絡直播。但由于移動網(wǎng)絡信號的不穩(wěn)定性，會造成用戶觀看高清視頻時畫面的頻繁卡頓只能降低清晰度來獲得流暢度，因此傳統(tǒng)流媒體技術無法同時滿足用戶流暢度和清晰度雙方面的要求。HLS（HTTP Live Streaming）為蘋果公司2009年發(fā)布的新一代流媒體傳輸協(xié)議，不但彌補了各類傳統(tǒng)流媒體協(xié)議的

2、缺點，而且還提供了自適應多碼率，可以在不同網(wǎng)絡環(huán)境下自動切換清晰度保證播放的流暢。HLS協(xié)議的實現(xiàn)需要視頻符合其規(guī)定的MPEG-2 TS編碼格式，由于轉(zhuǎn)碼是非常耗費資源的任務，現(xiàn)在主流的集中式單機轉(zhuǎn)碼已經(jīng)不能滿足人民的要求。同時如今迅速增長的視頻需求，使得現(xiàn)在主流的集中式單機轉(zhuǎn)碼顯得捉襟見肘，提供視頻服務的成本也居高不下，因此分布式和并行化處理是視頻轉(zhuǎn)碼的必然趨勢。
　　本文使用了Spark開源分布式計算平臺，通過Spark的內(nèi)存

3、計算能夠得到比基于Hadoop的云轉(zhuǎn)碼系統(tǒng)更快的速度。另外，Spark提供了Spark Streaming流式計算功能，能夠便捷高效地處理流視頻，實現(xiàn)視頻直播功能。
　　本文設計了流媒體云轉(zhuǎn)碼系統(tǒng)的整體框架，主要由轉(zhuǎn)碼模塊、Spark模塊、流媒體服務器模塊組成。其中轉(zhuǎn)碼模塊和Spark模塊屬于云轉(zhuǎn)碼系統(tǒng)，轉(zhuǎn)碼模塊通過開源視頻處理軟件 FFmpeg來實現(xiàn)轉(zhuǎn)碼功能。Spark模塊實現(xiàn)了兩個功能：一是通過MapReduce框架調(diào)用轉(zhuǎn)碼模

4、塊來進行轉(zhuǎn)碼實現(xiàn)視頻的點播功能；二是通過Spark Streaming流式計算來完成視頻流轉(zhuǎn)碼并實現(xiàn)直播功能。
　　本文采用開源HTTP服務器Nginx搭建了簡易的HLS服務器，并由它來完成添加索引等資源消耗小的后期工作。然后將Spark云轉(zhuǎn)碼應用到HLS流媒體服務器中，并利用軟件模擬不穩(wěn)定網(wǎng)絡環(huán)境下的自適應多碼率切換。
　　最后本文對所實現(xiàn)的流媒體云轉(zhuǎn)碼系統(tǒng)進行了測試分析工作，比較了在不同情況下Spark、Hadoop、S