基于Spark的直播視頻場景分類系統(tǒng)的分析與實現(xiàn).pdf

1、網(wǎng)絡(luò)直播是繼傳統(tǒng)廣播電視后的新視頻文化，至今共經(jīng)歷了三個發(fā)展階段。從優(yōu)酷等網(wǎng)站上傳個人視頻，到Y(jié)Y等網(wǎng)頁端的“秀場”直播，再到如今的“隨走、隨看、隨播”的移動視頻直播時代，共經(jīng)歷六年，而二、三階段僅經(jīng)歷三年不到卻占據(jù)現(xiàn)今直播的主流市場。據(jù)不完全統(tǒng)計，目前全國在線直播平臺數(shù)量超過200家，在方正證券的預(yù)測中，2020年網(wǎng)絡(luò)直播市場規(guī)模將達(dá)到600億元，直播將是微博、微信之后的第三波移動互聯(lián)網(wǎng)流量中心。
　　由于缺少高端設(shè)備和后期制作

2、的支持，畫面質(zhì)量問題一直是網(wǎng)絡(luò)直播關(guān)注的重要問題之一。目前如百度云直播、阿里云直播等平臺都向用戶提供了針對不同錄制場景的畫質(zhì)優(yōu)化方案，但是針對同一個視頻流，直播平臺一般都使用同一個優(yōu)化算法進(jìn)行優(yōu)化，這也就意味著在直播過程中更換場景后對應(yīng)使用的視頻流優(yōu)化算法并不是最合適的。因此，本項目提出了基于Spark的直播視頻場景分類系統(tǒng)對視頻流進(jìn)行實時分類從而為實現(xiàn)畫質(zhì)優(yōu)化方案的動態(tài)變化提供依據(jù)。
　　本項目結(jié)合任務(wù)消息隊列的思想在Spark

3、核心框架上使用Spark Streaming流式計算框架對多個視頻流進(jìn)行并行實時處理與分類。視頻的處理包括視頻流數(shù)據(jù)轉(zhuǎn)圖像幀數(shù)據(jù)，對圖像幀進(jìn)行轉(zhuǎn)灰度處理、直方圖均衡化處理、HOG特征提取處理以及光流特征提取處理。同時，本項目基于AlexNet模型改進(jìn)并建立了接收多路輸入的深度卷積神經(jīng)網(wǎng)絡(luò)分類模型，多路AlexNet(Multi-Stream AlexNet，MSAN)模型。本項目使用該模型對視頻的圖像數(shù)據(jù)進(jìn)行場景分類，并且按照視頻推流的