基于Spark的直播視頻場景分類系統(tǒng)的分析與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)直播是繼傳統(tǒng)廣播電視后的新視頻文化，至今共經(jīng)歷了三個(gè)發(fā)展階段。從優(yōu)酷等網(wǎng)站上傳個(gè)人視頻，到Y(jié)Y等網(wǎng)頁端的“秀場”直播，再到如今的“隨走、隨看、隨播”的移動(dòng)視頻直播時(shí)代，共經(jīng)歷六年，而二、三階段僅經(jīng)歷三年不到卻占據(jù)現(xiàn)今直播的主流市場。據(jù)不完全統(tǒng)計(jì)，目前全國在線直播平臺(tái)數(shù)量超過200家，在方正證券的預(yù)測中，2020年網(wǎng)絡(luò)直播市場規(guī)模將達(dá)到600億元，直播將是微博、微信之后的第三波移動(dòng)互聯(lián)網(wǎng)流量中心。
　　由于缺少高端設(shè)備和后期制作

2、的支持，畫面質(zhì)量問題一直是網(wǎng)絡(luò)直播關(guān)注的重要問題之一。目前如百度云直播、阿里云直播等平臺(tái)都向用戶提供了針對(duì)不同錄制場景的畫質(zhì)優(yōu)化方案，但是針對(duì)同一個(gè)視頻流，直播平臺(tái)一般都使用同一個(gè)優(yōu)化算法進(jìn)行優(yōu)化，這也就意味著在直播過程中更換場景后對(duì)應(yīng)使用的視頻流優(yōu)化算法并不是最合適的。因此，本項(xiàng)目提出了基于Spark的直播視頻場景分類系統(tǒng)對(duì)視頻流進(jìn)行實(shí)時(shí)分類從而為實(shí)現(xiàn)畫質(zhì)優(yōu)化方案的動(dòng)態(tài)變化提供依據(jù)。
　　本項(xiàng)目結(jié)合任務(wù)消息隊(duì)列的思想在Spark

3、核心框架上使用Spark Streaming流式計(jì)算框架對(duì)多個(gè)視頻流進(jìn)行并行實(shí)時(shí)處理與分類。視頻的處理包括視頻流數(shù)據(jù)轉(zhuǎn)圖像幀數(shù)據(jù)，對(duì)圖像幀進(jìn)行轉(zhuǎn)灰度處理、直方圖均衡化處理、HOG特征提取處理以及光流特征提取處理。同時(shí)，本項(xiàng)目基于AlexNet模型改進(jìn)并建立了接收多路輸入的深度卷積神經(jīng)網(wǎng)絡(luò)分類模型，多路AlexNet(Multi-Stream AlexNet，MSAN)模型。本項(xiàng)目使用該模型對(duì)視頻的圖像數(shù)據(jù)進(jìn)行場景分類，并且按照視頻推流的