基于多維特征提取的視頻內(nèi)容識別系統(tǒng)設(shè)計與實現(xiàn).pdf

1、視頻內(nèi)容識別是通過對視頻的分析得到視頻所要表達(dá)的主題，是一種對視頻進(jìn)行抽象概述的行為。視頻內(nèi)容識別對于目前信息網(wǎng)絡(luò)的發(fā)展具有重要意義。思科公布的互聯(lián)網(wǎng)預(yù)測報告顯示未來五年內(nèi)全球的互聯(lián)網(wǎng)流量增長近三倍，個人互聯(lián)網(wǎng)流量的比例將增長到82％。視頻內(nèi)容服務(wù)已是信息網(wǎng)絡(luò)中的主流業(yè)務(wù)，如何處理與分析海量的視頻內(nèi)容成了亟待解決的問題。如識別廣播視頻中的廣告內(nèi)容，網(wǎng)絡(luò)視頻中的違禁鏡頭等。視頻內(nèi)容識別通過分析視頻得出簡要抽象的結(jié)果，更能夠滿足視頻數(shù)量巨大

2、的信息網(wǎng)絡(luò)的發(fā)展需求。
　　廣告包含豐富的商業(yè)信息。本文以視頻廣告為例，設(shè)計了視頻內(nèi)容識別系統(tǒng)，用于識別廣告內(nèi)容。廣告是抽象的視頻描述，為了識別廣告內(nèi)容，需要檢測視頻中的鏡頭邊界，以鏡頭為單位判斷視頻是否為廣告。因為非廣告鏡頭中也會出現(xiàn)商標(biāo)或廣告語等廣告特征，需要在確定是廣告的基礎(chǔ)上進(jìn)一步識別出是什么廣告。已有的工作中，鏡頭邊界檢測算法計算效率低，鏡頭分類的方法也無法滿足視頻類型多樣的情況。本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的計算機(jī)視覺處

3、理技術(shù)，綜合圖像和音頻的多維特征進(jìn)行視頻內(nèi)容識別，設(shè)計并實現(xiàn)了完整的視頻內(nèi)容識別系統(tǒng)。
　　本文的具體貢獻(xiàn)主要有如下三個方面。
　　(1)基于實驗數(shù)據(jù)，提出了新的鏡頭邊界檢測方法。基于真實的廣播數(shù)據(jù)，使用顏色特征設(shè)計了一種新的鏡頭邊界檢測方法。相比于其他方法，本文的方法計算簡單，能夠降低鏡頭漸變的影響，方便后續(xù)的鏡頭分類和內(nèi)容識別工作。
　　(2)提出一種新的鏡頭特征提取方法，即使用卷積神經(jīng)網(wǎng)絡(luò)提取鏡頭特征，并利用該特

4、征將鏡頭分為廣告與非廣告兩類。傳統(tǒng)的視頻特征如顏色、紋理等，只能進(jìn)行低維具體描述，而使用卷積神經(jīng)網(wǎng)絡(luò)提取的鏡頭特征，具有高維抽象表達(dá)的能力，而且計算效率高。使用該特征訓(xùn)練支持向量機(jī)分類器，將鏡頭分為廣告與非廣告兩類，精確率與召回率分別達(dá)到93.74％和95.33％。
　　(3)綜合視頻中圖像與音頻的特征，設(shè)計并實現(xiàn)了視頻內(nèi)容識別系統(tǒng)。之前的視頻識別方法大多只使用了圖像特征或者將圖像與音頻在特征層融合后進(jìn)行識別。本文設(shè)計了新的識別方