基于時空信息和深度學(xué)習(xí)的視頻總結(jié)和標(biāo)題生成.pdf

1、隨著攝像機(jī)和智能手機(jī)的普及，在網(wǎng)上出現(xiàn)了爆炸式指數(shù)增長的視頻，這些大量無組織的網(wǎng)上視頻內(nèi)容無疑會降低用戶的體驗(yàn)度。因?yàn)橐氩榭聪嚓P(guān)視頻并抓住視頻內(nèi)容里面的主旨是要消耗很多時間并且乏味的，所以我們迫切需要提供一個高效且符合用戶的方法去組織和瀏覽這些大量的視頻數(shù)據(jù)。我們引進(jìn)了視頻總結(jié)和標(biāo)題生成的方法來滿足上面的需求。我們的框架包括兩部分：一個基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的編碼網(wǎng)絡(luò)和一個基于注意力機(jī)制的長短時間記憶神經(jīng)網(wǎng)絡(luò)（LSTM）作為解

2、碼網(wǎng)絡(luò)。在編碼網(wǎng)絡(luò)中，我們首先提取關(guān)鍵幀來表示整個視頻內(nèi)容，然后將關(guān)鍵幀輸入到編碼網(wǎng)絡(luò)提取視頻特征。在解碼網(wǎng)絡(luò)中，我們引進(jìn)能避免梯度消失的LSTM網(wǎng)絡(luò)產(chǎn)生描述視頻內(nèi)容的語義性句子。
　　視頻內(nèi)容總結(jié)是產(chǎn)生一個即對用戶感興趣又具有代表性的壓縮版視頻，視頻內(nèi)容總結(jié)可以分為：關(guān)鍵幀（由一系列具有代表性的圖片組成）和片段（由一系列具有代表性的片段組成）。一個好的視頻總結(jié)至少具有兩個特性：1）包括視頻中最感興趣的部分，2）保持多樣性去除冗余

3、度。為了完成視頻總結(jié)，我們首先利用視頻的顯著線索和動作線索得到穩(wěn)定的顯著權(quán)重和動作差別權(quán)重，然后用我們提出的選擇模型提取滿足用戶的關(guān)鍵信息。我們提出一個獨(dú)特的框架，結(jié)合這些權(quán)重預(yù)測每一幀的重要程度，重要的幀作為關(guān)鍵幀。我們的方法不需要通過訓(xùn)練來學(xué)習(xí)重要標(biāo)準(zhǔn)且能夠預(yù)測之前未看過的視頻。
　　最近基于注意力機(jī)制的編碼-解碼框架的視頻標(biāo)題生成已經(jīng)取得進(jìn)展。然而還存在諸多問題：1）許多已經(jīng)存在的解碼方法，只考慮視頻序列的動態(tài)時間注意力信息

4、到自然語言過程的建模，而忽略視頻內(nèi)容和句子語義信息之間的關(guān)系。為了強(qiáng)調(diào)這個問題，我們提出了一個基于時間注意力機(jī)制的LSTM模型并結(jié)合語義一致性方法（aLSTMs）進(jìn)行視頻標(biāo)題生成。2）已存在的解碼方法，產(chǎn)生每一個單詞，包括視覺單詞（像“gun”，“shooting”）和非視覺單詞（像“the”,“a”）結(jié)合注意力機(jī)制來關(guān)注最相關(guān)的視覺信息。然而這些非視覺單詞能夠很簡單的結(jié)合自然語言模型就能預(yù)測出來。非視覺單詞結(jié)合注意力機(jī)制可能誤導(dǎo)或者降

5、低整個視頻標(biāo)題生成的效果。為了強(qiáng)調(diào)這個問題，我們提出了一個結(jié)合可調(diào)節(jié)時間注意力機(jī)制的級聯(lián)LSTM（hLSTMat）進(jìn)行視頻標(biāo)題生成。這個框架利用時間注意力機(jī)制去選擇特定幀預(yù)測相關(guān)單詞，可調(diào)節(jié)時間注意力機(jī)制決定關(guān)注視覺信息還是自然語言信息。級聯(lián)LSTM同時考慮低層次的視覺信息和高層次的語言信息來幫助我們的視頻標(biāo)題生成。為了證明上述我們提到的方法有效性，我們在MSVD和MSR-VTT兩個數(shù)據(jù)集上做實(shí)驗(yàn)，結(jié)果顯示，我們的方法取得了最好的效果。