基于多特征融合的視頻分類方法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和多媒體技術(shù)的飛速發(fā)展，人們獲取和存儲(chǔ)數(shù)字視頻變得更加容易。近些年來(lái)互聯(lián)網(wǎng)的飛速發(fā)展，使得數(shù)字視頻的傳播也變得更加便捷，數(shù)字視頻慢慢成為互聯(lián)網(wǎng)用戶交流和分享信息的主要途徑。數(shù)字視頻數(shù)量的飛速增加，使人們整理和分類數(shù)據(jù)工作面臨巨大的挑戰(zhàn)，傳統(tǒng)人工標(biāo)注和分類的方法顯然已經(jīng)無(wú)法滿足視頻增長(zhǎng)的需求。視頻的自動(dòng)分類技術(shù)作為計(jì)算機(jī)視覺(jué)一個(gè)重要的分支，已經(jīng)成為目前熱門的研究課題。
　　視頻數(shù)據(jù)相對(duì)于文字、圖像等靜態(tài)信息，其內(nèi)部信息

2、的組成結(jié)構(gòu)相對(duì)復(fù)雜，傳統(tǒng)計(jì)算機(jī)視覺(jué)中研究人員手工設(shè)計(jì)的特征無(wú)法有效地提取到其中關(guān)鍵的動(dòng)作信息。隨著深度學(xué)習(xí)技術(shù)在圖像領(lǐng)域的飛速發(fā)展，利用深度學(xué)習(xí)技術(shù)提取視頻中關(guān)鍵的特征信息成為目前視頻分類的主要特征提取方法。本文依托深度學(xué)習(xí)模型來(lái)提取視頻中的關(guān)鍵特征信息，圍繞著深度特征融合的視頻分類方法進(jìn)行研究。針對(duì)二維卷積神經(jīng)網(wǎng)絡(luò)和三維卷積神經(jīng)網(wǎng)絡(luò)提取的深度特征，本文提出了兩種視頻分類的方法。針對(duì)三維卷積神經(jīng)網(wǎng)絡(luò)提取的動(dòng)作特征，提出了多時(shí)間尺度特征融

3、合的視頻分類方法，使得特征能夠覆蓋不同類型動(dòng)作信息，從而提高特征多樣性。在特征編碼過(guò)程中，本文提出新的特征編碼方法將定長(zhǎng)圖像序列的特征轉(zhuǎn)換為整個(gè)視頻的特征。針對(duì)二維和三維卷積神經(jīng)網(wǎng)絡(luò)提取的特征，提出了注意力多特征融合的視頻分類方法。該算法利用長(zhǎng)短時(shí)記憶單元中的上下文特征信息，通過(guò)注意力機(jī)制對(duì)二維卷積神經(jīng)網(wǎng)絡(luò)提取的視頻幀語(yǔ)義特征進(jìn)行修正，從而過(guò)濾背景等于擾信息，提高算法識(shí)別率。在特征融合過(guò)程中，提出自學(xué)習(xí)的加權(quán)融合策略，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練得