基于時空特征和詞袋模型的多模態(tài)視頻內(nèi)容識別算法研究.pdf

1、視頻內(nèi)容的識別與檢測是近十年來計算機(jī)視覺領(lǐng)域中一個十分熱門的話題。隨著視頻監(jiān)控應(yīng)用的需求的大量上升，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和成熟，越來越多的應(yīng)用場景涉及到了視頻內(nèi)容的自動識別檢測。利用視頻內(nèi)容檢測技術(shù)，可以自動地分析視頻中諸如人體等對象的運(yùn)動模式，可以自動的檢測視頻中是否含有不健康或者需要屏蔽的信息，也可以在人機(jī)交互、視頻檢索等方面發(fā)揮重要的作用。
　　本文主要著眼于視頻中人行為的識別以及不健康視頻的檢測，根據(jù)這兩方面不同的側(cè)重

2、點(diǎn)，使用不同的技術(shù)，包括時空特征的提取分析、大量雙模態(tài)特征的融合、視覺/音頻詞袋模型向量生成、包含二次預(yù)測的SVM分類框架以及識別不健康信息的分層檢測架構(gòu)。
　　在人行為識別方面，本文提出了一種空-時 SURF（快速魯棒特征）特征描述子，并且結(jié)合視頻詞匯概念，應(yīng)用于人行為識別。這種新的描述子在行為識別應(yīng)用中能很好的體現(xiàn)視頻的時空本質(zhì)，該描述子通過詞袋（Bag of Words）模型來表征視頻，在表征過程使用了soft-weight

3、ing（非硬性權(quán)重）。實驗以瑞典皇家理工學(xué)院的行為識別數(shù)據(jù)集作為測試對象，實驗即使用了相關(guān)領(lǐng)域傳統(tǒng)的分類策略，同時引入了包含二次判斷的投票系統(tǒng)，實驗證明了結(jié)合這種特征描述子和視頻詞匯的行為識別框架在速度和準(zhǔn)確率上都要優(yōu)于現(xiàn)有的一些方法，同時新的分類策略在某些行為類型上要超過傳統(tǒng)的分類方法，能有效地應(yīng)用于行為識別領(lǐng)域。
　　在不健康內(nèi)容檢測方面，本文根據(jù)暴力和色情這兩類典型的不健康視頻的固有特征，設(shè)計兩套有所針對性的檢測流程。使用改