基于計算機視覺的人體行為識別研究.pdf

1、人體行為識別(Human Action Recognition，HAR)是計算機視覺與模式識別領(lǐng)域內(nèi)一個新興的研究方向，目前已經(jīng)在諸如視頻監(jiān)控、視頻檢索和異常行為檢測等領(lǐng)域展現(xiàn)出極其廣泛的應(yīng)用前景。另外，對HAR的研究也間接的促進了步態(tài)識別、人臉識別和表情分析等問題的研究。然而，當(dāng)前該領(lǐng)域的研究中存在著如下的問題：(1)單個特征表達能力不足；(2)當(dāng)前行為識別研究主要是基于可見光成像的，而針對紅外成像的行為識別的研究較少；(3)紅外成像

2、紋理缺失及邊緣的不顯著使得許多表達模型的有效性不足；(4)部分算法流程過于復(fù)雜，進而影響到識別系統(tǒng)的實時性。因此，為了有效的克服這些因素的不利影響，研究高效的行為識別算法一直是國內(nèi)外研究的熱點。
　　本論文主要分析和探討了人體行為的描述及建模，多特征融合構(gòu)建，特征融合過程中融合策略的選取，復(fù)雜特征的約減及分類器的設(shè)計等，進而對基于計算機視覺的人體行為的表達與識別展開研究，取得的主要成果如下：
　　(1)研究了基于融合特征的人

3、體行為識別方法。為克服單個行為表達方法有效性上的不足，提出了一種基于剪影和光流信息的多特征融合行為表達方法：方向剪影光流直方圖(HOSOOF，Histogram of Oriented Silhouette and Oriented Optical Flow)。該方法首先利用背景差分提取運動顯著區(qū)域，然后提取運動顯著區(qū)域的方向剪影直方圖(HOS)和方向光流直方圖(HOOF)，提出一種表達層融合策略，構(gòu)建融合特征HOSOOF結(jié)合支持向量機

4、(SVM)識別人體行為，有效提高了人體行為識別的正確率。實驗以廣泛使用的公開行為數(shù)據(jù)集Weizmann為研究對象，正確識別率達到99.8％以上，驗證了所構(gòu)建融合特征HOSOOF的有效性。另外還考察了基于相同的融合特征結(jié)合不同分類器對識別性能的影響。
　　(2)研究了基于稠密軌跡特征的紅外成像的人體行為識別方法。提出并構(gòu)建了基于稠密軌跡的多尺度融合特征(DTFF，Dense Trajectory-based Fusion Featu

5、re)來表達紅外人體行為。該方法首先通過稠密采樣獲得輸入行為視頻的稠密軌跡(DT)，以此計算基于稠密軌跡的3個描述子：方向梯度直方圖(HOG)、光流直方圖(HOF)和運動邊界描述子(MBH)；再采用詞袋庫模型和表現(xiàn)較好的表達層融合策略，構(gòu)建了融合特征DTFF；最終作為k-NN分類器的輸入，以IADB紅外行為庫為測試數(shù)據(jù)集，得到高達96.7%以上的正確識別率，明顯優(yōu)于其他方法。同時，驗證了所提出融合特征(DTFF)及識別方法與其他方法相比

6、，克服了常規(guī)單尺度及單個行為表達方法在面對紅外成像紋理缺失及邊緣不顯著時有效性不足的問題。
　　(3)針對當(dāng)前許多行為識別方法流程復(fù)雜的問題，研究了對影響行為序列整體表達的關(guān)鍵問題，分析并探討了基于模板匹配思想的人體行為識別方法，從而針對人體行為的視頻片段在3D行為序列空間中通過濾波器組直接進行運動能量分解，提出了基于運動能量模板(MET，Motion Energy Template)的行為識別方法，可以避免諸如目標定位和分割等預(yù)

7、處理操作；然后使用 MET特征并結(jié)合 SVM，在Weizmann和KTH人體行為數(shù)據(jù)庫上進行相關(guān)測試；同時對選用不同特征降維方法、不同分類方法獲得的實驗結(jié)果（例如 VEI模型、動態(tài)模板法和局部運動模式等）進行對比實驗，結(jié)果表明本方法在識別率方面具有明顯的比較優(yōu)勢。
　　(4)更進一步，針對 MET計算量較大且特征維數(shù)較高的問題，提出了基于MET簡化模型(SMET)和多類相關(guān)向量機(mRVM)的人體行為識別方法。該方法首次在特征池化

8、階段使用兩層8叉樹最大池化方法（Max-pooling）簡化了MET模型，并首次將mRVM和基于濾波器組的運動能量分解方法結(jié)合起來，應(yīng)用到人體識別領(lǐng)域。在Weizmann人體行為數(shù)據(jù)庫上進行了測試，識別率雖然比MET模型下降了1.1%，但仍取得了有競爭力的98.9%的識別效果，同時大幅減少了特征維數(shù)。
　　基于以上結(jié)果，本文系統(tǒng)的研究了基于計算機視覺的人體行為識別問題。將上述成果應(yīng)用到具體人體行為識別系統(tǒng)中，必將對系統(tǒng)性能產(chǎn)生積極