基于特征表達和屬性挖掘的人體動作識別研究.pdf

1、作為計算機視覺領域的一個基礎問題，人體動作識別旨在通過算法讓機器對人體動作視頻實現(xiàn)語義上的理解和分析?；谌梭w動作識別的潛在應用包括了智能監(jiān)控、視頻內容分析以及人機交互、智能家居等多個領域。正是這樣廣泛的應用場景和潛在的應用價值，在計算機視覺領域，大量的科研工作和研究課題圍繞人體動作識別展開。然而，人體動作識別又是一個非常有挑戰(zhàn)性的研究課題，存在諸多難點。在動作視頻中，往往存在著背景復雜、人體遮擋、攝像頭移動與縮放等問題。即使在帶有深度

2、信息的動作視頻中，背景噪聲、人體骨架檢測的漂移，以及同一動作類別下由于動作類別的語義范圍大而造成的類內差異較高的問題仍然存在。針對這些問題，本文從人體動作視頻的表達出發(fā)，通過對人體動作視頻數(shù)據的底層特征提取、中層屬性挖掘以及利用深度學習模型進行特征學習的研究，探究視頻中人體動作的合理有效的表達，并最終利用機器學習模型進行人體動作分類識別。
　　本文的研究內容主要集中在對動作視頻的特征表達和屬性挖掘上，分別從底層特征表達、動作屬性挖

3、掘以及多特征融合的三個角度來探究人體動作視頻的有效表達在視頻動作分類上的作用。主要內容包括：⑴針對帶有深度信息的人體骨架數(shù)據，設計了合理的底層特征表達方式，并采用了馬爾可夫隨機場模型結合骨架序列本身的空間約束性和時間一致性，對特征空間進行編碼，抑制了特征空間因為噪聲數(shù)據存在的類內差異過大和類間區(qū)分性不夠的問題。同時針對應用場景的特性，改進了多示例學習模型，提出了基于模式的多示例學習模型，學習各動作類別中具有區(qū)分性的骨架運動，用于低延時識

4、別系統(tǒng)中每幀骨架與各動作類別相關程度的衡量。⑵針對帶有深度信息的人體骨架的數(shù)據，改進并完備了底層人體骨架特征，并設計出有效地屬性挖掘方法，盡可能減少底層特征到高層語義之間的鴻溝。同時完全采用數(shù)據驅動的方式挖掘屬性特征，在實現(xiàn)有效可靠的人體骨架動作識別系統(tǒng)的同時，提出自動生長的屬性空間模型，能夠在識別過程中，實現(xiàn)屬性空間的擴展，探究可擴展的人體動作識別系統(tǒng)的可能性。⑶針對傳統(tǒng)的RGB視頻數(shù)據，在應用于圖像分類的卷積神經網絡的基礎上，通過稠

5、密軌跡對視頻中具有運動主體區(qū)域檢測并進行跟蹤，并利用卷積神經網絡對提取運動主體的外觀特征，同時沿著稠密軌跡的鄰域，提取相應的局部運動特征。采用了AdaBoost算法，實現(xiàn)多特征融合有效地表達動作視頻，討論其在動作視頻分類上的性能。
　　本文針對基于視頻的人體動作識別問題，從視頻的特征設計和提取以及動作屬性的挖掘等多個角度來對視頻數(shù)據進行表達，同時涉及到帶有深度信息的人體骨架序列的動作分類和不帶有深度信息的傳統(tǒng)RGB空間下的視頻數(shù)據