基于深度遞歸分層條件隨機(jī)場模型的人體行為識(shí)別.pdf

1、人體行為識(shí)別是計(jì)算視覺與模式識(shí)別領(lǐng)域中一個(gè)重要課題，在視頻監(jiān)控與視頻檢索中有著廣泛的應(yīng)用。近年隨著技術(shù)進(jìn)步，廉價(jià)的RGB-D相機(jī)（如Microsoft Kinect）能夠捕獲三維場景中豐富的時(shí)空信息。研究者建模時(shí)空交互信息，可以更便捷地學(xué)習(xí)復(fù)雜人體行為結(jié)構(gòu)。
　　人體行為識(shí)別的早期研究工作，通常以2D視頻作為感知數(shù)據(jù)源；但是，2D視頻提供的信息有限，即使在沒有遮擋的情況下，也會(huì)導(dǎo)致相對(duì)較低的識(shí)別準(zhǔn)確率。本文使用RGB-D傳感器捕獲

2、RGB視頻和深度視頻，以人體姿態(tài)與交互物體的共生關(guān)系和幾何約束為基礎(chǔ)來識(shí)別人體行為動(dòng)作。首先采用人體骨架來描述行為主體，以骨架中各個(gè)節(jié)點(diǎn)為中心劃分局部區(qū)域邊界框，將各個(gè)邊界框定義為人體的各個(gè)組成部分；然后分別對(duì)各個(gè)邊界框區(qū)域提取HOG-3D特征，并將其作為人體姿態(tài)特征；最后將人體姿態(tài)特征、物體的位置與形狀特征、行為主體與物體交互特征等特征串聯(lián)組合成最終的特征向量，并將此特征作為每個(gè)行為視頻段對(duì)應(yīng)的觀察數(shù)據(jù)。
　　線性鏈條件隨機(jī)場(

3、Linear-chain CRFs)作為一種判決模型，廣泛應(yīng)用于人體行為識(shí)別。由于其能夠在時(shí)間維上捕獲目標(biāo)狀態(tài)之間的一階或數(shù)階相互依賴關(guān)系，因此在對(duì)時(shí)間序列進(jìn)行標(biāo)注的工作中表現(xiàn)出良好的預(yù)測性能。但是現(xiàn)有的條件隨機(jī)場模型無法捕獲目標(biāo)狀態(tài)內(nèi)部的中間表示，以及狀態(tài)之間的高階相關(guān)性。而這些信息在對(duì)復(fù)雜的行為識(shí)別場景中通常會(huì)表現(xiàn)出潛在的重要性和顯著性。為克服這一難題，本文提出了一種深度遞歸分層條件隨機(jī)場模型(Deep Recursive and

4、Hierarchical Conditional Random Fields, DR-HCRFs)模型。該DR-HCRFs模型能夠目標(biāo)狀態(tài)內(nèi)部豐富的語義信息，以及目標(biāo)狀態(tài)之間無窮階的相關(guān)信息。同時(shí)，為精確推理模型以及降低模型的計(jì)算復(fù)雜度，本文提出了一種基于平均場近似(mean-field-like)理論的模型推理方法。
　　最后，本文分別使用割平面(Cutting-plane),弗蘭克-沃爾夫(Frank-Wolfe,FW)算法和