基于時空金字塔聯(lián)合特征的交互行為分析與系統(tǒng)設計.pdf

1、人體行為分析技術是計算機視覺重要的研究領域，廣泛應用于智能門店、智能監(jiān)控預警等系統(tǒng)中。目前，對單人行為分析的研究較多，雙人交互行為分析方面的工作還比較少。論文主要從特征提取和動作建模兩個方面，對雙人交互行為展開研究，并在此基礎上設計系統(tǒng)實現(xiàn)了論文中的算法。
　　本文的主要工作如下：
　　首先，本文從多特征融合的思想出發(fā)，提出了一種基于時空金字塔的特征提取與融合算法。該算法有效融合了兩類特征：體現(xiàn)全局變化的軌跡特征和突出區(qū)域運

2、動的時空特征。一方面采用KLT(Kanade-Lucas-Tomasi)跟蹤算法生成特征軌跡，利用傅里葉算子描述軌跡輪廓，并與軌跡大小、方向組成原始特征，通過詞袋模型處理得到全局外觀特征。另一方面提取梯度方向直方圖和光流方向直方圖兩種局部時空特征來描述交互主體的區(qū)域運動信息，采用三層時空金字塔模型中對兩類時空特征進行稀疏編碼以及Max-pooling的分層特征處理，得到局部稀疏特征。最后，采用加權串聯(lián)的思想將全局外觀特征與局部稀疏特征得

3、到交互特征描述符。實驗表明，該描述符具有特征維數(shù)低，冗余度小和區(qū)分性好的特點。
　　其次,實現(xiàn)了基于隱動態(tài)條件隨機場(Dynamic Latent Conditional Random Field,LDCRF)的交互行為識別算法，并設計出了行為識別系統(tǒng)。在UT、BT以及Hollywood三個交互動作庫的實驗結果表明本文所提算法取得了很好的識別效果。行為識別系統(tǒng)包括目標檢測與跟蹤、特征提取和行為建模與分析三個模塊，系統(tǒng)能夠實現(xiàn)對輸入