基于時空金字塔聯(lián)合特征的交互行為分析與系統(tǒng)設(shè)計.pdf

1、人體行為分析技術(shù)是計算機(jī)視覺重要的研究領(lǐng)域，廣泛應(yīng)用于智能門店、智能監(jiān)控預(yù)警等系統(tǒng)中。目前，對單人行為分析的研究較多，雙人交互行為分析方面的工作還比較少。論文主要從特征提取和動作建模兩個方面，對雙人交互行為展開研究，并在此基礎(chǔ)上設(shè)計系統(tǒng)實(shí)現(xiàn)了論文中的算法。
　　本文的主要工作如下：
　　首先，本文從多特征融合的思想出發(fā)，提出了一種基于時空金字塔的特征提取與融合算法。該算法有效融合了兩類特征：體現(xiàn)全局變化的軌跡特征和突出區(qū)域運(yùn)

2、動的時空特征。一方面采用KLT(Kanade-Lucas-Tomasi)跟蹤算法生成特征軌跡，利用傅里葉算子描述軌跡輪廓，并與軌跡大小、方向組成原始特征，通過詞袋模型處理得到全局外觀特征。另一方面提取梯度方向直方圖和光流方向直方圖兩種局部時空特征來描述交互主體的區(qū)域運(yùn)動信息，采用三層時空金字塔模型中對兩類時空特征進(jìn)行稀疏編碼以及Max-pooling的分層特征處理，得到局部稀疏特征。最后，采用加權(quán)串聯(lián)的思想將全局外觀特征與局部稀疏特征得

3、到交互特征描述符。實(shí)驗(yàn)表明，該描述符具有特征維數(shù)低，冗余度小和區(qū)分性好的特點(diǎn)。
　　其次,實(shí)現(xiàn)了基于隱動態(tài)條件隨機(jī)場(Dynamic Latent Conditional Random Field,LDCRF)的交互行為識別算法，并設(shè)計出了行為識別系統(tǒng)。在UT、BT以及Hollywood三個交互動作庫的實(shí)驗(yàn)結(jié)果表明本文所提算法取得了很好的識別效果。行為識別系統(tǒng)包括目標(biāo)檢測與跟蹤、特征提取和行為建模與分析三個模塊，系統(tǒng)能夠?qū)崿F(xiàn)對輸入