基于時(shí)空金字塔聯(lián)合特征的交互行為分析與系統(tǒng)設(shè)計(jì).pdf

1、人體行為分析技術(shù)是計(jì)算機(jī)視覺(jué)重要的研究領(lǐng)域，廣泛應(yīng)用于智能門(mén)店、智能監(jiān)控預(yù)警等系統(tǒng)中。目前，對(duì)單人行為分析的研究較多，雙人交互行為分析方面的工作還比較少。論文主要從特征提取和動(dòng)作建模兩個(gè)方面，對(duì)雙人交互行為展開(kāi)研究，并在此基礎(chǔ)上設(shè)計(jì)系統(tǒng)實(shí)現(xiàn)了論文中的算法。
　　本文的主要工作如下：
　　首先，本文從多特征融合的思想出發(fā)，提出了一種基于時(shí)空金字塔的特征提取與融合算法。該算法有效融合了兩類特征：體現(xiàn)全局變化的軌跡特征和突出區(qū)域運(yùn)

2、動(dòng)的時(shí)空特征。一方面采用KLT(Kanade-Lucas-Tomasi)跟蹤算法生成特征軌跡，利用傅里葉算子描述軌跡輪廓，并與軌跡大小、方向組成原始特征，通過(guò)詞袋模型處理得到全局外觀特征。另一方面提取梯度方向直方圖和光流方向直方圖兩種局部時(shí)空特征來(lái)描述交互主體的區(qū)域運(yùn)動(dòng)信息，采用三層時(shí)空金字塔模型中對(duì)兩類時(shí)空特征進(jìn)行稀疏編碼以及Max-pooling的分層特征處理，得到局部稀疏特征。最后，采用加權(quán)串聯(lián)的思想將全局外觀特征與局部稀疏特征得

3、到交互特征描述符。實(shí)驗(yàn)表明，該描述符具有特征維數(shù)低，冗余度小和區(qū)分性好的特點(diǎn)。
　　其次,實(shí)現(xiàn)了基于隱動(dòng)態(tài)條件隨機(jī)場(chǎng)(Dynamic Latent Conditional Random Field,LDCRF)的交互行為識(shí)別算法，并設(shè)計(jì)出了行為識(shí)別系統(tǒng)。在UT、BT以及Hollywood三個(gè)交互動(dòng)作庫(kù)的實(shí)驗(yàn)結(jié)果表明本文所提算法取得了很好的識(shí)別效果。行為識(shí)別系統(tǒng)包括目標(biāo)檢測(cè)與跟蹤、特征提取和行為建模與分析三個(gè)模塊，系統(tǒng)能夠?qū)崿F(xiàn)對(duì)輸入