基于稀疏時空特征的人體行為識別研究.pdf

1、人體行為識別是計算機視覺研究熱點之一，同時也是實現(xiàn)人工智能的重要手段，在運動分析、智能視頻監(jiān)控、人機交互、虛擬現(xiàn)實、醫(yī)療看護等領域都具有十分廣泛的應用前景。
　　為了從海量視頻數(shù)據(jù)中自動獲取與人體行為相關的信息，本文以機器學習領域最新方法——深度學習作為技術手段，著重研究深度學習中多尺度輸入數(shù)據(jù)、時空深度置信網(wǎng)絡的改進以及不同的池化策略，并將所研究的深度學習框架應用到人體行為識別中。具體如下：
　　1）針對現(xiàn)有深度學習方法輸

2、入局限于單一尺度數(shù)據(jù)，而現(xiàn)實場景中目標對象往往呈現(xiàn)尺度多樣性的這一實際，考慮到不同尺度間的信息交流，基于 Chen提出的ST-DBN模型，將時空Gabor濾波后形成3個不同尺度的數(shù)據(jù)作為ST-DBN模型不同通道的值，聯(lián)合學習多尺度的特征。在KTH數(shù)據(jù)集上的實驗結(jié)果表明多尺度學習的特征要優(yōu)于單一尺度學習的特征。
　　2）針對 Chen的ST-DBN模型采用空間信息優(yōu)先于時間信息的學習方式，并不適合于行為分析的情況，基于大量的運動分析

3、問題中時間信息優(yōu)于空間信息這一先驗，改進原始 ST-DBN模型為TS-DBN模型。實驗結(jié)果表明，無論是單尺度還是多尺度數(shù)據(jù)下的特征學習，改進后的TS-DBN模型的行為識別效果均優(yōu)于ST-DBN模型。
　　3）針對神經(jīng)網(wǎng)絡訓練時容易出現(xiàn)過擬合的問題，也為了提高行為特征的尺度不變性，提出了稀疏金字塔池化策略。該方法引入空間金字塔思想對空間域CRBM的池化輸出進行多級擴充，并采用重疊池化操作調(diào)整池化參數(shù)，在一定程度上提高了池化方法的性能

4、。同時為了降低特征描述的復雜度，采用稀疏編碼從高層語義上進行金字塔多級特征的融合。實驗結(jié)果表明，稀疏的金字塔池化策略要優(yōu)于傳統(tǒng)的概率最大值池化策略，而且從寬度上進行的網(wǎng)絡結(jié)構(gòu)拓展，其識別效果完全不亞于更深一層網(wǎng)絡結(jié)構(gòu)的識別結(jié)果。
　　4）基于前面三個方面的研究，分別在KTH數(shù)據(jù)庫和UCF體育數(shù)據(jù)庫上進行了基于稀疏時空特征學習的行為識別應用。實驗結(jié)果表明基于深度學習方法可以自動提取稀疏時空特征，獲得與人工設計特征相匹配的識別效果，而