基于稀疏時(shí)空特征的人體行為識(shí)別研究.pdf

1、人體行為識(shí)別是計(jì)算機(jī)視覺(jué)研究熱點(diǎn)之一，同時(shí)也是實(shí)現(xiàn)人工智能的重要手段，在運(yùn)動(dòng)分析、智能視頻監(jiān)控、人機(jī)交互、虛擬現(xiàn)實(shí)、醫(yī)療看護(hù)等領(lǐng)域都具有十分廣泛的應(yīng)用前景。
　　為了從海量視頻數(shù)據(jù)中自動(dòng)獲取與人體行為相關(guān)的信息，本文以機(jī)器學(xué)習(xí)領(lǐng)域最新方法——深度學(xué)習(xí)作為技術(shù)手段，著重研究深度學(xué)習(xí)中多尺度輸入數(shù)據(jù)、時(shí)空深度置信網(wǎng)絡(luò)的改進(jìn)以及不同的池化策略，并將所研究的深度學(xué)習(xí)框架應(yīng)用到人體行為識(shí)別中。具體如下：
　　1）針對(duì)現(xiàn)有深度學(xué)習(xí)方法輸

2、入局限于單一尺度數(shù)據(jù)，而現(xiàn)實(shí)場(chǎng)景中目標(biāo)對(duì)象往往呈現(xiàn)尺度多樣性的這一實(shí)際，考慮到不同尺度間的信息交流，基于 Chen提出的ST-DBN模型，將時(shí)空Gabor濾波后形成3個(gè)不同尺度的數(shù)據(jù)作為ST-DBN模型不同通道的值，聯(lián)合學(xué)習(xí)多尺度的特征。在KTH數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明多尺度學(xué)習(xí)的特征要優(yōu)于單一尺度學(xué)習(xí)的特征。
　　2）針對(duì) Chen的ST-DBN模型采用空間信息優(yōu)先于時(shí)間信息的學(xué)習(xí)方式，并不適合于行為分析的情況，基于大量的運(yùn)動(dòng)分析

3、問(wèn)題中時(shí)間信息優(yōu)于空間信息這一先驗(yàn)，改進(jìn)原始 ST-DBN模型為TS-DBN模型。實(shí)驗(yàn)結(jié)果表明，無(wú)論是單尺度還是多尺度數(shù)據(jù)下的特征學(xué)習(xí)，改進(jìn)后的TS-DBN模型的行為識(shí)別效果均優(yōu)于ST-DBN模型。
　　3）針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)容易出現(xiàn)過(guò)擬合的問(wèn)題，也為了提高行為特征的尺度不變性，提出了稀疏金字塔池化策略。該方法引入空間金字塔思想對(duì)空間域CRBM的池化輸出進(jìn)行多級(jí)擴(kuò)充，并采用重疊池化操作調(diào)整池化參數(shù)，在一定程度上提高了池化方法的性能

4、。同時(shí)為了降低特征描述的復(fù)雜度，采用稀疏編碼從高層語(yǔ)義上進(jìn)行金字塔多級(jí)特征的融合。實(shí)驗(yàn)結(jié)果表明，稀疏的金字塔池化策略要優(yōu)于傳統(tǒng)的概率最大值池化策略，而且從寬度上進(jìn)行的網(wǎng)絡(luò)結(jié)構(gòu)拓展，其識(shí)別效果完全不亞于更深一層網(wǎng)絡(luò)結(jié)構(gòu)的識(shí)別結(jié)果。
　　4）基于前面三個(gè)方面的研究，分別在KTH數(shù)據(jù)庫(kù)和UCF體育數(shù)據(jù)庫(kù)上進(jìn)行了基于稀疏時(shí)空特征學(xué)習(xí)的行為識(shí)別應(yīng)用。實(shí)驗(yàn)結(jié)果表明基于深度學(xué)習(xí)方法可以自動(dòng)提取稀疏時(shí)空特征，獲得與人工設(shè)計(jì)特征相匹配的識(shí)別效果，而