基于RGB-D的多線性異構(gòu)信息的動作識別研究.pdf

1、深度傳感器不僅能獲得RGB視頻數(shù)據(jù)還能獲得3D深度數(shù)據(jù)，因而基于RGB-D相機(jī)的動作識別的研究越來越多。3D結(jié)構(gòu)信息簡化了動作識別的運(yùn)動內(nèi)部變化，并且去除了雜亂的背景噪聲，因此3D結(jié)構(gòu)信息能夠有效地用于識別任務(wù)。雖然3D結(jié)構(gòu)信息很有效，但是有關(guān)3D結(jié)構(gòu)信息的方法僅適用于深度數(shù)據(jù)。由于深度數(shù)據(jù)是不連續(xù)的，會產(chǎn)生噪聲，而RGB數(shù)據(jù)是連續(xù)的，剛好可以彌補(bǔ)深度數(shù)據(jù)的缺點(diǎn)。而人體部位的動作是高度相關(guān)的，因而采用深度序列。但是深度序列是串聯(lián)的高維向

2、量增加了參數(shù)數(shù)目和計算時間，而用矩陣形式表示就可以克服這個問題。為了解決上述問題，本文進(jìn)行了以下研究工作：
　　（1）針對 RGB數(shù)據(jù)和深度數(shù)據(jù)以及骨骼數(shù)據(jù)優(yōu)缺點(diǎn)之間的互補(bǔ)關(guān)系，提出了基于RGB-D的雙線性異構(gòu)信息的動作識別研究。該方法有效地利用兩種數(shù)據(jù)，并進(jìn)行交叉模態(tài)特征空間學(xué)習(xí)。用矩陣的形式表示捕獲的時空特征。該方法學(xué)習(xí)了兩種數(shù)據(jù)的共享特征空間，并產(chǎn)生了交叉模態(tài)特征。在該模型中，許多噪聲可以用信息測度來減少。使用學(xué)習(xí)交叉模態(tài)特

3、征的共享特征空間來進(jìn)行動作分類。實驗表明，當(dāng)一種數(shù)據(jù)缺失或者丟失時，依然能夠通過另一模態(tài)進(jìn)行識別，提高了識別泛化能力。且用矩陣表示特征提高了計算效率。
　?。?）針對 RGB數(shù)據(jù)和深度數(shù)據(jù)都缺失的情況下不能識別的問題，增加骨骼特征來進(jìn)行動作識別，提出了基于RGB-D的多線性異構(gòu)信息的動作識別研究。該方法充分地利用RGB數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)，并用矩陣形式進(jìn)行捕獲到的時空關(guān)系特征表示。該方法學(xué)習(xí)了RGB數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)的共