基于骨架節(jié)點(diǎn)的人體行為識別研究.pdf

1、人體行為識別是融合了計(jì)算機(jī)視覺、深度學(xué)習(xí)、模式識別等眾多學(xué)科的研究成果，并在基于內(nèi)容的視頻搜索，輔助醫(yī)療，娛樂游戲，視頻監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用價(jià)值。近年來，人體行為識別是計(jì)算機(jī)視覺中比較活躍的研究領(lǐng)域。人體可被視為一種關(guān)節(jié)系統(tǒng)，由關(guān)節(jié)點(diǎn)連接的剛性段（肢體）組成。人體行為由這些剛性段的運(yùn)動組成，且由人體骨架節(jié)點(diǎn)在三維空間中的運(yùn)動表示。隨著深度傳感器，如Kinect，以及骨架節(jié)點(diǎn)提取技術(shù)的發(fā)展，基于骨架節(jié)點(diǎn)的人體行為識別的研究逐漸興起。<

2、br>　　基于骨架節(jié)點(diǎn)的人體行為識別研究主要包括四個方面:三維骨架節(jié)點(diǎn)特征表示，動態(tài)時序注冊，多源特征聯(lián)合學(xué)習(xí)，以及關(guān)鍵幀分析?，F(xiàn)有關(guān)三維骨架節(jié)點(diǎn)特征表示方法在幀級特征提取過程中，往往忽略了骨架數(shù)據(jù)本身的噪聲和其從屬序列的類別及時序特性，使得提取的特征魯棒性不高，并很難反映動作間細(xì)微且有意義的差異。而傳統(tǒng)的基于動態(tài)時序規(guī)整的注冊方法在處理含有周期性片段的行為序列時存在嚴(yán)重誤配問題，并且忽略了類內(nèi)與類間序列的差異，使得生成的隱式模板的辨識

3、能力比較弱。另外，對于一些復(fù)雜或者極其相似的動作，僅僅依靠骨架節(jié)點(diǎn)數(shù)據(jù)，難以準(zhǔn)確地識別人體行為。針對該問題，研究者提出了結(jié)合其他數(shù)據(jù)源，比如深度圖序列、彩色圖序列，提取多源特征進(jìn)行行為識別的研究以提高識別準(zhǔn)確率。而這些研究工作，往往是將多源特征線性組合，對最終的行為識別性能提升非常有限。對于視頻關(guān)鍵幀提取，大多數(shù)研究是基于一些預(yù)先設(shè)計(jì)弱語義特征的準(zhǔn)則，這使得它們難以適應(yīng)不同的場景或任務(wù)。
　　基于上述背景，本文首先簡要介紹了人體行

4、為識別算法的研究背景，意義和國內(nèi)外相關(guān)研究現(xiàn)狀，然后著重于基于骨架節(jié)點(diǎn)的人為行為識別研究，闡述了本文的基本思想和研究思路，深入研究三維骨架特征表示、動態(tài)時序注冊、多源特征聯(lián)合學(xué)習(xí)以及時序視覺注意選擇四個方面的問題。
　　本論文的主要貢獻(xiàn)可歸納以下幾個方面:
　　(1)針對現(xiàn)有的方法在提取單幀特征時很少考慮其從屬序列的類別與時序特性，骨架節(jié)點(diǎn)數(shù)據(jù)存在噪聲等問題，提出一種類別與時序約束的自編碼神經(jīng)網(wǎng)絡(luò)(DAE-CTC)。DAE-

5、CTC在非監(jiān)督學(xué)習(xí)過程中，引入類別約束項(xiàng)與時序約束項(xiàng)，并在解碼中重建，獲得更好魯棒性的骨架特征。相較于其他方法，DAE-CTC在人體行為動作識別中獲得了較高的準(zhǔn)確率。
　　(2)針對傳統(tǒng)的時序注冊算法存在嚴(yán)格的時序前傳限制，并在處理周期性動作時可能完全失效的問題，提出一種基于局部時序約束的序列注冊方法(LRWS)。計(jì)算動作隱式模板時，LRWS不僅考慮模板與類內(nèi)的各行為類別序列間的相似性，同時強(qiáng)化其與類間序列間的差異。相對于主流的時

6、序注冊方法，本文提出的LRWS方法更加有利于人體行為識別問題。
　　(3)針對現(xiàn)有算法辨識極其相似或存在重疊的動作不準(zhǔn)確問題，提出了結(jié)合深度圖的多源特征聯(lián)合學(xué)習(xí)算法(DMAE)。DMAE采用DAE-CTC與卷積自編碼分別提取骨架節(jié)點(diǎn)圖與深度圖的隱層特征，并通過一個兩層神經(jīng)網(wǎng)絡(luò)對二者特征進(jìn)行非線性建模，最后采用BP-NN聯(lián)合優(yōu)化整個網(wǎng)絡(luò)。最終提取的骨架節(jié)點(diǎn)特征與深度圖特征可以有效提升對于復(fù)雜和非常相似動作的辨識能力。另外，DMAE具

7、有很強(qiáng)的重建能力，可以修復(fù)存在干擾噪聲的三維骨架節(jié)點(diǎn)數(shù)據(jù)。
　　(4)針對人體行為識別中存在時序干擾與計(jì)算冗余的問題，提出了一種基于遞歸自編碼的時序視覺注意選擇機(jī)制(TSAE)。利用遞歸神經(jīng)網(wǎng)絡(luò)LSTM(Long Short Term Memory)輸出門閥的特性，通過添加低秩與稀疏約束，TSAE可以從動作序列中提取重要且稀疏的時序視覺注意點(diǎn)用于行為識別，自適應(yīng)地減少運(yùn)算量，并提高動作識別任務(wù)的準(zhǔn)確性。同時在時間性能上，TSAE較