基于Kinect平臺融合視頻信息和骨骼點(diǎn)數(shù)據(jù)的人體動作識別.pdf

1、人體動作識別是計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)問題，在智能機(jī)器人、視頻監(jiān)控等智能化系統(tǒng)中有著廣泛的應(yīng)用。由于人體運(yùn)動本身以及運(yùn)動場景的復(fù)雜性，人體動作識別仍然面臨著諸多困難和挑戰(zhàn)。傳統(tǒng)的動作識別依靠單一的數(shù)據(jù)模式，提取的動作特征表述能力有限，約束了動作識別精度的提高。尤其是相似性動作的識別問題，以及缺少訓(xùn)練樣本條件下的動作識別問題。本文在Kinect平臺下，重點(diǎn)針對相似性的動作識別及缺少訓(xùn)練樣本條件下的動作識別問題，研究了融合視頻信息和骨骼點(diǎn)數(shù)

2、據(jù)的人體動作識別方法。主要工作包括以下幾個(gè)方面:
　　首先是數(shù)據(jù)的準(zhǔn)備，為了獲取動作識別所需的視頻和骨骼點(diǎn)數(shù)據(jù)，我們研究了Kinect的相關(guān)硬件組成和功能以及數(shù)據(jù)解析原理，在此基礎(chǔ)上，完成了動作相關(guān)的視頻和骨骼點(diǎn)數(shù)據(jù)的同步采集。同時(shí)，也做了相應(yīng)的延伸，開發(fā)了兩個(gè)Kinect模塊的數(shù)據(jù)同步采集系統(tǒng)，可以為后續(xù)的研究提供不同角度的數(shù)據(jù)采集平臺。
　　在動作特征的表述方面，結(jié)合Kinect提供的骨骼點(diǎn)數(shù)據(jù)和視頻數(shù)據(jù)，分別進(jìn)行了兩種

3、特征表述的研究。在骨骼點(diǎn)數(shù)據(jù)的特征提取方面，通過構(gòu)建關(guān)節(jié)點(diǎn)運(yùn)動的速度向量，結(jié)合人體骨架結(jié)構(gòu)向量，求取相關(guān)角度，表達(dá)人體姿態(tài)潛在的運(yùn)動信息，提高姿態(tài)的鑒別能力。在視頻數(shù)據(jù)的特征提取方面，通過骨骼點(diǎn)數(shù)據(jù)定位到彩色圖像上的一塊感興趣區(qū)域，提取SURF特征描述子，結(jié)合詞袋模型，表達(dá)人體運(yùn)動的相關(guān)特征，針對遮擋導(dǎo)致的人體骨架模型變形的情況，補(bǔ)充有效的判據(jù)信息，提高人體動作識別的精度，經(jīng)過實(shí)驗(yàn)驗(yàn)證，表明了特征的有效性。
　　在動作識別的方法方

4、面，首先在單一的數(shù)據(jù)模式上，重點(diǎn)基于骨骼點(diǎn)數(shù)據(jù)，針對不同的動作識別任務(wù)，提出了不同的識別方法，驗(yàn)證了骨架數(shù)據(jù)特征的有效性;然后針對存在遮擋，骨骼點(diǎn)錯(cuò)亂，導(dǎo)致骨架變形的情況，研究了如何融合有效的視頻信息進(jìn)行動作識別。
　　在基于骨骼點(diǎn)數(shù)據(jù)的動作識別方面，針對動作特征表述類內(nèi)差異大，類間差異小的情況，研究了類內(nèi)多模板匹配結(jié)合PCA最大可分性的方法?？紤]類內(nèi)差異性，從每個(gè)動作類別提取若干子類，構(gòu)造訓(xùn)練模板，將測試樣本與訓(xùn)練樣本投影到最大

5、可分性的空間進(jìn)行匹配投票，識別相應(yīng)的動作。針對相似性動作識別，通過詞袋模型構(gòu)造姿態(tài)字典，引入GMM對相似的姿態(tài)按照概率軟分配，并且考慮類平衡的問題，對算法進(jìn)行了優(yōu)化。針對缺少訓(xùn)練樣本的情況下，基于One-shot learning的小樣本學(xué)習(xí)的思想，通過K近鄰方法從一組訓(xùn)練樣本中提取關(guān)鍵姿態(tài)。經(jīng)過篩選過濾，保留了鑒別能力較強(qiáng)的關(guān)鍵姿態(tài)，并根據(jù)他們對不同類別的貢獻(xiàn)率進(jìn)行加權(quán)投票，同時(shí)進(jìn)行了實(shí)時(shí)的在線測試，取得了較好的效果。
　　在融