基于視頻和三維動(dòng)作捕捉數(shù)據(jù)的人體動(dòng)作識(shí)別方法的研究.pdf

1、作為圖像視頻語義分析方向的一個(gè)新興的研究課題，人體動(dòng)作識(shí)別的研究融合了圖像視頻處理、計(jì)算機(jī)視覺、模式識(shí)別、統(tǒng)計(jì)學(xué)習(xí)、人工智能和認(rèn)知科學(xué)等多學(xué)科的知識(shí)。它通過分析圖像或視頻等底層數(shù)據(jù)，從中提取與人體動(dòng)作相關(guān)的信息，建立底層數(shù)據(jù)和高層語義之間的關(guān)系。因其在智能視頻監(jiān)控、人機(jī)交互以及虛擬現(xiàn)實(shí)等領(lǐng)域的廣闊應(yīng)用前景和深遠(yuǎn)研究意義，近年來人體動(dòng)作識(shí)別問題得到了廣泛的關(guān)注，研究者們提出了大量的研究方法并取得了豐碩的研究成果。
　　 本文主要研

2、究如何從視頻或三維動(dòng)作捕捉數(shù)據(jù)自動(dòng)識(shí)別出人體動(dòng)作類別，通過對(duì)已有研究工作的分析，總結(jié)出入體動(dòng)作識(shí)別算法中的兩個(gè)關(guān)鍵性因素:
　　 1.高效的人體動(dòng)作特征提取方法，2.高效的動(dòng)作分類算法。本文分別從特征學(xué)習(xí)和分類器設(shè)計(jì)這兩個(gè)方面提出新的思路和解決方法，它的主要貢獻(xiàn)如下。
　　 本文提出了一個(gè)基于語義上下文分析的近語義視覺詞典學(xué)習(xí)框架，稱為contextual spectral embedding(CSE)框架，以及相應(yīng)的基

3、于近語義視覺詞典的高層語義識(shí)別算法。它們主要解決視覺單詞聚類映射方法引起的視覺單詞語義模糊以及信息冗余等問題。首先，采用一種無參數(shù)的視覺單詞語義相似度計(jì)算方法對(duì)視覺單詞的語義上下文進(jìn)行分析。其次，建立以視覺單詞為結(jié)點(diǎn)，語義相似度為邊權(quán)值的有權(quán)無向圖，結(jié)合譜聚類算法對(duì)視覺單詞進(jìn)行聚類。語義相似的視覺單詞被映射到同一個(gè)近語義視覺單詞中，因而生成的近語義視覺詞典在一定程度上避免了底層視覺特征與高層語義之間的“語義鴻溝”問題。該方法可以擴(kuò)展到很

4、多涉及視覺詞典的高層語義識(shí)別問題中，如人體動(dòng)作識(shí)別和視頻概念檢索。通過多個(gè)視頻數(shù)據(jù)庫上的人體動(dòng)作識(shí)別實(shí)驗(yàn)和視頻概念搜索實(shí)驗(yàn)可以得到結(jié)論，近語義視覺詞典可以有效地提高這類高層語義識(shí)別的有效性和魯棒性。
　　 本文研究了基于遷移學(xué)習(xí)的跨視角人體動(dòng)作識(shí)別算法，該算法以視頻的視覺單詞表示為基礎(chǔ)，通過異源異構(gòu)視覺詞典的協(xié)同語義學(xué)習(xí)，克服“視角障礙”問題使得不同視角下的類別標(biāo)識(shí)信息能夠遷移。為此提出了一個(gè)基于多源約束近鄰傳播方法的跨視角視覺

5、詞典學(xué)習(xí)框架，稱為Bilingual visual wordlearning with multi-source constraint propagation(BiVWL+MSCP)框架。首先，它從視覺單詞的時(shí)空分布中估計(jì)異源異構(gòu)視覺單詞之間的初始語義相似度，并結(jié)合多源約束近鄰傳播方法得到魯棒穩(wěn)定的估計(jì)值。最后，建立以異源異構(gòu)視覺單詞為結(jié)點(diǎn)，語義相似度為權(quán)值的二分圖模型，采用二分圖協(xié)同聚類方法對(duì)視覺單詞進(jìn)行聚類。語義相似但來自不同視角的

6、視覺單詞被映射到同一個(gè)跨視角視覺單詞中，因此跨視角視覺詞典作為橋梁使得類別標(biāo)識(shí)信息在不同視角之間遷移。通過在多視角動(dòng)作視頻數(shù)據(jù)庫上的實(shí)驗(yàn)得到結(jié)論，跨視角視覺詞典可以有效地解決人體動(dòng)作識(shí)別中的視角變化問題，達(dá)到跨視角人體動(dòng)作識(shí)別的目的。
　　 本章提出了一種基于三維關(guān)節(jié)點(diǎn)空間時(shí)序信息的人體動(dòng)作分類算法。該算法以人體三維骨架模型表示為基礎(chǔ)，為解決維度災(zāi)難問題將一維隱馬爾可夫模型擴(kuò)展成空間時(shí)序隱馬爾科夫模型(spatial-tempo