基于視頻和三維動作捕捉數(shù)據(jù)的人體動作識別方法的研究.pdf

1、作為圖像視頻語義分析方向的一個新興的研究課題，人體動作識別的研究融合了圖像視頻處理、計算機視覺、模式識別、統(tǒng)計學(xué)習(xí)、人工智能和認(rèn)知科學(xué)等多學(xué)科的知識。它通過分析圖像或視頻等底層數(shù)據(jù)，從中提取與人體動作相關(guān)的信息，建立底層數(shù)據(jù)和高層語義之間的關(guān)系。因其在智能視頻監(jiān)控、人機交互以及虛擬現(xiàn)實等領(lǐng)域的廣闊應(yīng)用前景和深遠研究意義，近年來人體動作識別問題得到了廣泛的關(guān)注，研究者們提出了大量的研究方法并取得了豐碩的研究成果。
　　 本文主要研

2、究如何從視頻或三維動作捕捉數(shù)據(jù)自動識別出人體動作類別，通過對已有研究工作的分析，總結(jié)出入體動作識別算法中的兩個關(guān)鍵性因素:
　　 1.高效的人體動作特征提取方法，2.高效的動作分類算法。本文分別從特征學(xué)習(xí)和分類器設(shè)計這兩個方面提出新的思路和解決方法，它的主要貢獻如下。
　　 本文提出了一個基于語義上下文分析的近語義視覺詞典學(xué)習(xí)框架，稱為contextual spectral embedding(CSE)框架，以及相應(yīng)的基

3、于近語義視覺詞典的高層語義識別算法。它們主要解決視覺單詞聚類映射方法引起的視覺單詞語義模糊以及信息冗余等問題。首先，采用一種無參數(shù)的視覺單詞語義相似度計算方法對視覺單詞的語義上下文進行分析。其次，建立以視覺單詞為結(jié)點，語義相似度為邊權(quán)值的有權(quán)無向圖，結(jié)合譜聚類算法對視覺單詞進行聚類。語義相似的視覺單詞被映射到同一個近語義視覺單詞中，因而生成的近語義視覺詞典在一定程度上避免了底層視覺特征與高層語義之間的“語義鴻溝”問題。該方法可以擴展到很

4、多涉及視覺詞典的高層語義識別問題中，如人體動作識別和視頻概念檢索。通過多個視頻數(shù)據(jù)庫上的人體動作識別實驗和視頻概念搜索實驗可以得到結(jié)論，近語義視覺詞典可以有效地提高這類高層語義識別的有效性和魯棒性。
　　 本文研究了基于遷移學(xué)習(xí)的跨視角人體動作識別算法，該算法以視頻的視覺單詞表示為基礎(chǔ)，通過異源異構(gòu)視覺詞典的協(xié)同語義學(xué)習(xí)，克服“視角障礙”問題使得不同視角下的類別標(biāo)識信息能夠遷移。為此提出了一個基于多源約束近鄰傳播方法的跨視角視覺

5、詞典學(xué)習(xí)框架，稱為Bilingual visual wordlearning with multi-source constraint propagation(BiVWL+MSCP)框架。首先，它從視覺單詞的時空分布中估計異源異構(gòu)視覺單詞之間的初始語義相似度，并結(jié)合多源約束近鄰傳播方法得到魯棒穩(wěn)定的估計值。最后，建立以異源異構(gòu)視覺單詞為結(jié)點，語義相似度為權(quán)值的二分圖模型，采用二分圖協(xié)同聚類方法對視覺單詞進行聚類。語義相似但來自不同視角的

6、視覺單詞被映射到同一個跨視角視覺單詞中，因此跨視角視覺詞典作為橋梁使得類別標(biāo)識信息在不同視角之間遷移。通過在多視角動作視頻數(shù)據(jù)庫上的實驗得到結(jié)論，跨視角視覺詞典可以有效地解決人體動作識別中的視角變化問題，達到跨視角人體動作識別的目的。
　　 本章提出了一種基于三維關(guān)節(jié)點空間時序信息的人體動作分類算法。該算法以人體三維骨架模型表示為基礎(chǔ)，為解決維度災(zāi)難問題將一維隱馬爾可夫模型擴展成空間時序隱馬爾科夫模型(spatial-tempo