基于視頻的人體動(dòng)作分析與識(shí)別的研究.pdf

1、視頻人體動(dòng)作的分析與表示是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)，其主要任務(wù)是從視頻中檢測(cè)、提取和表示人體運(yùn)動(dòng)信息,它涉及圖像處理、機(jī)器學(xué)習(xí)、應(yīng)用物理、數(shù)學(xué)等多個(gè)學(xué)科，具有重要的理論和實(shí)際應(yīng)用價(jià)值。由于人體運(yùn)動(dòng)的復(fù)雜性和多樣性，盡管經(jīng)歷了十幾年的研究，視頻人體動(dòng)作識(shí)別仍然難以應(yīng)用于實(shí)際環(huán)境。作為人體動(dòng)作識(shí)別的核心，動(dòng)作表示和識(shí)別仍然存在大量亟待解決的問題。
　　本文開篇闡明了視頻人體動(dòng)作識(shí)別的研究背景、研究意義、主要任務(wù)以及典型模型，并從研

2、究現(xiàn)狀及存在問題兩個(gè)方面出發(fā)，對(duì)運(yùn)動(dòng)檢測(cè)、特征提取及描述,編碼技術(shù)進(jìn)行了簡(jiǎn)單討論。在總結(jié)分析已有研究成果的基礎(chǔ)上，本文主要內(nèi)容包括四個(gè)方面：
　　1)人體在時(shí)空中的運(yùn)動(dòng)會(huì)形成空間三維體，該三維體的形狀信息是重要的人體運(yùn)動(dòng)信息，這種形狀信息能夠被局部鄰域特征的位置關(guān)系所描述，為準(zhǔn)確描述這種關(guān)系，我們提出兩種局部鄰域特征構(gòu)造算法：基于正多面體的局部時(shí)空鄰域特征，和基于多尺度的時(shí)空方向鄰域特征。前者是利用正多面的多個(gè)空間軸作為特征位置的

3、參考定位系統(tǒng)，精確描述局部特征相對(duì)位置信息。后者是在局部鄰域的構(gòu)造中引入時(shí)空尺度參數(shù)，使得鄰域特征具有方向選擇性。
　　2)協(xié)方差特征是一種強(qiáng)有力的局部特征，本論文我們將局部人體運(yùn)動(dòng)信息表示為協(xié)方差特征，然后研究它在兩種情況下的動(dòng)作識(shí)別率：第一種情況，我們首先使用矩陣對(duì)數(shù)映射，將協(xié)方差從黎曼空間映射到 Log-Euclidean空間，然后在Log-Euclidean空間進(jìn)行聚類、編碼操作；第二種情況，為保持協(xié)方差特征在黎曼流形上的

4、幾何結(jié)構(gòu)信息，我們直接對(duì)協(xié)方差矩陣在黎曼流形上進(jìn)行聚類操作，生成黎曼矩陣字典，然后使用提出的局部黎曼流形編碼算法實(shí)現(xiàn)特征編碼。此外，我們還對(duì)不同矩陣距離度量下，協(xié)方差聚類中的批量均值更新和順序均值更新做了深入研究。
　　3)基于Grassmann隨機(jī)流形森林的人體動(dòng)作識(shí)別。傳統(tǒng)局部時(shí)空特征利用時(shí)空網(wǎng)格劃分局部時(shí)空體，然后分別計(jì)算每個(gè)網(wǎng)格的特征統(tǒng)計(jì)量，最后級(jí)聯(lián)所有網(wǎng)格的特征統(tǒng)計(jì)量，獲得局部特征描述子。這種網(wǎng)格劃分不僅破壞了幀與幀之間

5、的時(shí)間關(guān)聯(lián)性，而且網(wǎng)格尺度沒有統(tǒng)一標(biāo)準(zhǔn)，需要依靠經(jīng)驗(yàn)和實(shí)驗(yàn)確定。為解決該問題，我們直接將每幀圖像拉成列向量，局部時(shí)空立方體被表示為列向量矩陣，為度量這些矩陣的相似度，我們使用 Grassmann流形距離，然后利用 Grassmann隨機(jī)流形樹描述Grassmann流形的數(shù)據(jù)概率分布信息和實(shí)現(xiàn)人體動(dòng)作分類。
　　4)特征編碼在動(dòng)作識(shí)別中占據(jù)重要地位，一直以來(lái)都是研究的熱點(diǎn)。我們通過對(duì)經(jīng)典局部約束線性編碼(Locality-const

6、rained Linear Coding, LLC)算法的研究，提出一種LLC的加權(quán)版本，即WLLC編碼算法。LLC算法是近來(lái)提出的一種優(yōu)秀稀疏編碼，它的優(yōu)點(diǎn)包括編碼是稀疏的、編碼速度快、重構(gòu)誤差小，主要缺點(diǎn)是在其字典生成階段完全拋棄了數(shù)據(jù)聚類中心附近樣本的概率分布信息，使得在編碼階段每個(gè)被選中的單詞對(duì)編碼的貢獻(xiàn)是一樣的。我們所提WLLC算法的基本思想是，由于每個(gè)單詞(聚類中心)周圍訓(xùn)練樣本分布的差異，使得它們的可信度不同，在特征編碼中