三維人體動(dòng)作識(shí)別及其在交互舞蹈系統(tǒng)上的應(yīng)用.pdf

1、近年來，動(dòng)作捕捉(Motion Capture)技術(shù)發(fā)展迅速，并已在智能人機(jī)交互、計(jì)算機(jī)動(dòng)畫，三維電影制作、視頻游戲等領(lǐng)域得到廣泛應(yīng)用。借助特殊的軟硬件設(shè)備，動(dòng)作捕捉系統(tǒng)能精確地記錄運(yùn)動(dòng)物體各部分的三維運(yùn)動(dòng)軌跡?；谶@些軌跡信息，人們便可以對(duì)運(yùn)動(dòng)物體進(jìn)行準(zhǔn)確地建模以及對(duì)運(yùn)動(dòng)動(dòng)作進(jìn)行語義分析或利用，比如動(dòng)畫驅(qū)動(dòng)等。然而，動(dòng)作捕捉是一個(gè)極其耗時(shí)耗力的過程。捕捉的動(dòng)作數(shù)據(jù)需要大量的后期處理，它需要人工地將各動(dòng)作序列按需要分割成片段以及對(duì)各片段

2、標(biāo)識(shí)語義等。另一方面，一些實(shí)時(shí)應(yīng)用場(chǎng)景（比如人機(jī)交互）還要求系統(tǒng)能迅速理解用戶的輸入動(dòng)作信息以便做出相應(yīng)的決策或反應(yīng)。因此，這就需要高效智能的方法來對(duì)動(dòng)作數(shù)據(jù)自動(dòng)處理，從而動(dòng)作識(shí)別(Motion Recognition)應(yīng)運(yùn)而生。根據(jù)不同應(yīng)用場(chǎng)景的不同要求，動(dòng)作識(shí)別問題可分為已分割的動(dòng)作模式分類、連續(xù)的動(dòng)作模式識(shí)別以及實(shí)時(shí)的動(dòng)作數(shù)據(jù)流識(shí)別三個(gè)方面。本文便圍繞這三個(gè)方面的問題進(jìn)行了深入地研究，主要研究?jī)?nèi)容和創(chuàng)新之處如下：
　　 首

3、先，眾所周知，動(dòng)作數(shù)據(jù)具有高維度和高差異性的特點(diǎn)，對(duì)于已分割的動(dòng)作模式識(shí)別，其主要困難也便在于此。主成分分析(PCA)是一種最常用且被證明行之有效的降維和特征提取方法。然而，對(duì)于像運(yùn)動(dòng)動(dòng)作這樣的多維時(shí)序數(shù)據(jù)，PCA存在一個(gè)缺陷，即其結(jié)果不能保留時(shí)序數(shù)據(jù)中幀之間的時(shí)序信息，而這些信息對(duì)數(shù)據(jù)分類非常重要。因此，本文提出了兩種新的基于奇異值分解(SVD)的特征提取方法，即分塊SVD(SegSVD)和雙向分塊SVD(Bi-SegSVD)。它們均

4、先將每個(gè)數(shù)據(jù)模式按時(shí)序關(guān)系分割成一定數(shù)目的子片段，然后采用累積的方式對(duì)這些片段進(jìn)行SVD處理并提取其本征特征(eigenfeature)用于分類?；谶@些特征，本文還提出了一種新的相似度計(jì)算方法，并將該方法同徑向基核函數(shù)整合為支持向量機(jī)(SVM)構(gòu)造出一種新的復(fù)合核函數(shù)。通過SVM分類器，動(dòng)作數(shù)據(jù)的分類達(dá)到了更高的準(zhǔn)確率。
　　 其次，在連續(xù)的動(dòng)作模式識(shí)別中，每個(gè)輸入動(dòng)作序列都是由多個(gè)待識(shí)別的動(dòng)作模式銜接而成，而這些動(dòng)作模式可能

5、屬于不同類型，且長(zhǎng)度不一。相對(duì)于已分割的動(dòng)作模式識(shí)別，它面臨著另外一個(gè)挑戰(zhàn)，即在識(shí)別各個(gè)模式的同時(shí)需檢測(cè)它們的邊界（即開始幀和結(jié)束幀）。為此，本文提出了兩種不同的解決方案。方法一利用了開放終點(diǎn)的動(dòng)態(tài)時(shí)間規(guī)整(OE-DTW)能在完整模式和不完整模式問找到最佳幀對(duì)幀匹配的特點(diǎn)，將每個(gè)輸入動(dòng)作序列視作為完整模式，而模板模式視為不完整模式，并運(yùn)用OE-DTW找出它們的最佳匹配，從而將各個(gè)嵌入的動(dòng)作模式依次分割和識(shí)別出來。方法二利用了SegSVD

6、中子片段所得的SVD層的時(shí)序關(guān)系，提出了一種基于懲罰的層匹配方法，從而使得各嵌入模式的終點(diǎn)可以通過模板模式的頂層的匹配情況得以檢測(cè)。
　　 再次，在實(shí)時(shí)數(shù)據(jù)流識(shí)別問題中，由于輸入動(dòng)作是實(shí)時(shí)捕捉的，它具有一定的任意性，也就是說用戶的輸入動(dòng)作也可能不是合法的（即數(shù)據(jù)庫(kù)中未定義的）。因此，實(shí)時(shí)數(shù)據(jù)流識(shí)別不但要求識(shí)別速度必須足夠迅速以使得系統(tǒng)能及時(shí)對(duì)輸入的動(dòng)作作出相應(yīng)的反應(yīng)，而且要求在分割與識(shí)別輸入數(shù)據(jù)的同時(shí)具備檢測(cè)輸入動(dòng)作是否合法的能

7、力。為此，得益于基于內(nèi)容檢索技術(shù)的廣泛應(yīng)用以及其快速有效的特點(diǎn)，本文提出了一種基于動(dòng)作檢索表的識(shí)別方法。該方法利用了人體結(jié)構(gòu)是由人體的上下肢和軀干等五部分組成的這一事實(shí)，將動(dòng)作數(shù)據(jù)也分成這五部分的劃分并分別對(duì)各劃分進(jìn)行聚類和映射等處理。對(duì)于每個(gè)動(dòng)作類別，整合其相應(yīng)的訓(xùn)練樣本以構(gòu)造一個(gè)代表該類別的通用模型(GM)，繼而通過這些GM，訓(xùn)練了五個(gè)相應(yīng)于這五個(gè)軀體部分的動(dòng)作檢索表。在識(shí)別過程中，輸入幀依次經(jīng)過映射到聚類中，對(duì)各部分分別檢索其匹配