視頻中人體姿態(tài)估計、跟蹤與行為識別研究.pdf

1、隨著機器人越來越多地參與到人類日常的生產(chǎn)與生活，人機交互問題引起了廣泛的關(guān)注。在人機交互問題中，機器人感知外界環(huán)境的能力非常重要。與人類感知外界環(huán)境類似，機器人也需要通過視覺、味覺、嗅覺、聽覺與觸覺來感知外界環(huán)境信息。在目前機器人的應(yīng)用場合中，較為常用的機器人感知方式是視覺、聽覺與觸覺。其中視覺尤為重要，人類獲取信息的80％來自于視覺，因此學(xué)術(shù)界對機器人通過視覺獲取信息的方法與技術(shù)的研究關(guān)注度最高。
　　用于人機交互場景中的機器人

2、通常依靠彩色攝像頭感知與觀察人體及其外界環(huán)境。本論文通過從視頻中提取的信息來識別并理解人體的行為與動作等，可以快速建立人體行為特征數(shù)據(jù)庫，為仿人機器人行為規(guī)劃或人機交互提供基礎(chǔ)數(shù)據(jù)和模型支持。本文提出了基于多級動態(tài)算法結(jié)構(gòu)的人體姿態(tài)離線估計方法和全局-局部分層的人體姿態(tài)在線估計與跟蹤方法;并在視頻中人體姿態(tài)估計結(jié)果的基礎(chǔ)上，提出了基于關(guān)鍵幀切割視頻子段的人體運動行為識別方法和基于卷積神經(jīng)網(wǎng)絡(luò)特征編碼的人體精細行為識別方法。論文的主要內(nèi)容

3、及創(chuàng)新點如下:
　　1.構(gòu)造出可分解與重構(gòu)的二維人體姿態(tài)表達模型。該模型由全局層和局部層組成，稱為全局-局部分層的人體姿態(tài)表達模型。模型的全局層用來表示完整的人體上半身姿態(tài)，局部層用來表示每個人體部位的獨立姿態(tài)。此模型的優(yōu)點是，在進行人體姿態(tài)的優(yōu)化時，可以在局部層中對部位姿態(tài)進行單獨的優(yōu)化，并用最優(yōu)的局部層部位姿態(tài)逼近最優(yōu)全局層姿態(tài);對于局部層得到的姿態(tài)結(jié)果，又可以通過全局層進行修正，從而使人體姿態(tài)優(yōu)化問題更具有針對性。
　

4、　2.給出了實現(xiàn)視頻中人體姿態(tài)離線估計的多級動態(tài)算法結(jié)構(gòu)。該算法分為五級，在人體姿態(tài)估計的過程中，每一級的參數(shù)及數(shù)據(jù)動態(tài)變化，稱為多級動態(tài)算法結(jié)構(gòu)。在視頻相鄰幀中建立虛擬姿態(tài)，并利用虛擬姿態(tài)計算姿態(tài)樣本在視頻中的一致性損耗，構(gòu)造評價姿態(tài)候選樣本的代價函數(shù)，從而保證了視頻序列中人體姿態(tài)的一致性。另外，通過對粒子群優(yōu)化算法的有效使用，實現(xiàn)了用較少的人體姿態(tài)候選樣本逼近最優(yōu)人體姿態(tài)，在得到視頻中精度較高的人體姿態(tài)估計結(jié)果的同時減少運算量。

5、r>　　3.提出了全局-局部分層的視頻中人體姿態(tài)在線估計與跟蹤算法。首先，在視頻第一幀中對人體姿態(tài)目標(biāo)進行初始化，得到視頻中目標(biāo)人體的有效信息。其次，在人體姿態(tài)估計與跟蹤的過程中，利用視頻運動信息與圖像表觀信息，對目標(biāo)進行邊跟蹤邊校正。然后，構(gòu)造一種懲罰發(fā)生漂移或誤估計姿態(tài)的自適應(yīng)懲罰函數(shù)，保證人體姿態(tài)在視頻中的連續(xù)性，有效實現(xiàn)了視頻中人體姿態(tài)的在線估計與跟蹤。
　　4.提出了基于多圖像序列及視頻切割技術(shù)的視頻中人體運動行為識別方

6、法。首先，采用人體姿態(tài)估計方法得到人體關(guān)鍵點在圖像中的位置，從圖像中提取出人體區(qū)域的圖像塊，增加了人體行為信息的有效像素。其次，計算光流圖及其對應(yīng)的人體區(qū)域圖像塊，共構(gòu)造出四條圖像序列，并用卷積神經(jīng)網(wǎng)絡(luò)進行處理。然后，提取視頻序列中關(guān)鍵幀并構(gòu)建二叉樹對視頻進行切割，得到了由粗略到精細的數(shù)個視頻子段。最后，從每個視頻子段中提取卷積神經(jīng)網(wǎng)絡(luò)特征向量并融合，構(gòu)造出能夠表達人體運動行為的特征，實現(xiàn)了視頻中人體運動行為的有效識別。
　　5.