基于三維模型的單目圖象序列頭部姿態(tài)跟蹤.pdf

1、頭部姿態(tài)跟蹤(Head Pose Tracking)是智能人機交互和計算機視覺研究中的一項基本課題，也是近年來人們越來越感興趣的一個研究方向。頭部姿態(tài)跟蹤的主要目的是在一組包含頭部的圖像序列中計算得到頭部在三維空間中的姿態(tài)參數(shù)。頭部姿態(tài)跟蹤在表情識別、人臉識別、姿態(tài)理解、視頻會議、智能監(jiān)控、疲勞檢測、虛擬現(xiàn)實、游戲和娛樂等方面都具有廣闊的應(yīng)用前景。 針對僅有一個攝像機獲取的單目視頻圖像序列的情況，本文將頭部三維模型引入到姿態(tài)跟蹤

2、框架以提供初始深度信息。整個姿態(tài)跟蹤框架可以分成三大部分，分別是構(gòu)造初始頭部模型，幀間姿態(tài)跟蹤以及持續(xù)跟蹤時的魯棒性處理。 在初始化頭部模型階段，使用立體攝像機捕獲到的初始幀深度信息和橢球幾何模型分別構(gòu)造兩個頭部模型供跟蹤系統(tǒng)使用。在系統(tǒng)中，將立體攝像機生成的模型稱為真實頭部模型，將橢球模型估計得到的幾何橢球稱為幾何頭部模型。初始頭部模型為幀間姿態(tài)跟蹤提供了深度信息。系統(tǒng)中我們利用region-basedcorrelation算

3、法查找?guī)g頭部2-D特征點對應(yīng)關(guān)系，并利用線性灰度約束方程求解幀間姿態(tài)參數(shù)。 針對持續(xù)跟蹤過程中出現(xiàn)的誤差積累，頭部尺度變化，臉部表情變化以及頭部被遮蔽后的運動姿態(tài)恢復(fù)等問題，本文提出了基于SIFT特征向量的多層視角外觀模型來恢復(fù)當(dāng)前幀的姿態(tài)參數(shù)。首先，通過選取具有不同頭部姿態(tài)的關(guān)鍵幀在線生成多層視角外觀模型。在視角模型生成過程中，系統(tǒng)會提取并保存每個關(guān)鍵幀的頭部SIFT特征向量。其次，每當(dāng)當(dāng)前幀需要和外觀模型進行配準(zhǔn)求解姿態(tài)參

4、數(shù)時，就可以利用啟發(fā)式2NN算法選取與當(dāng)前幀的SIFT特征向量匹配個數(shù)最多的兩個關(guān)鍵幀作為基準(zhǔn)幀，并分別與當(dāng)前幀進行SIFT特征配準(zhǔn)。最終，把通過卡爾曼濾波平滑后的配準(zhǔn)結(jié)果作為當(dāng)前幀的姿態(tài)并根據(jù)該值動態(tài)調(diào)整外觀模型的內(nèi)部參數(shù)。 與以前的工作相比，本文主要有以下兩點創(chuàng)新：首先，通過引入基于SIFT特征向量的多層視角外觀模型，在考慮頭部尺度變化，臉部表情劇烈變化以及頭部被遮蔽等因素時，跟蹤仍然可以達(dá)到較高的精度。其次，對使用真實模型