面向有限資源平臺(tái)人機(jī)交互的人手檢測與跟蹤.pdf

1、基于視覺的人機(jī)交互是一種新穎而且富有前途的人機(jī)交互技術(shù)。這種技術(shù)將會(huì)讓人和計(jì)算機(jī)之間的信息交換變得更為自然、直觀和高效。然而,由于環(huán)境光照的變化、復(fù)雜的背景、視頻質(zhì)量低、計(jì)算和存儲(chǔ)資源有限等因素的影響和限制,開發(fā)具有良好精確性、魯棒性和實(shí)時(shí)性的基于視覺的人機(jī)交互系統(tǒng)面臨著諸多困難。針對(duì)人機(jī)交互環(huán)境的特點(diǎn)和硬件平臺(tái)的性能,本文將人手檢測與跟蹤結(jié)果作為人機(jī)交互的依據(jù),設(shè)計(jì)、開發(fā)了一套性能良好的人機(jī)交互系統(tǒng),并對(duì)系統(tǒng)所涉及的關(guān)鍵計(jì)算機(jī)視覺技術(shù)

2、進(jìn)行了深入的研究。
　　在分析了影響基于視覺的人機(jī)交互的幾個(gè)重要因素的基礎(chǔ)上,以人手檢測與跟蹤結(jié)果作為人機(jī)交互的依據(jù),設(shè)計(jì)了適合有限資源平臺(tái)的基于視覺的人機(jī)交互系統(tǒng)。將運(yùn)動(dòng)和膚色作為人手檢測與跟蹤的重要線索,并由此將涉及的關(guān)鍵計(jì)算機(jī)視覺技術(shù)劃分為背景消減、膚色檢測和目標(biāo)跟蹤三個(gè)部分。介紹了基于視覺的人機(jī)交互系統(tǒng)的幾個(gè)典型應(yīng)用,并通過實(shí)驗(yàn)驗(yàn)證了所設(shè)計(jì)的人機(jī)交互系統(tǒng)的性能。
　　為適應(yīng)人機(jī)交互環(huán)境下的快速光照變化,提出了一種雙層

3、背景建模和背景消減方法。首先采用局部形狀作為特征對(duì)背景建模,通過背景消減得到前景輪廓;然后在檢測到的前景輪廓內(nèi),以顏色作為特征,采用改進(jìn)的高斯混合模型進(jìn)一步確定前景輪廓內(nèi)的各個(gè)像素是否屬于前景。這種由粗及細(xì)的背景建模和背景消減方法不僅在光照快速變化環(huán)境下具有良好的魯棒性,也具有良好的實(shí)時(shí)性。
　　為減輕人機(jī)交互環(huán)境下光照發(fā)生劇烈而快速變化對(duì)膚色檢測的影響,提出了一種結(jié)合模型動(dòng)態(tài)自適應(yīng)和顏色校正的動(dòng)態(tài)膚色檢測算法。首先,在最小錯(cuò)誤率

4、貝葉斯決策框架下建立了膚色模型,從人臉檢測結(jié)果上采集膚色樣本用于動(dòng)態(tài)更新膚色模型。其次,在光照發(fā)生了變化但沒有檢測到人臉情況下,將當(dāng)前幀圖像的顏色校正到上一次更新膚色模型時(shí)的光照條件下,使舊的膚色模型對(duì)當(dāng)前幀圖像仍然有效。與此同時(shí),還提出了一種檢測光照是否發(fā)生劇烈變化的方法。在光照沒有發(fā)生變化的情況下,降低膚色模型的更新頻率。一方面,可以降低膚色模型更新出錯(cuò)的潛在風(fēng)險(xiǎn);另一方面,也可以減少計(jì)算量,提高算法的實(shí)時(shí)性。
　　提出了一種

5、結(jié)合運(yùn)動(dòng)檢測、目標(biāo)跟蹤、目標(biāo)檢測和目標(biāo)驗(yàn)證的長時(shí)效目標(biāo)跟蹤框架,并分別將其應(yīng)用于人臉和人手的跟蹤。選用實(shí)時(shí)性與魯棒性較為平衡的Mean Shift目標(biāo)跟蹤算法作為基礎(chǔ)跟蹤器,并融合膚色和運(yùn)動(dòng)特征來提高目標(biāo)跟蹤的魯棒性。當(dāng)基礎(chǔ)跟蹤器對(duì)目標(biāo)的跟蹤失敗時(shí),使用級(jí)聯(lián)式 AdaBoost目標(biāo)檢測器將目標(biāo)再次找回。在進(jìn)行目標(biāo)檢測時(shí),使用運(yùn)動(dòng)模板來排除掉大量沒有目標(biāo)存在的區(qū)域,明顯降低了目標(biāo)檢測的運(yùn)算量,使算法的實(shí)時(shí)性得到了保障。目標(biāo)驗(yàn)證策略的使用避