基于單目攝像機的增強現(xiàn)實場景感知技術(shù)研究.pdf

1、增強現(xiàn)實通過分析場景特征，可以將計算機生成的幾何信息以視覺融合的方式疊加至真實環(huán)境中，加強人對世界的認(rèn)知。作為一種全新的人機交互方式，增強現(xiàn)實技術(shù)的發(fā)展備受關(guān)注。虛實融合是增強現(xiàn)實的核心問題，其關(guān)鍵在于:如何利用2D視覺信息恢復(fù)真實的3D場景，如何估算視覺傳感器在空間的位置和姿態(tài)，如何對場景中出現(xiàn)的物體進行感知和處理。盡管計算機視覺已經(jīng)取得長足進步，但在實際應(yīng)用中仍然面臨著移動攝像機的姿態(tài)在三維場景中求解困難、應(yīng)用場景中一直存在的噪聲干

2、擾及遮擋、復(fù)雜背景中的物體識別和姿態(tài)求解困難等不利因素。因此設(shè)計穩(wěn)定可靠、高效的場景構(gòu)建和場景識別算法在當(dāng)前仍然是一項很有挑戰(zhàn)性的工作。
　　基于上述研究背景，本文將以構(gòu)建增強現(xiàn)實裝配系統(tǒng)為目標(biāo)，研究如何從單目攝像機拍攝的視頻序列中恢復(fù)出場景三維幾何和攝像機運動信息，獲取場景中物體的姿態(tài)并應(yīng)用于裝配指導(dǎo)系統(tǒng)中。本文希望能有效解決在移動增強現(xiàn)實環(huán)境中，虛實融合面臨的配準(zhǔn)準(zhǔn)確性、實時性和魯棒性等問題，促進場景感知在增強現(xiàn)實中的發(fā)展。本

3、文主要工作總結(jié)如下:
　　針對三維重構(gòu)效率低，后期識別和感知困難的問題，提出了一個基于視頻序列的場景重構(gòu)算法，從圖像序列中恢復(fù)場景的3D稀疏表面結(jié)構(gòu)。算法采用局部集束優(yōu)化方法，不僅可以提高運算效率，還保證了重構(gòu)結(jié)果的精確度和魯棒性。針對視覺重建噪聲多的特點，本文用統(tǒng)計離群值濾波法對場景的重構(gòu)點云進行濾波，可以在不需要增加很多計算代價的條件下有效地過濾大量噪聲，在減少空間點數(shù)量的同時還能夠保持和增強點云的表面特征。
　　為了獲

4、取虛實融合的正確呈現(xiàn)效果，需要計算移動攝像機在空間的位姿，為此提出了一個高效的基于稀疏光流的攝像機跟蹤算法。特別針對移動攝像機的姿態(tài)在立體場景中求解不穩(wěn)定、效率低等問題，提出了一種基于關(guān)鍵幀簇的跟蹤方法，由稀疏光流對相鄰關(guān)鍵幀的對應(yīng)特征點的位置進行預(yù)測和跟蹤，建立關(guān)鍵幀之間對應(yīng)特征點的匹配約束關(guān)系，利用與這些特征點對應(yīng)的3D點位置，對攝像機位姿進行定位及更新，從而提高攝像機姿態(tài)的求解效率和精度，有效避免配準(zhǔn)漂移問題。
　　為了識別

5、與理解裝配環(huán)境中出現(xiàn)的真實物體對象，提出了一種基于配準(zhǔn)的3D感知方法。通過驅(qū)動虛擬模型點云，使之與真實場景的點云匹配，利用點云的相似度對場景中出現(xiàn)的真實物體進行感知。為了降低場景點云中噪聲對配準(zhǔn)結(jié)果的影響，提出一個基于密度自適應(yīng)的匹配算法，自適應(yīng)調(diào)整不同來源的點云密度，再提取共面四點描述特征對場景點云和模型點云進行相似度匹配，利用共面四點特征的仿射不變性實現(xiàn)對真實物體的識別。該方法可以減少點云的數(shù)據(jù)量，降低運算復(fù)雜度，還能提高匹配精確度

6、。實驗結(jié)果表明，這種方法能準(zhǔn)確在裝配環(huán)境點云中識別出零部件并能計算出它們的姿態(tài)，可用于噪聲條件下增強現(xiàn)實交互應(yīng)用。
　　構(gòu)建了一個基于單目攝像機的增強現(xiàn)實裝配實驗平臺。該平臺以交互操作任務(wù)為目標(biāo)，可以在裝配過程中向操作者提供所需的文字、二維圖像以及三維模型，幫助用戶理解裝配任務(wù)，獲得裝配經(jīng)驗;還可以根據(jù)裝配內(nèi)容生成裝配序列和工藝規(guī)劃文件。平臺綜合運用了場景重構(gòu)、攝像機跟蹤以及三維感知方法。實驗驗證了本文算法的實時性、魯棒性以及精確