基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)近年來(lái)成為計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)領(lǐng)域的研究熱點(diǎn)。增強(qiáng)現(xiàn)實(shí)是指在現(xiàn)實(shí)場(chǎng)景圖像中疊加虛擬信息或物體，使得虛擬物體與現(xiàn)實(shí)場(chǎng)景融合，以增強(qiáng)人們對(duì)現(xiàn)實(shí)環(huán)境的感知與交互體驗(yàn)。目前，增強(qiáng)現(xiàn)實(shí)技術(shù)存在三個(gè)方面的技術(shù)難點(diǎn)：如何實(shí)現(xiàn)穩(wěn)定精確的虛擬物體三維注冊(cè)；如何提高虛擬物體與現(xiàn)實(shí)場(chǎng)景的融合真實(shí)度；如何進(jìn)行自然的人機(jī)交互。同時(shí)定位與建圖（SLAM）技術(shù)是三維注冊(cè)技術(shù)中一種較為自然

2、的方法，相比于在機(jī)器人領(lǐng)域的應(yīng)用，增強(qiáng)現(xiàn)實(shí)應(yīng)用中攝像機(jī)運(yùn)動(dòng)更快、自由度更大，環(huán)境紋理及幾何結(jié)構(gòu)更復(fù)雜，一些傳統(tǒng)的SLAM算法會(huì)出現(xiàn)較為嚴(yán)重的追蹤漂移、追蹤丟失、誤差累積等問(wèn)題，更穩(wěn)定的三維注冊(cè)需求對(duì)SLAM算法的魯棒性和精度都提出了更高的要求。此外，在現(xiàn)有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，虛擬物體的注冊(cè)位置會(huì)隨系統(tǒng)的初始位姿變化或者依賴(lài)于人工標(biāo)識(shí)，而如果希望自然地在已知場(chǎng)景中的絕對(duì)固定位置放置虛擬物體，就依賴(lài)于離線重定位技術(shù)，但現(xiàn)有的重定位算法都是在線

3、實(shí)現(xiàn)的，且在精度和穩(wěn)定性上都無(wú)法滿足要求。最后，目前大多數(shù)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)都僅僅是將虛擬物體與現(xiàn)實(shí)場(chǎng)景進(jìn)行簡(jiǎn)單的疊加，缺少虛實(shí)物體的互遮擋，導(dǎo)致合成圖像的視覺(jué)錯(cuò)亂，同時(shí)缺乏用戶與虛擬物體間的人機(jī)交互。近年來(lái)，低成本RGB-D攝像機(jī)普及給增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展帶來(lái)了新的契機(jī)。由于其提供了場(chǎng)景深度圖，無(wú)論是在SLAM技術(shù)中的尺度漂移、地圖構(gòu)建，還是在虛實(shí)物體的融合以及人機(jī)交互方面都更具優(yōu)勢(shì)。
　　本研究主要內(nèi)容包括：⑴在FTM-SLAM框架

4、中的視覺(jué)里程計(jì)部分，為了提高三維注冊(cè)技術(shù)在快速運(yùn)動(dòng)條件下的魯棒性以及不同環(huán)境下的自適應(yīng)性，提出了一種 RGB-D圖像稠密匹配方法。該方法不需要提取特征點(diǎn)，而是將RGB-D圖像與場(chǎng)景局部模型進(jìn)行稠密匹配，直接構(gòu)建耦合了稠密的ICP（Iterative Closest Point）殘差與彩色殘差的能量方程。同時(shí)，針對(duì)局部模型的稀疏性特點(diǎn)，設(shè)計(jì)了面向GPU并行算法的八叉樹(shù)森林結(jié)構(gòu)，在減少存儲(chǔ)資源消耗的同時(shí)提高了算法速度。⑵在FTM-SLAM框

5、架中的后端優(yōu)化部分，針對(duì)攝像機(jī)長(zhǎng)時(shí)間運(yùn)動(dòng)的誤差累積問(wèn)題，提出了一種基于Frame-to-Model的后端全局優(yōu)化方法?；贠RB(Oriented FAST and Rotated BRIEF)二值特征構(gòu)建的視覺(jué)詞袋樹(shù)和模型配準(zhǔn)約束，提出了基于局部模型的多級(jí)一致性檢驗(yàn)方法實(shí)現(xiàn)了快速準(zhǔn)確的閉環(huán)檢測(cè)。為了進(jìn)行全局軌跡優(yōu)化，本文構(gòu)建了一種模型-位姿圖（Graph），圖中不僅包含攝像機(jī)位姿節(jié)點(diǎn)，還將局部模型的位姿加入圖中，這樣在優(yōu)化時(shí)能夠同時(shí)保

6、持模型與攝像機(jī)以及不同工作區(qū)之間的局部幾何約束。⑶提出了一種基于回歸森林的攝像機(jī)重定位算法，能夠同時(shí)對(duì)已知場(chǎng)景中單幀RGB-D圖像和單幀RGB圖像進(jìn)行攝像機(jī)6自由度精確位姿估計(jì)。與傳統(tǒng)的基于圖像或者稀疏特征點(diǎn)的方法不同，該算法無(wú)需提取特征點(diǎn)，而是通過(guò)回歸的方法來(lái)解決攝像機(jī)重定位問(wèn)題。算法能夠同時(shí)適應(yīng)稠密和稀疏計(jì)算，從而適應(yīng)不同的場(chǎng)景環(huán)境。本文提出的具有旋轉(zhuǎn)不變性的二值特征響應(yīng)函數(shù)，對(duì)于與訓(xùn)練集中圖像有較大旋轉(zhuǎn)差異的待測(cè)幀具有較好的魯棒性