增強(qiáng)現(xiàn)實(shí)幾何一致性相關(guān)問題研究.pdf

1、增強(qiáng)現(xiàn)實(shí)技術(shù)是一種虛實(shí)融合技術(shù)。基于視頻的增強(qiáng)現(xiàn)實(shí)技術(shù)通過將虛擬物體或輔助信息疊加到現(xiàn)實(shí)場景的影像中而擴(kuò)展人類對現(xiàn)實(shí)環(huán)境的視覺感知。為實(shí)現(xiàn)具有照片品質(zhì)的虛實(shí)融合效果，增強(qiáng)現(xiàn)實(shí)技術(shù)需要所嵌入的虛擬場景與現(xiàn)實(shí)環(huán)境在幾何、光照等屬性上保持一致。其中，幾何一致性要求虛擬物體按照正確的空間位置、透視投影和虛實(shí)遮擋關(guān)系實(shí)時渲染到真實(shí)場景的視頻影像中，是保證真實(shí)感效果的基本因素。增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的幾何一致性問題包含場景幾何重建、攝像機(jī)跟蹤和虛實(shí)遮擋等眾

2、多子問題，各子問題之間又相互交織。例如，攝像機(jī)跟蹤算法可以使用到場景幾何重建的信息，而場景的幾何重建問題又可在攝像機(jī)跟蹤過程中并行完成。因此，高效的幾何一致性算法往往是這些子算法的有機(jī)組合。
　　增強(qiáng)現(xiàn)實(shí)算法中攝像機(jī)定標(biāo)的失敗可導(dǎo)致虛擬物體在視頻影像中的漂移、抖動等現(xiàn)象，而由于人眼對運(yùn)動物體的敏感性，這類虛假效果極易被用戶察覺，因此魯棒性是幾何一致性算法的重要考量因素。增強(qiáng)現(xiàn)實(shí)系統(tǒng)是實(shí)時在線的系統(tǒng)，視頻圖像處理、設(shè)備參數(shù)求解和虛擬

3、物體渲染等操作都需要在線完成，因此對算法的實(shí)時性要求極高。傳統(tǒng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)為保證系統(tǒng)的實(shí)時性使用了簡化的模型去描述現(xiàn)實(shí)場景，這類方法可以盡可能降低算法的時間復(fù)雜度，在有限的計算資源下保持系統(tǒng)的實(shí)時性。但其缺點(diǎn)也非常明顯，簡化的模型和受控的場景限制了系統(tǒng)的應(yīng)用條件，并使系統(tǒng)喪失了處理復(fù)雜環(huán)境信息的能力。使用復(fù)雜的幾何一致性算法可提高系統(tǒng)的靈活性和可用性，但也會增加系統(tǒng)時延、降低系統(tǒng)實(shí)時性。因此，優(yōu)秀的幾何一致性算法通常需要在算法的魯棒性、

4、靈活性和實(shí)時性之間進(jìn)行有效折衷。
　　本文對幾何一致性問題中的特征點(diǎn)匹配、攝像機(jī)實(shí)時跟蹤算法和場景深度數(shù)據(jù)優(yōu)化等問題的國內(nèi)外研究現(xiàn)狀進(jìn)行了充分調(diào)研和論述，并針對這些問題提出了新的解決方案。本文的主要研究內(nèi)容和創(chuàng)新點(diǎn)如下:
　　1.提出基于GPU的圖像特征點(diǎn)快速跟蹤匹配技術(shù)。圖像的特征點(diǎn)可用于場景的三維重建和攝像機(jī)的實(shí)時跟蹤。但常見的KLT等特征點(diǎn)跟蹤算法涉及到大量的圖像處理和浮點(diǎn)運(yùn)算，算法的時間復(fù)雜度較高，不利于實(shí)時的增強(qiáng)現(xiàn)

5、實(shí)應(yīng)用。本文總結(jié)了特征點(diǎn)跟蹤匹配算法在像素和特征點(diǎn)兩個層次上的并行性，利用GPU并行運(yùn)算技術(shù)對KLT算法進(jìn)行加速，將算法效率提高200到300倍，極大減小了算法時耗。
　　2.提出基于混合特征點(diǎn)的攝像機(jī)實(shí)時跟蹤算法?；谔卣鼽c(diǎn)匹配的攝像機(jī)跟蹤算法具有更高的靈活性，對場景內(nèi)容的限制較低，可以極大提升系統(tǒng)可用性。但可選的特征點(diǎn)跟蹤算法在穩(wěn)定性和效率上各有優(yōu)劣，本文對SIFT和KLT等特征點(diǎn)匹配算法的性能進(jìn)行了比較，利用實(shí)時視頻流的時間

6、連續(xù)性提出了SIFT和KLT的混合特征點(diǎn)跟蹤策略，在保證算法精度的同時將相鄰幀的攝像機(jī)跟蹤時耗控制在15ms以下，在魯棒性和實(shí)時性之間維持了有效平衡。
　　3.提出基于顏色和深度一致性的深度圖增強(qiáng)算法。近年來Kinect等廉價深度傳感器的發(fā)展為場景數(shù)據(jù)獲取提供了快速簡便的途徑，但受硬件成本和精度所限，這類設(shè)備采集的深度圖受噪聲和數(shù)據(jù)缺失的困擾。本文提出了基于顏色和深度一致性的深度圖增強(qiáng)算法，利用原始深度圖的置信度估計結(jié)果以及彩色圖