移動(dòng)增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)的虛實(shí)場(chǎng)景融合研究.pdf

1、移動(dòng)增強(qiáng)裝配(Mobile Augmented Reality Assembly，MARA)是指將移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于工業(yè)裝配領(lǐng)域，旨在降低設(shè)計(jì)成本、提高生產(chǎn)效率。虛實(shí)融合即指將計(jì)算機(jī)渲染的虛擬場(chǎng)景與用戶所處的真實(shí)環(huán)境進(jìn)行疊加，是增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)之一。評(píng)價(jià)虛實(shí)融合效果的主要標(biāo)準(zhǔn)有是否具有光照一致性和幾何一致性，本文主要關(guān)注幾何一致性對(duì)虛實(shí)融合效果的影響，幾何一致性主要考慮虛實(shí)遮擋。虛實(shí)遮擋是指根據(jù)虛擬場(chǎng)景與真實(shí)場(chǎng)景的正確空間位置關(guān)系，

2、呈現(xiàn)出遮擋與被遮擋的效果，主要是實(shí)現(xiàn)真實(shí)場(chǎng)景對(duì)虛擬場(chǎng)景的遮擋。通過虛實(shí)遮擋處理可以使得融合場(chǎng)景更具有真實(shí)感，從而改善用戶體驗(yàn)。目前針對(duì)虛實(shí)遮擋的處理方法通常有基于模型、基于深度及基于圖像分析。本文著重研究在Android系統(tǒng)下通過基于模型的方法實(shí)現(xiàn)虛實(shí)遮擋處理。
　　首先，實(shí)現(xiàn)了基于自然特征點(diǎn)的場(chǎng)景識(shí)別及模型注冊(cè)。對(duì)攝像機(jī)完成標(biāo)定以獲取內(nèi)部參數(shù)矩陣;通過對(duì)三維場(chǎng)景進(jìn)行特征點(diǎn)提取和訓(xùn)練完成三維場(chǎng)景識(shí)別，針對(duì)匹配中的錯(cuò)誤匹配對(duì)進(jìn)行優(yōu)化

3、處理;對(duì)三個(gè)體積規(guī)格、結(jié)構(gòu)復(fù)雜程度及表面材質(zhì)不同的目標(biāo)物進(jìn)行虛擬模型注冊(cè)并對(duì)注冊(cè)效果進(jìn)行穩(wěn)定性及魯棒性實(shí)驗(yàn)。
　　其次，完成了虛擬模型在移動(dòng)端的渲染顯示。研究OBJ模型數(shù)據(jù)結(jié)構(gòu)，并實(shí)現(xiàn)在移動(dòng)端的應(yīng)用層解析;研究OpenGL ES的管線渲染原理及OpenGL ES渲染成像的坐標(biāo)系轉(zhuǎn)換;實(shí)現(xiàn)基于OpenGL ES的三維模型光照模型管理，使模型更具有立體感。
　　然后，研究并實(shí)現(xiàn)了虛實(shí)遮擋處理。針對(duì)傳統(tǒng)虛實(shí)融合時(shí)虛擬場(chǎng)景總是渲染在

4、最頂端以遮擋真實(shí)場(chǎng)景的問題設(shè)計(jì)具有虛實(shí)遮擋的融合流程;對(duì)系統(tǒng)應(yīng)用圖層設(shè)計(jì)，針對(duì)場(chǎng)景類型的不同進(jìn)行分層顯示，實(shí)現(xiàn)了對(duì)二維虛擬輔助信息的疊加和三維虛擬模型的高效渲染;借助OpenGL ES渲染引擎獲取虛擬場(chǎng)景的深度圖，通過“虛擬替身”獲取真實(shí)場(chǎng)景深度圖;通過基于模型的方法進(jìn)行遮擋處理，實(shí)現(xiàn)了三個(gè)目標(biāo)識(shí)別物對(duì)虛擬模型的遮擋，最終獲取具有正確幾何關(guān)系的融合場(chǎng)景。
　　最后，構(gòu)建一個(gè)完整的移動(dòng)增強(qiáng)現(xiàn)實(shí)引導(dǎo)裝配系統(tǒng)，并運(yùn)行實(shí)例。研究了Andr