虛擬現(xiàn)實(shí)中實(shí)時(shí)交互方法研究.pdf

1、虛擬現(xiàn)實(shí)（Virtual Reality，簡(jiǎn)稱(chēng)VR）技術(shù)主要是通過(guò)計(jì)算機(jī)模擬產(chǎn)生一個(gè)3D虛擬世界，讓用戶(hù)在其中通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感知體驗(yàn)，產(chǎn)生身臨其境的感覺(jué)。沉浸感、交互性和構(gòu)想性是虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)基本特征。近年隨著智能手機(jī)性能的提高，基于手機(jī)的虛擬現(xiàn)實(shí)系統(tǒng)（文中稱(chēng)之為移動(dòng)虛擬現(xiàn)實(shí)系統(tǒng)）因其便攜、易用、價(jià)格低廉以及支持用戶(hù)在物理空間自由移動(dòng)等優(yōu)點(diǎn)，越來(lái)越受到青睞，在游戲、教育等領(lǐng)域得到廣泛應(yīng)用。但是，該類(lèi)系統(tǒng)因受其計(jì)算與存儲(chǔ)能力等

2、因素制約，在實(shí)時(shí)交互等方面還面臨不少挑戰(zhàn)。
　　首先，虛擬現(xiàn)實(shí)系統(tǒng)更強(qiáng)調(diào)交互的自然性。顯然，傳統(tǒng)的基于鼠標(biāo)和鍵盤(pán)的交互方式不能適應(yīng)這種需求。一種自然地實(shí)時(shí)交互方式是用戶(hù)通過(guò)在物理空間的自身運(yùn)動(dòng)，來(lái)驅(qū)動(dòng)虛擬場(chǎng)景的相應(yīng)變化。因此，對(duì)用戶(hù)的位置進(jìn)行跟蹤是此類(lèi)虛擬現(xiàn)實(shí)系統(tǒng)的一個(gè)重要組成部分。位置跟蹤的精度則會(huì)影響用戶(hù)真實(shí)感體驗(yàn)。在實(shí)際應(yīng)用中，考慮到便攜性、成本、易于布置實(shí)現(xiàn)等因素，常用單個(gè)RGB-D相機(jī)（如Kinect）進(jìn)行用戶(hù)跟蹤。但是

3、，在支持多人協(xié)同交互的虛擬現(xiàn)實(shí)系統(tǒng)中，對(duì)于多人跟蹤，采用單個(gè)相機(jī)必然存在遮擋問(wèn)題。特別是對(duì)于長(zhǎng)時(shí)間、完全遮擋問(wèn)題，目前還沒(méi)有很好的解決辦法。為此，本文在低成本、便攜、易于布置等實(shí)際需求下，研究了如何基于單個(gè)RGB-D相機(jī)進(jìn)行多人跟蹤問(wèn)題，以解決長(zhǎng)時(shí)間、完全遮擋問(wèn)題，支持多人間更好的實(shí)時(shí)協(xié)同交互。
　　另外，虛擬場(chǎng)景繪制速度也是影響實(shí)時(shí)交互體驗(yàn)的一個(gè)重要因素。目前，基于智能手機(jī)的虛擬現(xiàn)實(shí)系統(tǒng)越來(lái)越多。該類(lèi)應(yīng)用系統(tǒng)如虛擬博物館系統(tǒng)等可

4、能面對(duì)不同的用戶(hù)，其采用的手機(jī)設(shè)備也可能不同。受不同設(shè)備性能的制約，各類(lèi)系統(tǒng)所顯示的虛擬場(chǎng)景的規(guī)模還比較有限。目前的建模方式很少考慮不同手機(jī)設(shè)備的多樣性和實(shí)際的運(yùn)行能力，適用性較差。本文針對(duì)此類(lèi)需求，研究了可適應(yīng)不同手機(jī)設(shè)備實(shí)時(shí)交互顯示的虛擬場(chǎng)景優(yōu)化布置策略，以實(shí)現(xiàn)不同型號(hào)、不同實(shí)際運(yùn)行性能的設(shè)備上實(shí)時(shí)交互顯示不同規(guī)模的虛擬場(chǎng)景。
　　本文還探索研究了支持用戶(hù)創(chuàng)新設(shè)計(jì)和多通道自然交互的虛擬現(xiàn)實(shí)新模式。目前，常見(jiàn)的虛擬場(chǎng)景設(shè)計(jì)系統(tǒng)中

5、，虛擬場(chǎng)景的設(shè)計(jì)一般不是最終用戶(hù)進(jìn)行設(shè)計(jì)，而是由系統(tǒng)提供者事先設(shè)計(jì)好后提供給最終用戶(hù)使用。但是，如何支持用戶(hù)表達(dá)自己的創(chuàng)造力并體驗(yàn)自己創(chuàng)造的虛擬場(chǎng)景成為目前的一種新的需求。為此，本文研究提出一種支持用戶(hù)創(chuàng)新設(shè)計(jì)和多通道自然交互體驗(yàn)的移動(dòng)虛擬現(xiàn)實(shí)新模式，為用戶(hù)提供融合虛實(shí)空間的虛擬場(chǎng)景內(nèi)容設(shè)計(jì)的功能支持，使用戶(hù)借助日常標(biāo)記工具（如粉筆、彩帶），僅僅利用智能手機(jī)即可快速實(shí)現(xiàn)虛擬世界的構(gòu)造，并通過(guò)物理空間與虛擬空間的融合進(jìn)行自然交互體驗(yàn)自己設(shè)

6、計(jì)的虛擬場(chǎng)景。
　　歸納的，本文的創(chuàng)新點(diǎn)和主要貢獻(xiàn)包括以下幾個(gè)方面:
　　1.提出了融合影子線(xiàn)索的多用戶(hù)實(shí)時(shí)位置跟蹤算法
　　針對(duì)多人協(xié)同交互的虛擬現(xiàn)實(shí)系統(tǒng)中，單個(gè)RGB-D相機(jī)進(jìn)行多人跟蹤存在的遮擋問(wèn)題，本文首次引入用戶(hù)影子作為一個(gè)重要線(xiàn)索實(shí)現(xiàn)被遮擋用戶(hù)的跟蹤，而不像目前已有方法一樣將影子作為一個(gè)噪聲等干擾因素進(jìn)行剔除。并通過(guò)融合RGB-D相機(jī)中捕獲的用戶(hù)的影子圖像信息和骨架數(shù)據(jù)，提出了一種新的基于RGB-D相機(jī)的多

7、人位置跟蹤算法，實(shí)現(xiàn)多用戶(hù)的實(shí)時(shí)跟蹤。具體地說(shuō)，當(dāng)RGB-D相機(jī)可以檢測(cè)到用戶(hù)骨架時(shí)，系統(tǒng)直接利用骨架數(shù)據(jù)進(jìn)行用戶(hù)檢測(cè)和跟蹤;當(dāng)骨架數(shù)據(jù)丟失時(shí)，系統(tǒng)便采用用戶(hù)影子的圖像信息進(jìn)行位置估計(jì)。在不需要額外傳感器設(shè)備的情況下，本文方法可實(shí)現(xiàn)單RGB-D相機(jī)的多人位置實(shí)時(shí)跟蹤。該算法已經(jīng)成功應(yīng)用在消防模擬訓(xùn)練系統(tǒng)和迷宮游戲系統(tǒng)等移動(dòng)虛擬現(xiàn)實(shí)系統(tǒng)。實(shí)驗(yàn)結(jié)果和應(yīng)用實(shí)踐表明，本文提出的方法可以較好地解決用戶(hù)長(zhǎng)時(shí)間、完全被遮擋情況下的跟蹤問(wèn)題。此外，提出

8、的方法也可以解決因非遮擋導(dǎo)致的用戶(hù)跟蹤丟失問(wèn)題，從而提高了Kinect的人體跟蹤能力。
　　2.提出了可適應(yīng)不同手機(jī)設(shè)備實(shí)時(shí)交互顯示的虛擬場(chǎng)景優(yōu)化布置策略
　　考慮不同手機(jī)設(shè)備的多樣性和實(shí)際的運(yùn)行能力，本文針對(duì)手機(jī)設(shè)備上迷宮等室內(nèi)場(chǎng)景的快速繪制問(wèn)題，提出了一種可適應(yīng)不同設(shè)備實(shí)時(shí)交互顯示的虛擬場(chǎng)景優(yōu)化布置策略。該策略主要特點(diǎn)是:在場(chǎng)景設(shè)計(jì)階段即將用戶(hù)體驗(yàn)端的設(shè)備性能作為設(shè)計(jì)布置虛擬場(chǎng)景的重要因素之一，考慮如何優(yōu)化布置虛擬場(chǎng)景，

9、以適應(yīng)不同型號(hào)的手機(jī)設(shè)備性能;并設(shè)置特殊數(shù)據(jù)結(jié)構(gòu)，給出基于該數(shù)據(jù)結(jié)構(gòu)的加速繪制方法，實(shí)現(xiàn)了不同手機(jī)設(shè)備上實(shí)時(shí)繪制大規(guī)模場(chǎng)景的能力。
　　3.提出了支持用戶(hù)創(chuàng)新設(shè)計(jì)和多通道自然交互的虛擬現(xiàn)實(shí)新模式
　　本文還提出一種支持用戶(hù)創(chuàng)新設(shè)計(jì)和多通道自然交互的虛擬現(xiàn)實(shí)新模式，為用戶(hù)提供融合虛實(shí)空間的虛擬場(chǎng)景內(nèi)容設(shè)計(jì)的功能支持，使用戶(hù)借助日常標(biāo)記工具（如粉筆、彩帶），僅僅利用智能手機(jī)即可快速實(shí)現(xiàn)虛擬世界的構(gòu)造，并通過(guò)物理空間與虛擬空間的融

10、合進(jìn)行自然交互體驗(yàn)自己設(shè)計(jì)的虛擬場(chǎng)景。此模式可以很好地將物理空間與虛擬空間，創(chuàng)新設(shè)計(jì)與VR體驗(yàn)進(jìn)行融合，給用戶(hù)一種新的體驗(yàn):為一般用戶(hù)提供快速、靈活的虛擬現(xiàn)實(shí)內(nèi)容創(chuàng)作平臺(tái);提供用戶(hù)與虛擬世界互動(dòng)的實(shí)時(shí)自然交互方式，用戶(hù)的運(yùn)動(dòng)和姿態(tài)將影響著虛擬世界的變化;支持多人協(xié)同設(shè)計(jì)與體驗(yàn)，增強(qiáng)體驗(yàn)的趣味性和參與性，保證用戶(hù)之間的社交互動(dòng)。特別的，本文提出了通過(guò)日常工具在物理空間中進(jìn)行虛擬場(chǎng)景創(chuàng)作的概念，這使得一般用戶(hù)可以快速、靈活地設(shè)計(jì)虛擬場(chǎng)景。用