基于智能視頻的虛擬現(xiàn)實體驗系統(tǒng)研究與實現(xiàn).pdf

1、隨著虛擬現(xiàn)實技術(shù)的不斷發(fā)展和顯示技術(shù)的不斷成熟，運用虛擬現(xiàn)實技術(shù)進行沉浸式體驗仿真虛擬環(huán)境的應用已經(jīng)不僅僅局限在軍事、醫(yī)學和電影制作等專業(yè)領域，而是越來越多的出現(xiàn)在大眾消費者面前，應用到人們的生活之中。而虛擬現(xiàn)實中的人機交互方式和虛擬場景的呈現(xiàn)效果是虛擬現(xiàn)實體驗中最重要的兩個方面，如何為虛擬現(xiàn)實應用提供良好的人機交互方式和如何提高虛擬現(xiàn)實場景的最終呈現(xiàn)效果也成為重要的研究方向。
　　本論文以虛擬家居體驗體驗系統(tǒng)為應用背景，分析在虛

2、擬現(xiàn)實環(huán)境下對于虛擬現(xiàn)實體驗系統(tǒng)的功能和性能需求，提出了使用Kinect作為視頻采集設備通過深度信息提取用戶體感操作動作實現(xiàn)體感控制的虛擬現(xiàn)實人機交互方案，使用Unity3D游戲引擎構(gòu)建虛擬現(xiàn)實場景并通過定義著色器改善場景渲染效果，同時配合Oculus Rift DK2完成沉浸式立體化場景呈現(xiàn)。
　　在人機交互模塊，本論文利用智能視頻的方法使用微軟的Kinect配合開放自然交互框架Kinect for Microsoft SDK獲

3、取深度信息通過提取控制者虛擬人體關(guān)節(jié)節(jié)點的位置來獲取用戶的身體動作。為了提高體感操作的動作識別準確度，本論文對比了三種不同的動作識別算法，最終選中基于關(guān)節(jié)點角度測量的動作識別算法。并針對在關(guān)節(jié)點角度測量中由于關(guān)節(jié)點空間位置不穩(wěn)定造成測量誤差增大的缺陷進行了改進，以降低角度測量誤差從而提高動作識別準確度。
　　為了提高人體關(guān)節(jié)節(jié)點檢測準確度，本論文在動作識別開始之前引入初始化過程，讀取操作者的關(guān)節(jié)點間距作為標準值，并結(jié)合人體關(guān)節(jié)活動

4、特性對動作識別過程中關(guān)節(jié)點測量結(jié)果進行可靠性檢測，設置節(jié)點可靠度。同時在關(guān)節(jié)點檢測過程中引入卡爾曼濾波算法來降低噪聲和干擾的影響，并根據(jù)當前幀該關(guān)節(jié)點的可靠度動態(tài)設置卡爾曼濾波中預測值和觀測值的權(quán)重。
　　在場景渲染方面，為了改善虛擬場景渲染的效果增加體驗真實感，本論文通過自定義著色器控制渲染過程，模擬現(xiàn)實世界中在鏡面反射和物體表面凹凸漫反射的光學過程實現(xiàn)了針對鏡面和凹凸表面的著色器，大大提高鏡面反射和凹凸漫反射的顯示效果。同時在