虛擬現(xiàn)實(shí)的基本概念

1、虛擬現(xiàn)實(shí)技術(shù),主講：楊文暉,課程的主要內(nèi)容,虛擬現(xiàn)實(shí)與系統(tǒng)仿真的基本概念和術(shù)語 虛擬現(xiàn)實(shí)與系統(tǒng)仿真的基礎(chǔ)方法 虛擬現(xiàn)實(shí)有關(guān)的人的因素，虛擬現(xiàn)實(shí)的接口設(shè)備和計(jì)算機(jī)設(shè)備 虛擬現(xiàn)實(shí)的建模技術(shù) 虛擬現(xiàn)實(shí)的應(yīng)用,相關(guān)知識背景,虛擬現(xiàn)實(shí)技術(shù)學(xué)習(xí)的知識背景是什么樣的？ 計(jì)算機(jī)原理、體系結(jié)構(gòu)、操作系統(tǒng)、網(wǎng)絡(luò)、軟件工程、程序設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)、電子學(xué)、圖形學(xué)與CAD、系統(tǒng)分析、人工智能,虛擬現(xiàn)實(shí)概述虛擬現(xiàn)實(shí)的接口設(shè)備

2、虛擬現(xiàn)實(shí)的計(jì)算機(jī)技術(shù)虛擬現(xiàn)實(shí)的建模和仿真技術(shù)虛擬現(xiàn)實(shí)的應(yīng)用,課程目錄,學(xué)習(xí)重點(diǎn)和難點(diǎn),虛擬現(xiàn)實(shí)的基本概念；人的視覺系統(tǒng)和虛擬現(xiàn)實(shí)的視覺顯示技術(shù)；各類位姿跟蹤系統(tǒng)的技術(shù)；力覺和觸覺反饋技術(shù)；虛擬現(xiàn)實(shí)的計(jì)算機(jī)系統(tǒng)；虛擬現(xiàn)實(shí)的工具軟件系統(tǒng)；分布式虛擬現(xiàn)實(shí)系統(tǒng)。,第一章 虛擬現(xiàn)實(shí)概述,◇課前索引◇第一節(jié)　虛擬現(xiàn)實(shí)的基本概念◇第二節(jié)　虛擬現(xiàn)實(shí)有關(guān)的人的因素◇章節(jié)小結(jié)◇課后習(xí)題,課前索引,兩個(gè)問題1．什么是虛擬現(xiàn)實(shí)？2．

3、虛擬現(xiàn)實(shí)與人有什么關(guān)系？,,點(diǎn)擊觀看VRML演示,第一節(jié) 虛擬現(xiàn)實(shí)的基本概念,虛擬現(xiàn)實(shí)的概念有關(guān)的其它概念虛擬現(xiàn)實(shí)的特點(diǎn)虛擬現(xiàn)實(shí)的應(yīng)用領(lǐng)域虛擬現(xiàn)實(shí)的技術(shù),1 虛擬現(xiàn)實(shí),虛擬現(xiàn)實(shí)這個(gè)概念最早是由誰在什么時(shí)間提出的？1989年，美國VPL Research公司創(chuàng)始人Jaron Lanier提出了“Virtual Reality”（虛擬現(xiàn)實(shí)）的概念。如何理解“虛擬”這個(gè)詞？“Virtual”說明，這個(gè)世界或環(huán)境是虛擬的，不是真實(shí)

4、的。這個(gè)世界或環(huán)境是人工構(gòu)造的，是存在于計(jì)算機(jī)內(nèi)部的。用戶應(yīng)該能夠“進(jìn)入”這個(gè)虛擬的環(huán)境中。所謂“進(jìn)入”這個(gè)虛擬的環(huán)境中，是指用戶以自然的方式與這個(gè)環(huán)境交互如何理解“交互”這個(gè)詞？包括感知環(huán)境并干預(yù)環(huán)境，從而產(chǎn)生置身于相應(yīng)的真實(shí)環(huán)境中的虛幻感，沉浸感，身臨其境的感覺。虛擬現(xiàn)實(shí)或虛擬環(huán)境系統(tǒng)包括哪些？包括人類操作者、人機(jī)接口和計(jì)算機(jī),,,問題,請給出正確與錯(cuò)誤的判別使用虛擬現(xiàn)實(shí)系統(tǒng)的標(biāo)志就是使用頭盔式立體顯示器和數(shù)據(jù)手套。虛

5、擬現(xiàn)實(shí)系統(tǒng)應(yīng)用最多的專用設(shè)備是頭盔式立體顯示器和數(shù)據(jù)手套。于是，有人以使用這些專用設(shè)備為虛擬現(xiàn)實(shí)系統(tǒng)的標(biāo)志。這種觀點(diǎn)是不準(zhǔn)確的。頭盔式立體顯示器和數(shù)據(jù)手套等設(shè)備，只是當(dāng)前已經(jīng)實(shí)現(xiàn)的一部分虛擬顯示設(shè)備。它們還很不完善。例如，頭盔的視場，分辨率，造成眩暈等問題還有待解決。聽覺接口和力覺接口等設(shè)備還在研究，應(yīng)用還不多。味覺，嗅覺，運(yùn)動(dòng)覺等技術(shù)，還缺乏研究。,關(guān)于虛擬仿真,虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬環(huán)境，都是現(xiàn)實(shí)世界不存在的場景嗎？不是，可能有下

6、列幾種情況：第一種情況是模仿真實(shí)世界中的環(huán)境。例如，建筑物，武器系統(tǒng)，或戰(zhàn)場環(huán)境。這種真實(shí)環(huán)境，可能是已經(jīng)存在的，也可能是已經(jīng)設(shè)計(jì)好但還沒有建成的。 為了逼真地模仿真實(shí)世界中的環(huán)境，要求逼真地建立幾何模型和物理模型。環(huán)境的動(dòng)態(tài)應(yīng)符合物理規(guī)律。這一類虛擬現(xiàn)實(shí)系統(tǒng)的功能，實(shí)際是系統(tǒng)仿真。,,點(diǎn)擊觀看居室環(huán)境的仿真和漫游例子,2 和虛擬現(xiàn)實(shí)有關(guān)的幾個(gè)概念,虛擬環(huán)境( Virtual Environment )系統(tǒng)或虛擬現(xiàn)實(shí)( Virt

7、ual Reality )系統(tǒng)包括人類操作者、人機(jī)接口和計(jì)算機(jī)遙操作( Teleoperator )系統(tǒng)包括人類操作者、人機(jī)接口和遙機(jī)器人增強(qiáng)現(xiàn)實(shí)( Augmented Reality )系統(tǒng)組合了虛擬環(huán)境和真實(shí)環(huán)境合成環(huán)境( Synthetic Environment )系統(tǒng)是遙操作系統(tǒng)、虛擬環(huán)境系統(tǒng)、增強(qiáng)現(xiàn)實(shí)系統(tǒng)等的總稱。,關(guān)于虛擬現(xiàn)實(shí)系統(tǒng),對于虛擬現(xiàn)實(shí)系統(tǒng)，與用戶交互的環(huán)境實(shí)際是人工構(gòu)造的，存在于計(jì)算機(jī)內(nèi)部的環(huán)境。這

8、種虛擬的環(huán)境，可能有幾種情況：一種情況是真實(shí)環(huán)境的仿真。例如，仿真真實(shí)建筑物的虛擬建筑物。這種真實(shí)建筑物可能是已經(jīng)建成的，也可能是已經(jīng)設(shè)計(jì)好但尚未建成的。一種情況是完全虛擬的人造環(huán)境。例如在虛擬風(fēng)洞中，借助可視化技術(shù)構(gòu)造的虛擬風(fēng)洞環(huán)境。又如在三維動(dòng)畫中，人工構(gòu)造的虛擬環(huán)境。,關(guān)于遙操作系統(tǒng),為什么要針對虛擬現(xiàn)實(shí)系統(tǒng)提出這么多概念？概念之間的區(qū)別？這些概念之間的區(qū)別在于與用戶交互的環(huán)境不同。虛擬現(xiàn)實(shí)系統(tǒng)的環(huán)境是怎樣的？真實(shí)環(huán)

9、境的仿真完全虛擬的人造環(huán)境,,遙操作系統(tǒng)的環(huán)境是怎樣的？對于遙操作系統(tǒng)，與用戶交互的環(huán)境實(shí)際是在遠(yuǎn)地的一個(gè)真實(shí)的環(huán)境。用戶通過類似虛擬現(xiàn)實(shí)系統(tǒng)的人機(jī)接口，與遠(yuǎn)處的真實(shí)環(huán)境交互。也就是看到真實(shí)環(huán)境的場景，聽到真實(shí)環(huán)境的聲音，感到與環(huán)境中物體的接觸。遙操作系統(tǒng)實(shí)際上是高級的遙控系統(tǒng)，是采用了先進(jìn)的虛擬現(xiàn)實(shí)技術(shù)的遙控系統(tǒng)。,3 虛擬現(xiàn)實(shí)的特點(diǎn),基于虛擬現(xiàn)實(shí)的基本概念，可以得到虛擬現(xiàn)實(shí)的下列三個(gè)特點(diǎn)。1．人機(jī)接口的內(nèi)容計(jì)算機(jī)提

10、供“環(huán)境”, 不是“數(shù)據(jù), 信息”。這改變了人機(jī)接口的內(nèi)容。2．人機(jī)接口的形式操作者由視覺,聽覺,力覺感知環(huán)境, 由自然的動(dòng)作操作環(huán)境, 不是由屏幕,鍵盤,鼠標(biāo)和計(jì)算機(jī)交互。這改變了人機(jī)接口的形式。3．人機(jī)接口的效果逼真的感知和自然的動(dòng)作，使人產(chǎn)生身臨其境的感覺。這改變了人機(jī)接口的效果。,人機(jī)接口內(nèi)容的改變,計(jì)算機(jī)提供“環(huán)境”, 不是“數(shù)據(jù), 信息”。這改變了人機(jī)接口的內(nèi)容。虛擬現(xiàn)實(shí)的這個(gè)特點(diǎn)體現(xiàn)了計(jì)算機(jī)應(yīng)用的新方向。計(jì)算機(jī)

11、的名稱體現(xiàn)了它的最早應(yīng)用是計(jì)算。當(dāng)時(shí)，計(jì)算機(jī)和用戶交互的是計(jì)算有關(guān)的數(shù)值。此后，計(jì)算機(jī)擴(kuò)大到處理數(shù)值，字符串，文本等各類數(shù)據(jù)。以后，計(jì)算機(jī)更擴(kuò)大到處理圖像，圖形，聲音，語言等多種媒體的信息。虛擬現(xiàn)實(shí)系統(tǒng)則以環(huán)境為計(jì)算機(jī)處理的對象和人機(jī)交互的內(nèi)容。這開拓了計(jì)算機(jī)應(yīng)用的新思路。,數(shù)值--------各類數(shù)據(jù)---------多媒體信息---------環(huán)境,人機(jī)接口的內(nèi)容的變化：,,人機(jī)接口的形式的改變,操作者由視覺,聽覺,力覺感知環(huán)

12、境, 由自然的動(dòng)作操作環(huán)境, 不是由屏幕,鍵盤,鼠標(biāo)和計(jì)算機(jī)交互。這改變了人機(jī)接口的形式這個(gè)特點(diǎn)體現(xiàn)了計(jì)算機(jī)人機(jī)接口的新方向。至今為止的計(jì)算機(jī)人機(jī)接口都是面向機(jī)器的。人機(jī)接口有哪些？終端，鍵盤，鼠標(biāo)，打印機(jī)等接口設(shè)備，都是適應(yīng)計(jì)算機(jī)的專用設(shè)備。這些設(shè)備很好地完成了各類數(shù)據(jù)和多媒體信息的交互。,,虛擬現(xiàn)實(shí)中的人機(jī)接口，則是面向用戶的。虛擬現(xiàn)實(shí)系統(tǒng)中，用戶以自然的方式與虛擬環(huán)境交互。如何理解自然的方式呢？所謂自然的方式，是指用戶

13、通過視覺，聽覺，觸覺等感覺虛擬環(huán)境，使用戶產(chǎn)生在真實(shí)環(huán)境中的幻覺。同時(shí)，用戶通過在真實(shí)環(huán)境中的行為，去干預(yù)虛擬環(huán)境。于是，虛擬現(xiàn)實(shí)的人機(jī)接口設(shè)備，完全不同于現(xiàn)有計(jì)算機(jī)的人機(jī)接口設(shè)備。這也是虛擬現(xiàn)實(shí)技術(shù)中最有特色的內(nèi)容。,人機(jī)接口的效果的改變,逼真的感知和自然的動(dòng)作，使人產(chǎn)生身臨其境的感覺。這改變了人機(jī)接口的效果這個(gè)特點(diǎn)體現(xiàn)了計(jì)算機(jī)人機(jī)接口的新要求。用戶通過人機(jī)接口與虛擬環(huán)境交互的結(jié)果，是使用戶產(chǎn)生身臨其境的虛幻感，沉浸感。,,虛擬現(xiàn)

14、實(shí)的概念中有三個(gè)I：（1）Immersion(沉浸)，是指逼真的，身臨其境的感覺。（2）Interaction(交互)，是指用戶感知與操作環(huán)境（3）Imagination(想象)，是指創(chuàng)造性。,4 虛擬現(xiàn)實(shí)的應(yīng)用領(lǐng)域,1．娛樂2．國防3．設(shè)計(jì)、制造和銷售4．醫(yī)療和健康5．危險(xiǎn)操作6．訓(xùn)練7．教育8．信息可視化9．遠(yuǎn)程交往與遠(yuǎn)程游歷,,關(guān)于“超越時(shí)空的紫禁城”,,“故宮博物院與IBM合作的文化遺產(chǎn)項(xiàng)目———“超越時(shí)空

15、的紫禁城”正式啟動(dòng)。這一為期兩年的合作項(xiàng)目旨在創(chuàng)建一個(gè)在線的虛擬復(fù)制的紫禁城，將運(yùn)用全球領(lǐng)先的觀眾互動(dòng)體驗(yàn)系統(tǒng)和實(shí)時(shí)高科技手段，把故宮本身及其散布于各處的文物集中展示在一個(gè)三維的網(wǎng)上“紫禁城”里?！?5 虛擬現(xiàn)實(shí)的技術(shù),1．VR的人機(jī)接口2．VR的計(jì)算機(jī)系統(tǒng)3．VR的建模和仿真,VR的人機(jī)接口,VR的人機(jī)接口的作用是什么？其一是給人類操作者提供環(huán)境信息通過什么方式提供環(huán)境信息？視覺、聽覺和觸覺包括哪些通道接口？視覺通道、聽

16、覺通道、觸覺通道、運(yùn)動(dòng)接口和其他接口其二是感覺人類操作者的動(dòng)作和響應(yīng)通過哪些方式來實(shí)現(xiàn)？位置跟蹤和映射，語音識別等。,（1）位置跟蹤和映射,“位置跟蹤和映射”如何感覺人類操作者的動(dòng)作和相應(yīng)？測量人體各部位的位置和姿態(tài)分析判斷人面部的表情“位置跟蹤和映射”它的目的是什么？了解人的身體行為這是為了實(shí)現(xiàn)人機(jī)交互所必需的系統(tǒng)功能。VR系統(tǒng)由此了解人的行為，然后做出適當(dāng)?shù)捻憫?yīng)，實(shí)現(xiàn)交互。,,“位置跟蹤和映射”要完成的基本目標(biāo)有哪些

17、？基本目標(biāo)是精確完成位置和姿態(tài)的測量。三個(gè)主要的要求：大范圍的線性響應(yīng)高帶寬（1kHz）允許頭和身體的運(yùn)動(dòng)。“位置跟蹤和映射”常用的技術(shù)包括：機(jī)械鏈接磁傳感器聲傳感器光傳感器慣性傳感器,（2）視覺通道,視覺通道的作用是什么？ 給人的視覺系統(tǒng)提供圖形顯示。為了提供身臨其境的逼真感覺，視覺通道應(yīng)該滿足的要求有哪些？顯示的像素應(yīng)該足夠小，使人不至于感覺到像素的不連續(xù)顯示的頻率應(yīng)該足夠高，使人不至于感覺到畫面的

18、不連續(xù)給兩眼提供具有雙目視差的圖形，形成立體視覺。應(yīng)該具有足夠大的視場，理想情況是顯示畫面充滿整個(gè)視場。,,視覺通道的顯示表面目前有哪些種類？基于CRT基于LCD。視覺通道的光學(xué)系統(tǒng)有哪些種類？頭盔顯示(HMD)非頭盔顯示(OHD),專用頭盔圖,,（3） 聽覺通道,聽覺通道的作用是什么？給人的聽覺系統(tǒng)提供聲音顯示。為了提供身臨其境的逼真感覺，聽覺通道應(yīng)該滿足哪些要求？使人感覺置身于立體的聲場之中能識別聲音的類型

19、和強(qiáng)度能判定聲源的位置。,,聽覺通道的關(guān)鍵技術(shù)有哪些？合成由接口提供的虛擬聲音信號聲音在虛擬空間定位問題發(fā)聲設(shè)備。,（4） 觸覺通道,觸覺通道的作用是什么？給人體表面提供觸覺和力覺。當(dāng)人體在虛擬空間中運(yùn)動(dòng)時(shí)，如果接觸到虛擬物體，虛擬顯示系統(tǒng)應(yīng)該給人提供這種觸覺和力覺。觸覺通道涉及操作以及感覺包括哪些？觸覺反饋力覺反饋。觸覺通道的設(shè)備分類？安裝在身體上的設(shè)備安裝在地面的設(shè)備。,（5） 運(yùn)動(dòng)接口,人體在環(huán)境中的運(yùn)動(dòng)是

20、如何分類的？身體的被動(dòng)運(yùn)動(dòng)如在車上的運(yùn)動(dòng)身體主動(dòng)運(yùn)動(dòng)漫游，如散步。人在運(yùn)動(dòng)中，人體內(nèi)部的運(yùn)動(dòng)感覺器官可以感知運(yùn)動(dòng)信息。感知運(yùn)動(dòng)信息的器官有哪些？前庭系統(tǒng)運(yùn)動(dòng)系統(tǒng)視覺聽覺系統(tǒng)本體感受，動(dòng)覺和觸覺,,運(yùn)動(dòng)接口的作用是什么？應(yīng)該給這些器官提供運(yùn)動(dòng)信息。,（6） 其它類型接口,還有那些其它類型接口？嗅覺、味覺通道感覺熱、風(fēng)及濕度的接口還包括語音通訊（語音識別與合成）以及直接心理感覺和控制。其他類型的接口的研究現(xiàn)狀？

21、目前還缺乏研究,2．VR的計(jì)算機(jī)系統(tǒng),現(xiàn)有的虛擬現(xiàn)實(shí)系統(tǒng)，主要的通道是什么？　　現(xiàn)有的虛擬系統(tǒng)現(xiàn)實(shí)主要考慮視覺通道。聽覺通道和觸覺通道還處于研究階段。VR的計(jì)算機(jī)系統(tǒng)主要考慮的通道是什么？所以，VR的計(jì)算機(jī)系統(tǒng)主要考慮視覺通道的要求。,VR的計(jì)算機(jī)系統(tǒng)的視覺通道,（1） 視覺通道對計(jì)算機(jī)系統(tǒng)硬件的要求 首先是要求維持足夠的圖形幀速率這要求在指定的時(shí)間內(nèi)（約為0.1秒）計(jì)算出兩眼的兩幅圖像。同時(shí)要求提供足夠好質(zhì)量的圖像

22、這一般體現(xiàn)在圖像中顯示的多邊形或三角形的數(shù)目。因此，往往需要專用硬件。圖形硬件應(yīng)提供快速幾何變換、截取、消隱、多邊形填充和表面紋理等多項(xiàng)處理。,,（2）視覺通道對計(jì)算機(jī)系統(tǒng)軟件的要求VR系統(tǒng)中的軟件主要包括下列幾種：交互軟件：利用人機(jī)控制設(shè)備的輸出去修改VE。視覺漫游軟件：控制用戶在VE中運(yùn)動(dòng)時(shí)看到的場景。建模軟件：定義虛擬物體形狀、外觀和屬性的模型。操作系統(tǒng)支持VE的實(shí)時(shí)多模態(tài)要求。,,（3）視覺通道對計(jì)算機(jī)系統(tǒng)網(wǎng)

23、絡(luò)的要求分布式交互仿真分布式交互仿真已經(jīng)成為現(xiàn)代仿真技術(shù)，特別是軍事仿真的潮流。通訊網(wǎng)絡(luò)可以把VE轉(zhuǎn)換成共享的分布式計(jì)算環(huán)境。,3．VR的建模和仿真,（1） VR的建模包括：幾何建模和物理建模VR的幾何建模一般的VR工具軟件都具有幾何建模功能。利用現(xiàn)有的CAD建模工具也是常用的方法。市場上已有商業(yè)模型庫出售。對實(shí)際物體的建模，則采用激光掃描等專用設(shè)備。VR的物理建模物理建模是基于物理方程的建模。一般考慮剛體建模，

24、鏈接物體的建模，以及非剛體的建模。智能體建模不是基于物理方程，而是基于人為的物體智能,思考題,什么是剛體？在任何力的作用下，體積和形狀都不發(fā)生改變的物體叫做“剛體”(Rigid body)。它是力學(xué)中的一個(gè)科學(xué)抽象概念，即理想模型。事實(shí)上任何物體受到外力，不可能不改變形狀。實(shí)際物體都不是真正的剛體。若物體本身的變化不影響整個(gè)運(yùn)動(dòng)過程，為使被研究的問題簡化，可將該物體當(dāng)作剛體來處理而忽略物體的體積和形狀，這樣所得結(jié)果仍與實(shí)際情況相當(dāng)符

25、合。例如，物理天平的橫梁處于平衡狀態(tài)，橫梁在力的作用下產(chǎn)生的形變很小，各力矩的大小都幾乎不變。對于形變，實(shí)際是存在的，但可不予考慮。為此在研究天平橫梁平衡的問題時(shí)，可將橫梁當(dāng)作剛體。,,什么是智能體？智能體，顧名思義：就是具有智能的實(shí)體，英文名是Agent.智能體是人工智能領(lǐng)域中一個(gè)很重要的概念。任何獨(dú)立的能夠思想并可以同環(huán)境交互的實(shí)體都可以抽象為智能體。可以看作是能夠通過傳感器感知其環(huán)境，并借助于執(zhí)行器作用于該環(huán)境的任何事物。

26、例如對于人Agent，其傳感器為眼睛耳朵和其他感官，其執(zhí)行器為手、腿、嘴和身體的其他部分。對于軟件Agent，則同過編碼位的字符串進(jìn)行感知和作用。,3．VR的建模和仿真,（2）仿真仿真包括：圖形繪制和三維動(dòng)畫。 圖形繪制是把三維環(huán)境，相對于虛擬攝像機(jī)（虛擬視點(diǎn)）投影，形成圖像的過程。圖形繪制要求為了提供連續(xù)運(yùn)動(dòng)的錯(cuò)覺，幀速率必須大于每秒8到10幀。為了保持瞬間交互控制的錯(cuò)覺，響應(yīng)時(shí)間的延遲必須小于0.1秒。為了繪制人眼可分

27、辨的所有細(xì)節(jié)，這要求有8千萬個(gè)多邊形。然而，用今天的硬件，每個(gè)畫面8千萬多邊形的系統(tǒng)對真正的實(shí)時(shí)交互是太慢了，于是存在真實(shí)圖像與實(shí)時(shí)交互間的折衷。某些應(yīng)用（如建筑和藝術(shù)）可能要求照片一樣真實(shí)的繪制。制造和醫(yī)療應(yīng)用要求更高層次的實(shí)時(shí)交互。,,（2）仿真仿真包括：圖形繪制和三維動(dòng)畫。 三維動(dòng)畫可以用兩種途徑實(shí)現(xiàn):1：基于物理模型的數(shù)值計(jì)算。屬于滿足物理規(guī)律的仿真技術(shù)，用于軍事和工業(yè)等方面。2：數(shù)學(xué)插值。這種技術(shù)在三維動(dòng)畫電影

28、中獲得了巨大的成功。,虛擬現(xiàn)實(shí)開發(fā)系統(tǒng)的方塊圖,,用戶通過輸入輸出設(shè)備與輸入輸出軟件交互。輸入軟件通過形狀編輯器完成幾何建模，通過聲音編輯器完成虛擬聲音系統(tǒng)建模。然后，在世界編輯器完成虛擬環(huán)境的建模。其中的虛擬剪切器，用于模型的剪切。建立的模型，保存在虛擬世界中。整個(gè)工作在計(jì)算機(jī)系統(tǒng)中完成,第二節(jié) 虛擬現(xiàn)實(shí)有關(guān)的人的因素,為什么要討論人的因素？計(jì)算機(jī)，接口和用戶是VR系統(tǒng)中的三個(gè)組成部分。接口設(shè)計(jì)必須考慮人的因素，人的因素與VR系統(tǒng)性

29、能直接相關(guān)。虛擬現(xiàn)實(shí)中有關(guān)的人的因素具體有哪些方面？人眼人耳身體感覺,虛擬現(xiàn)實(shí)有關(guān)的人的因素----人眼,1．視覺生理結(jié)構(gòu)2．立體視覺 3．屈光度4．瞳孔5．分辨力6．明暗適應(yīng)7．周圍視覺和中央視覺8．視覺暫留9．視場,,1．視覺生理結(jié)構(gòu) 　　大腦皮層（Cerebral Cortex）是大腦半球的最外層，它負(fù)責(zé)各種形式的感覺。視網(wǎng)膜（Retina）是在每只眼背部的神經(jīng)細(xì)胞的多層膜，它把光轉(zhuǎn)成電信號，并通過視神經(jīng)

30、和管道傳給大腦。　　下圖表示，視網(wǎng)膜的解剖圖。圖中顯示了層，管道和神經(jīng)。,,光感受器（Photoreceptor）是每只眼睛視網(wǎng)膜中1.25億個(gè)神經(jīng)細(xì)胞中的一部分，它在受到特定波長的光的刺激時(shí)，會(huì)發(fā)出電信號。視網(wǎng)膜是眼的光敏層，幾百微米厚，有10層。光線通過其中8層，被另外兩層的視桿細(xì)胞和視錐細(xì)胞的光接收器（Photoreceptor）吸收。每只眼的視網(wǎng)膜上有1.25億個(gè)神經(jīng)細(xì)胞。脊椎動(dòng)物有兩種光感受器，：視桿細(xì)胞（rods）負(fù)責(zé)低分

31、辨率的、單色的、夜間的視覺。視錐細(xì)胞（cones）負(fù)責(zé)高分辨率的、彩色的、白天的視覺。它花費(fèi)25ms把光轉(zhuǎn)成電信號，再送給大腦?！　∮覉D表示，視網(wǎng)膜內(nèi)光感受器的解剖圖。圖中桿狀細(xì)胞和錐狀細(xì)胞在上部，通向大腦的視神經(jīng)纖維在下部。,,2．立體視覺 視覺的另一個(gè)重要因素是立體視覺能力。提供給人類視覺的圖像，必須使人感覺是立體的。這樣，觀看者的視覺系統(tǒng)就可以計(jì)算出被看物體的遠(yuǎn)近。對同一個(gè)場景，兩眼得到稍有差別的視圖。左視區(qū)的信息，送到兩眼視

32、網(wǎng)膜的右側(cè)。在視交叉處，左眼的一半神經(jīng)纖維交叉到大腦的右半球，左眼的另一半神經(jīng)纖維不交叉，直接到大腦的左半球。這樣，兩眼得到的左視區(qū)的所有信息，都送到右半球。 右圖表示，人類立體視覺的原理圖。HMD（頭盔顯示器）提供兩個(gè)顯示，不但應(yīng)保持雙目視差，而且應(yīng)該重疊。實(shí)際上,由于兩眼有6.5cm的瞳距，所以兩者視場總有些差別,有不重疊的區(qū)域。對中央凹區(qū)域，深度感在150m時(shí)減弱。對周圍視覺，深度感在100m減弱。而在這個(gè)距離上，雙目視差不

33、是最有用的，運(yùn)動(dòng)視差和透視可能更有用。,,3．屈光度與眼的光學(xué)部分有關(guān)的一個(gè)度量是"屈光度" （dioptre）。有1個(gè)屈光度的鏡頭，可以聚焦平行光線在1米距離。人眼的聚焦能力約60屈光度，這表明聚焦平行光在17mm距離，這就是眼球尺寸，是晶狀體和視網(wǎng)膜的距離。年青人可以連續(xù)改變14個(gè)屈光度，這稱為調(diào)節(jié)或聚焦。這保證對遠(yuǎn)近物體都能看到清晰的圖像。年長后調(diào)節(jié)能力減弱，50歲時(shí)調(diào)節(jié)能力2個(gè)屈光度，70歲時(shí)調(diào)節(jié)能力0個(gè)

34、屈光度。在注視運(yùn)動(dòng)物體時(shí)，自動(dòng)調(diào)節(jié)屈光度。調(diào)節(jié)作用保證某個(gè)距離的物體清晰，而其它距離物體模糊。這起了濾波器的作用，使人集中關(guān)注視場中部分區(qū)域。在HMD中沒有調(diào)節(jié)，2個(gè)圖像都是聚焦在2到3米距離。,,4．瞳孔瞳孔是晶狀體前的孔，直徑可變化，由1.5mm到8mm。面積之比1:30。瞳孔作用有三個(gè)：(a) 放大時(shí)可增加眼的敏感；(b) 縮小時(shí)可增加近視覺的視距；(c) 縮小時(shí)可限制入射光在光學(xué)效果最好的中心區(qū)。 5．分辨力分辨力是人眼

35、區(qū)分兩個(gè)點(diǎn)的能力，限于10m距離上約1.5-2mm。例如在2m的距離觀看寬度400mm的電視。人眼區(qū)分兩個(gè)點(diǎn)的能力，在2m距離上約0.4mm。則寬度400mm上應(yīng)該由1000個(gè)0.4mm大小的像素。計(jì)算機(jī)監(jiān)視器和高清晰度電視機(jī)，都達(dá)到了這樣的分辨率。,,6．明暗適應(yīng)眼對亮度的感覺可以自動(dòng)調(diào)節(jié)，這是通過改變在視桿和視錐細(xì)胞中光敏化合物的濃度。例如從亮處進(jìn)入暗室時(shí)的現(xiàn)象，稱為暗適應(yīng)，花費(fèi)約40分。亮適應(yīng)是從暗室進(jìn)入陽光下時(shí)的現(xiàn)象，這種適應(yīng)

36、的強(qiáng)度變化在25000倍。視桿細(xì)胞適應(yīng)時(shí)間約1小時(shí)，視錐細(xì)胞適應(yīng)時(shí)間約幾分鐘。 7．周圍視覺和中央視覺視網(wǎng)膜不僅是被動(dòng)的光敏表面。通過視桿和視錐細(xì)胞與神經(jīng)細(xì)胞的連接，它還有一定的圖像處理。中央凹是視網(wǎng)膜中央部分，在光軸與視網(wǎng)膜焦點(diǎn)附近，直徑約1mm，有高密度視錐細(xì)胞。中央凹區(qū)域的視覺稱為中央視覺。中央視覺是高分辨率部分，有彩色的、白天的視覺。視網(wǎng)膜周圍區(qū)域包含視桿和視錐細(xì)胞。視網(wǎng)膜周圍區(qū)域的視覺稱為周圍視覺。這些神經(jīng)細(xì)胞對光強(qiáng)的變化

37、敏感，它幫助我們注意運(yùn)動(dòng)物體。周圍視覺雖然分辨率低，是單色的、夜間的視覺，但敏感運(yùn)動(dòng)物體。,,8．視覺暫留視覺暫留是視網(wǎng)膜的電化學(xué)現(xiàn)象造成視覺的反應(yīng)時(shí)間。當(dāng)觀看很短的光脈沖時(shí)，視桿細(xì)胞得到約0.25s 的峰，視錐細(xì)胞快4倍，得到約0.04s的峰。這種現(xiàn)象造成視覺暫留,,現(xiàn)有的VR技術(shù)，是否對以上8個(gè)人眼的因素都考慮到了？人眼的八個(gè)因素：視覺生理結(jié)構(gòu)、立體視覺、屈光度、瞳孔、分辨力、明暗適應(yīng)、周圍視覺和中央視覺、視覺暫留、視場 現(xiàn)

38、有的VR系統(tǒng)中，已經(jīng)考慮的因素包括：立體視覺，分辨力，視覺暫留，以及視場。其他因素還沒有充分考慮到。,虛擬現(xiàn)實(shí)有關(guān)的人的因素----人耳,1．聲音2．聲音感覺3．頻率范圍4．聲強(qiáng)5．聲音方向6．聲音舞臺7．頭部有關(guān)的傳遞函數(shù),,1．聲音　　音速在空氣中，0℃時(shí)331m/s，20℃時(shí)344m/s。在海水中，1℃時(shí)音速1453m/s。在鑄鐵棒中，音速3500m/s。　　耳聽到的頻率范圍約20Hz到20kHz。隨年歲增加，頻

39、率范圍縮小，特別是高頻段?！　】紤]音速344m/s。 20Hz的波長17.2m, 1kHz的波長34.4cm, 10kHz的波長 3.44cm。人耳的尺寸約7cm，這是5kHz的波長。這說明耳會(huì)影響這種頻率聲音的收集。人的身體也會(huì)與聲波交互，這也會(huì)影響聲音的質(zhì)量。這類似音樂廳中的音響效果。,,2．聲音感覺　　耳分為外耳、中耳、內(nèi)耳。外耳把聲音引導(dǎo)進(jìn)內(nèi)耳，它也作為濾波器而改變聲音。把手放在耳前面，就會(huì)感到聲音變化。聲音最終沖擊耳膜，使

40、之振動(dòng)。耳膜振動(dòng)再傳到耳蝸，并且振動(dòng)加大20倍。,,3．頻率范圍　　耳蝸有3個(gè)螺旋管，被2個(gè)膜片分開，Reissner膜和耳底膜。振動(dòng)會(huì)刺激耳底膜上的2萬到3萬個(gè)硬毛，并產(chǎn)生電信號傳給大腦。耳底膜有識別頻率的機(jī)制。高頻振動(dòng)刺激膜的開始部分，中頻振動(dòng)刺激膜的中間部分，低頻振動(dòng)刺激膜的遠(yuǎn)端部分。,,4．聲強(qiáng)聲強(qiáng)影響到耳底膜的振幅，直接轉(zhuǎn)成毛細(xì)胞的刺激。5．聲音方向一般認(rèn)為，人腦識別聲源位置，是利用兩耳收到的聲音的時(shí)間差和聲音幅度差。

41、當(dāng)人面對聲源時(shí)，兩耳的聲強(qiáng)和路徑相等。當(dāng)人向左轉(zhuǎn)以后，右耳聲音比左耳強(qiáng)，且更早聽到。若兩耳路徑之差為20cm，則時(shí)間差0.6ms。6．聲音舞臺如果用一對麥克風(fēng)記錄立體聲音，就可以重現(xiàn)聲音舞臺，它有寬度和深度。,,7．頭部有關(guān)的傳遞函數(shù)　　在聽耳機(jī)時(shí)，每個(gè)耳只聽一個(gè)發(fā)聲器的聲音。當(dāng)然一個(gè)耳中的聲音，也會(huì)經(jīng)頭部傳給另一耳。在聽揚(yáng)聲器時(shí)，每個(gè)耳都分別聽到兩個(gè)揚(yáng)聲器的聲音?！　?974年P(guān)lenge認(rèn)為，進(jìn)入耳的聲音的形式，會(huì)產(chǎn)生外部的

42、聲音舞臺的感覺。對于耳機(jī)（特別是插入式耳塞），感覺的聲音舞臺是內(nèi)部的。如果驅(qū)動(dòng)耳機(jī)的左右通道可以由電子設(shè)備構(gòu)成聲音，則人會(huì)感覺聲音有外部的真實(shí)性。為此要求知道聲音的形狀，或由聲源到耳內(nèi)部的傳遞函數(shù)。這個(gè)由聲源到耳內(nèi)部的傳遞函數(shù)稱為"頭部有關(guān)的傳遞函數(shù)" (Head-related transfer functions, HRTF)，它反映頭和耳對傳聲的影響，不同的人有不同的HRTF。　　HRTF的測量方法如下。對空

43、間每個(gè)位置的聲源，安放在耳中接近耳膜的小麥克風(fēng)測量收到的信號。信號經(jīng)過處理，補(bǔ)償非線性頻率響應(yīng)。由此得到HRTF。,,現(xiàn)有的VR系統(tǒng)中，已經(jīng)考慮的人耳的因素有哪些？現(xiàn)有的VR系統(tǒng)中，已經(jīng)考慮的因素包括：聲音方向，聲音舞臺，以及頭部有關(guān)的傳遞函數(shù)。其他因素還沒有充分考慮到。,虛擬現(xiàn)實(shí)有關(guān)的人的因素----身體感覺,在VR環(huán)境中，我們說的身體感覺，主要是對哪些事物的感覺？感覺表面粗糙、振動(dòng)、運(yùn)動(dòng)、位置、壓力、疼痛和溫度?，F(xiàn)有的VR系統(tǒng)

44、中，已經(jīng)考慮了觸覺和力覺顯示。但是有關(guān)的技術(shù)細(xì)節(jié)還沒有充分考慮到。,,按身體不同部位，身體感覺可分四類。(a)深部感覺它提供關(guān)節(jié)、骨、腱、肌肉和其它組織的信息，涉及壓力、疼痛和振動(dòng)。 (b)內(nèi)臟感覺它提供胸腹腔中的內(nèi)臟的狀況，主要是疼痛 (c)本體感覺它提供身體的位置，平衡和肌肉感覺。也涉及與其它物體的接觸，如站在地上、躺在床上。本體感覺接受器位于關(guān)節(jié)、肌肉和深部組織。(d)外感受感覺它是身體表面的接觸感覺,,VR系統(tǒng)中

45、，對眾多的人的因素是如何考慮的？ 在VR中，某些人的因素明顯被考慮，如HMD中考慮瞳距。另外一些人的因素未明顯考慮，如運(yùn)動(dòng)眩暈。Defence Research Agency研究了沉浸感顯示的副作用。有些人認(rèn)為用HMD看不同遠(yuǎn)處物體時(shí)，不能用會(huì)聚和調(diào)節(jié)，使人不適應(yīng)。有人認(rèn)為HMD與內(nèi)瞳距不匹配也使眼疲勞。有人認(rèn)為眼不是會(huì)聚，而是在發(fā)散。有些用戶很敏感運(yùn)動(dòng)刺激，如汽車、船、飛機(jī)、火車等。有人實(shí)驗(yàn)研究了VR引起運(yùn)動(dòng)眩暈問題。在15

46、0個(gè)實(shí)驗(yàn)者中，有8人產(chǎn)生強(qiáng)烈眩暈。其它實(shí)驗(yàn)者經(jīng)歷了20分鐘沉浸環(huán)境。5分后有22%的人眩暈，10分后有32%人眩暈，15分后有40%人眩暈，20分后有45%人眩暈。在沉浸經(jīng)歷以后5分鐘，還有36%的人眩暈，10分鐘后還有27%的人眩暈。在VR中，具有圖像生成的延遲，視覺和前庭器官信息的時(shí)間不同步也造成感覺（視覺與本體感覺）的沖突?？焖偬幚砗陀铚y算法有可能緩解這種不同步。,章內(nèi)小節(jié),介紹了虛擬現(xiàn)實(shí)的概念和有關(guān)的人的因素?！　√摂M現(xiàn)實(shí)或

47、虛擬環(huán)境是人工構(gòu)造的，存在于計(jì)算機(jī)內(nèi)部的環(huán)境，包括人類操作者、人機(jī)接口和計(jì)算機(jī)。虛擬現(xiàn)實(shí)具有三個(gè)特點(diǎn)?！　∪说囊曈X問題和聽覺問題，都是和虛擬現(xiàn)實(shí)有關(guān)的人的因素。,習(xí)題,一、 填空題1、 虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)部分是 ——————2、 遙操作系統(tǒng)的三個(gè)部分是 —————— 3、 增強(qiáng)顯示系統(tǒng)是 —————— 4、 合成顯示系統(tǒng)是 —————— 5、 虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)特點(diǎn)是 —————— 6、 虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)I是

48、—————— 7、 虛擬現(xiàn)實(shí)系統(tǒng)的主要應(yīng)用領(lǐng)域是 —————— 8、 虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)主要技術(shù)領(lǐng)域是 —————— 。,,9、 視覺交叉的結(jié)果是，腦左半球處理 —————— 10、 人眼的屈光度是 。眼球的焦距是 —————— 11、 人眼的分辨率在10m距離上為 —————— 12、 中央視覺特點(diǎn)是 。主要利用的細(xì)胞是 —————— 13、 周圍視覺特點(diǎn)是 。主要利用的細(xì)胞是 —————— 14、 確定電

49、影和電視的幀頻應(yīng)該考慮人眼的 現(xiàn)象—————— 15、 人耳的HRTF的中文名稱是 。其含義是 。其測量方法是 —————— 16、 飛行仿真中，發(fā)生眩暈的原因是——————,,一、 填空題1、 虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)部分是人類操作者、人機(jī)接口和計(jì)算機(jī)2、 遙操作系統(tǒng)的三個(gè)部分是人類操作者、人機(jī)接口和遙機(jī)器人 3、 增強(qiáng)顯示系統(tǒng)是組合了虛擬環(huán)境和真實(shí)環(huán)境 4、 合成顯示系統(tǒng)是遙操作系統(tǒng)，虛擬環(huán)境系統(tǒng)，增強(qiáng)現(xiàn)實(shí)系統(tǒng)等的

50、總稱 5、,,虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)特點(diǎn)是計(jì)算機(jī)提供"環(huán)境", 不是"數(shù)據(jù), 信息"。這改變了人機(jī)接口的內(nèi)容。 2．操作者由視覺,聽覺,力覺感知環(huán)境, 由自然的動(dòng)作操作環(huán)境, 不是由屏幕,鍵盤,鼠標(biāo)和計(jì)算機(jī)交互。這改變了人機(jī)接口的形式。 3．逼真的感知和自然的動(dòng)作，使人產(chǎn)生身臨其境的感覺。這改變了人機(jī)接口的效果。 6、虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)I是 Immersion(沉浸)，是指逼真的，身臨其境的感覺

51、。 （2）Interaction(交互)，是指用戶感知與操作環(huán)境。 （3）Imagination(想象)，是指創(chuàng)造性。,,7、 虛擬現(xiàn)實(shí)系統(tǒng)的主要應(yīng)用領(lǐng)域是1.娛樂。2．國防。3．設(shè)計(jì)、制造和銷售。4．醫(yī)療和健康。5．危險(xiǎn)操作。 6．訓(xùn)練。7．教育。8．信息可視化。9．遠(yuǎn)程交往與遠(yuǎn)程游歷。 8、 虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)主要技術(shù)領(lǐng)域是1．VR的人機(jī)接口。2．VR的計(jì)算機(jī)系統(tǒng)。3．VR的建模和仿真。 9、 視覺交叉的結(jié)果是，腦左半球處理兩

52、眼得到的右視區(qū)的所有信息10、 人眼的屈光度是 。眼球的焦距是人眼的聚焦能力約60屈光度，這表明聚焦平行光在17mm距離,,11、 人眼的分辨率在10m距離上為約1.5-2mm。 12、 中央視覺特點(diǎn)是中央視覺是高分辨率部分，有彩色的、白天的視覺 。主要利用的細(xì)胞是高密度視錐細(xì)胞 13、 周圍視覺特點(diǎn)是周圍視覺雖然分辨率低，是單色的、夜間的視覺，但敏感運(yùn)動(dòng)物體 。主要利用的細(xì)胞是周圍區(qū)域包含視桿和視錐細(xì)胞 1

53、4、 確定電影和電視的幀頻應(yīng)該考慮人眼的 現(xiàn)象視覺暫留,,15、 人耳的HRTF的中文名稱是“頭部有關(guān)的傳遞函數(shù)" (Head-related transfer functions, HRTF) 。其含義是由聲源到耳內(nèi)部的傳遞函數(shù)。對空間每個(gè)位置的聲源，安放在耳中接近耳膜的小麥克風(fēng)測量收到的信號 。其測量方法是信號經(jīng)過處理，補(bǔ)償非線性頻率響應(yīng)。由此得到HRTF 16、 飛行仿真中，發(fā)生眩暈的原因是視覺接收人體運(yùn)動(dòng)感覺，