語(yǔ)音，觸控()computergraphics

1、第七章 人機(jī)交互繪圖技術(shù),人機(jī)交互,人機(jī)交互（Human-Computer Interaction）是指用戶與計(jì)算機(jī)系統(tǒng)之間的通信，它是人與計(jì)算機(jī)之間各種符號(hào)和動(dòng)作的雙向信息交換。這里“交互”定義為一種通信，即信息交換，并且是一種雙向信息交換，可由人向計(jì)算機(jī)輸入信息，也可以由計(jì)算機(jī)向人輸出信息。,計(jì)算的三次革命,1950年，大型機(jī)計(jì)算時(shí)代 多人一機(jī)1975年，PC計(jì)算時(shí)代 信息交流一人一機(jī)2000年，普適計(jì)

2、算時(shí)代 服務(wù)一人多機(jī),字符用戶界面鍵盤圖形用戶界面鼠標(biāo)，GUI，WIMP新世紀(jì)用戶界面(???)筆、語(yǔ)音，觸控(???),普適計(jì)算的認(rèn)識(shí),Ubiquitous Computing(ubicopm)Mark Weiser 19911.任何時(shí)間任何地點(diǎn)提供信息和服務(wù)2.Focus on Applications Mark Weiser“The real purpose for ubiquitous comp

3、uting, of course, are the applications.”3.多人可以使用的計(jì)算，計(jì)算環(huán)境. 個(gè)人所擁有的計(jì)算，日用品4.人機(jī)融合過程：人適應(yīng)計(jì)算機(jī)；計(jì)算機(jī)適應(yīng)人,普適計(jì)算中人機(jī)交互的三個(gè)特征,自然化多通道模糊非結(jié)構(gòu) 相對(duì)于結(jié)構(gòu)化數(shù)據(jù)（即行數(shù)據(jù)，存儲(chǔ)在數(shù)據(jù)庫(kù)里，可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)）而言，不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、 文本

4、、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等等。  連續(xù)人性化顯示感知（符號(hào)、動(dòng)作、表象、情感）隱式感知---用戶意圖捕捉智能化學(xué)習(xí)能力,本章內(nèi)容,,,基本交互任務(wù),交互的輸入模式,輔助交互技術(shù),交互設(shè)備,基本問題,人機(jī)交互的新發(fā)展,7.1 基本圖形輸入設(shè)備和基本交互任務(wù),,7.1.1 基本的圖形輸入設(shè)備,,定位設(shè)備,筆劃設(shè)備,選擇設(shè)備,字符串設(shè)備,定值設(shè)備,拾取設(shè)備,基本的圖形輸入設(shè)備,定位設(shè)備,

5、定位設(shè)備(Locator)用于指定用戶空間的一個(gè)位置，如指定一個(gè)圓的圓心等。其輸入方式包括直接或間接在屏幕上輸入，設(shè)置數(shù)值坐標(biāo)等。,,鼠標(biāo),光標(biāo),數(shù)字化儀,操縱桿,方向鍵,間接輸入,鍵盤,筆劃設(shè)備,軌跡球,定值設(shè)備,定值設(shè)備（Valuator）為應(yīng)用程序輸入一個(gè)值（實(shí)數(shù)），如在旋轉(zhuǎn)某一對(duì)象時(shí)輸入一個(gè)旋轉(zhuǎn)角度、縮放對(duì)象時(shí)輸入一個(gè)比例因子以及輸入文字高度、字體大小比例因子等。輸入方式包括直接輸入數(shù)值、通過字符串取值、通過比例尺輸入、執(zhí)行

6、上下記數(shù)控制命令等。物理設(shè)備包括旋鈕、鍵盤、數(shù)字化儀、鼠標(biāo)、方向鍵、編程功能鍵等。,旋鈕,選擇設(shè)備,選擇設(shè)備（Choice）為應(yīng)用程序在多個(gè)選項(xiàng)中選定一項(xiàng)，如可選擇功能或圖形元素等。,,直接/間接選擇,字符串選擇,手寫輸入,時(shí)間掃描,聲音輸入,輸入方式,,光筆,觸摸屏,鼠標(biāo),數(shù)字化儀,操縱桿等,物理設(shè)備,觸摸屏,拾取設(shè)備,拾取設(shè)備（Pick）在處理的模型中選取一個(gè)對(duì)象，從而為應(yīng)用型操作確定目標(biāo)。,,接/間接選擇,時(shí)間掃描,字符串選取,

7、輸入方式,,定位設(shè)備,編程功能鍵,字符串輸入設(shè)備,物理設(shè)備,筆型字符識(shí)別器,字符串設(shè)備,字符串設(shè)備（String）向應(yīng)用程序輸入字符串，如為某對(duì)象確定名字、為某圖紙輸入加注文字等,,鍵盤輸入,手寫輸入,菜單輸入,聲音輸入,輸入方式,,字母鍵盤,光筆,聲音識(shí)別儀,數(shù)字化儀,觸壓板等,物理設(shè)備,7.1.2 基本交互任務(wù),,,定位,筆劃,選擇,字符串,定值,拾取,基本的交互技術(shù),1. 定位,定位是確定平面或空間一點(diǎn)（x。, y）或（x, y

8、, z）的坐標(biāo)直接定位，是用定位設(shè)備直接指定某個(gè)點(diǎn)的位置，可以準(zhǔn)確地給點(diǎn)定位（例如鍵盤輸入）。間接定位指通過定位設(shè)備的運(yùn)動(dòng)控制屏幕上光標(biāo)的運(yùn)動(dòng)進(jìn)行定位，例如在移動(dòng)鼠標(biāo)時(shí)，根據(jù)鼠標(biāo)移動(dòng)的相對(duì)距離去控制屏幕上光標(biāo)的移動(dòng)。數(shù)字化儀不僅可像鼠標(biāo)那樣產(chǎn)生輸入點(diǎn)的相對(duì)坐標(biāo)，也可輸入點(diǎn)的絕對(duì)坐標(biāo)。如果我們要輸入一張圖紙，用數(shù)字化儀輸入圖上各點(diǎn)的絕對(duì)坐標(biāo)是最合適的方法。,數(shù)字化儀,2. 筆劃,筆劃輸入用于輸入一組順序的坐標(biāo)點(diǎn)，筆劃輸入相當(dāng)于多次調(diào)

9、用定位輸入，輸入的一組點(diǎn)常用于顯示折線或作為曲線的控制點(diǎn)。筆畫設(shè)備鼠標(biāo)、軌跡球、游戲棒連續(xù)移 動(dòng)的信號(hào)經(jīng)轉(zhuǎn)換成為一組坐標(biāo)值。圖形輸入板的連續(xù)模式可通過按 鍵激活。當(dāng)光標(biāo)在圖形輸入板表 面上移動(dòng)時(shí)，就產(chǎn)生一組坐標(biāo)值,手寫板,3.定值,定值（或數(shù)值）輸入用于設(shè)置物體旋轉(zhuǎn)角度、縮放比例因子等。它要在給定的數(shù)字范圍內(nèi)輸入一個(gè)值。用鍵盤鍵入數(shù)值軟件的方法在屏幕上繪制刻度尺或比例尺，用戶可用定位設(shè)備控制光標(biāo)在尺子上移動(dòng)實(shí)現(xiàn)數(shù)值

10、的輸入。用刻度盤實(shí)現(xiàn)數(shù)值輸入的原理也一樣，操作員控制從圓心出發(fā)的線段繞圓心旋轉(zhuǎn)，根據(jù)顯示的角度讀數(shù)或比例數(shù)據(jù)來(lái)定值。,圖7.1 定值輸入,4.選擇,選擇是在某個(gè)選擇集中選出一個(gè)元素，它可用于指定命令，確定操作對(duì)象或選定屬性等。選擇某項(xiàng)功能可用功能鍵選擇某個(gè)圖元可用鼠標(biāo)移動(dòng)光標(biāo)到要選的圖元靠近的位置，按下鼠標(biāo)的按鈕，通過軟件選擇距光標(biāo)最近的圖元。菜單功能使用最普遍，也是非常重要的一種交互方法。使用菜單可較好地改善應(yīng)用系統(tǒng)用

11、戶接口的友好性。除了選擇子圖或圖元，幾乎所有其他選擇功能均可由菜單選擇來(lái)實(shí)現(xiàn)。,,根據(jù)可選對(duì)象的數(shù)量、性質(zhì)及彼此間的邏輯關(guān)系，用戶可以自己定義菜單內(nèi)容的排列及菜單的層次結(jié)構(gòu)。對(duì)話框和鍵盤上的按鍵也可提供選擇功能。對(duì)話框的內(nèi)容極豐富，常用選擇開關(guān)及radio按鈕（單選按鈕，以小圓框打點(diǎn)表示被選中）實(shí)現(xiàn)選擇功能。鍵盤選擇也極為簡(jiǎn)單，如擊數(shù)字鍵“1”表示使用綠色繪制，“2”表示使用藍(lán)色繪制等。,5. 拾取,拾取的功能是選擇圖形

12、對(duì)象，用于選擇場(chǎng)景中即將進(jìn)行變換或編輯的部分。拾取一個(gè)基本對(duì)象的方法有：1）指定名稱法，通過指定欲拾取對(duì)象的名稱實(shí)現(xiàn)；2）特征點(diǎn)法，選擇時(shí)讓圖形的特征點(diǎn)（如線段的端點(diǎn)，圓心等）以強(qiáng)光醒目顯示，操作員通過選擇特征點(diǎn)來(lái)拾取對(duì)象，這種方法涉及的內(nèi)部計(jì)算較少；3）邊界盒法，對(duì)每一個(gè)子圖預(yù)先求一個(gè)邊界盒或比邊界盒稍大一點(diǎn)的ε邊界盒。這里的ε邊界盒是指邊和坐標(biāo)軸平行且包含該子圖的最小的矩形。4）分類法，分別將折線、點(diǎn)、弧等在有關(guān)按

13、鍵的控制下進(jìn)行拾取。,6. 字符串,手寫板,語(yǔ)音輸入,7.2 人機(jī)交互輸入模式,請(qǐng)求模式(request mode),請(qǐng)求模式下，輸入設(shè)備的初始化是在應(yīng)用程序中設(shè)置的，即只有輸入設(shè)置命令（或語(yǔ)句）對(duì)相應(yīng)的設(shè)備設(shè)置所需要的輸入模式后，該設(shè)備才能作相應(yīng)的輸入處理。在這種請(qǐng)求的命令中要指定由哪一個(gè)應(yīng)用程序調(diào)用及調(diào)用哪一個(gè)輸入設(shè)備。在請(qǐng)求方式下，程序和輸入設(shè)備輪流處于工作狀態(tài)和等待狀態(tài)，由程序支配輸入設(shè)備的啟動(dòng)。,程序工作，輸入設(shè)備等待

14、程序請(qǐng)求,,遇到請(qǐng)求指令（request）,輸入設(shè)備工作，程序等待接收數(shù)據(jù),,,請(qǐng)求滿足,樣本模式（sample mode）,當(dāng)把一臺(tái)或多臺(tái)輸入設(shè)備定義為樣本模式后，這些設(shè)備會(huì)連續(xù)不斷地把信息輸入進(jìn)來(lái)，而不必等待應(yīng)用程序的輸入語(yǔ)句，即信息的輸入和應(yīng)用程序中的輸入命令無(wú)關(guān)。當(dāng)應(yīng)用程序遇到取樣命令時(shí)，就把相應(yīng)的物理設(shè)備的值作為取樣數(shù)值。優(yōu)點(diǎn)：不像請(qǐng)求模式那樣要求用戶有一明顯的動(dòng)作，它對(duì)連續(xù)的信息流輸入比較方便，也可同時(shí)處理多個(gè)輸入設(shè)備的輸

15、入信息。缺點(diǎn)：當(dāng)處理某一種輸入的時(shí)間較長(zhǎng)時(shí)，可能會(huì)失掉某些輸入信息程序和輸入設(shè)備同時(shí)運(yùn)行輸入設(shè)備不斷地產(chǎn)生數(shù)據(jù)，并把數(shù)據(jù)輸入數(shù)據(jù)緩存區(qū)，從而不斷刷新數(shù)據(jù)緩存區(qū)的內(nèi)容。程序在運(yùn)行時(shí)若遇到采樣語(yǔ)句，就到數(shù)據(jù)緩存區(qū)中去取數(shù)據(jù)。這樣，程序取的是最新刷新的輸入數(shù)據(jù)。,事件模式（event mode）,事件模式的工作過程,在采用事件模式輸入數(shù)據(jù)的過程中，輸入設(shè)備和程序分別運(yùn)行。輸入設(shè)備所產(chǎn)生的數(shù)據(jù)被組織成事件節(jié)點(diǎn)，排入事件隊(duì)列中等待

16、程序的處理。程序運(yùn)行到事件處理語(yǔ)句時(shí)，就從事件隊(duì)列中取出隊(duì)首事件進(jìn)行處理。如果事件隊(duì)列為空，程序則等待一定的時(shí)間片，等待事件的發(fā)生。,7.3 常見輔助交互技術(shù),7.3.1 幾何約束,定位約束在屏幕上定義一個(gè)不可見的網(wǎng)格，也可用點(diǎn)或網(wǎng)格線顯式地標(biāo)識(shí)出網(wǎng)格結(jié)點(diǎn)的位置。網(wǎng)格線是具有相同間距的水平線和垂直線，其交點(diǎn)為網(wǎng)格點(diǎn)假設(shè)定義不可見網(wǎng)格線為 設(shè)輸入點(diǎn)的坐標(biāo)為（x, y），則離它最近的網(wǎng)格點(diǎn)的坐標(biāo)為：,,方向約束該技術(shù)用于繪制

17、水平或垂直的線段。繪制時(shí)若終點(diǎn)和給定的起點(diǎn)之間的連線和水平線的夾角小于45°（或更小的角度），即繪出一條水平線（如圖7.6）在只要求繪垂直線或水平線的應(yīng)用中，這種約束會(huì)帶來(lái)很大方便，避免了人眼或定位設(shè)備帶來(lái)的誤差，可以應(yīng)用于印刷線路板或大規(guī)模集成電路的設(shè)計(jì),引力場(chǎng),圖77 引力場(chǎng),7.3.2 拖拽,當(dāng)要把一個(gè)對(duì)象放到一個(gè)新的位置時(shí)，如果不是簡(jiǎn)單地用光標(biāo)指定新位置的點(diǎn)，而是隨著鼠標(biāo)器引導(dǎo)光標(biāo)移動(dòng)的同時(shí)對(duì)象也跟著被拖動(dòng)到新的

18、位置，這會(huì)使用戶感到更直觀，從而使得對(duì)象的定位更為恰當(dāng).,,,拖拽技術(shù)是當(dāng)前人機(jī)交互中普遍使用的技術(shù)，它可以使用戶的操作更直觀，定位更精確.拖動(dòng)有時(shí)耗費(fèi)很大，尤其當(dāng)圖像很大或圖形很復(fù)雜時(shí)，拖拽可能變的很慢。,拖拽,圖形模式 將一個(gè)圖形由一個(gè)位置移動(dòng)到另一個(gè)位置,在移動(dòng)的軌跡上按特定的象素操作模式(如異或方式)進(jìn)行圖形的重新繪制：在屏幕上用異或的模式畫圖形，然后再用異或的模式，在相同的位置重新畫一次此圖形，則會(huì)在屏幕上擦掉上

19、次所繪制的內(nèi)容。這樣,拖動(dòng)的圖形不會(huì)破壞它掃過軌跡上的圖形。圖像模式 當(dāng)一個(gè)圖形由一個(gè)位置移動(dòng)到一個(gè)新的位置時(shí),實(shí)際上是進(jìn)行了圖像的整體移動(dòng).即首先保存目的坐標(biāo)處拖動(dòng)圖像大小范圍的屏幕圖像，然后將被拖動(dòng)的圖像移動(dòng)到該位置，當(dāng)拖動(dòng)圖像離開該位置而移動(dòng)到下一個(gè)新位置時(shí)，再恢復(fù)該位置處保存的屏幕圖像。,拖拽,橡皮筋 例如要畫一條直線，先用鼠標(biāo)確定起始位置，然后鼠標(biāo)在屏幕上來(lái)回移動(dòng)時(shí)，我們會(huì)發(fā)現(xiàn)，這條直線就像橡皮筋一樣，隨著

20、鼠標(biāo)在屏幕中的位置，長(zhǎng)短和終點(diǎn)都隨之變化。,拖拽,單擊右鍵play,7.3.3 在三視圖上作三維輸入,輸入一個(gè)立體圖時(shí)，常常是將點(diǎn)、線、面單獨(dú)輸入的。而對(duì)一個(gè)點(diǎn)、一條線或一個(gè)面來(lái)說，只要在三視圖上給出足夠的信息，總是可以唯一地確定它在三維空間中的對(duì)應(yīng)圖形。例如輸入一個(gè)點(diǎn)時(shí)，只要在任意兩個(gè)視圖中確定點(diǎn)的位置,便可唯一地確定三維空間中的一個(gè)點(diǎn)的坐標(biāo)（x，y，z）.,7.3.3 在三視圖上作三維輸入,在三視圖上輸入直線段上兩端點(diǎn)便確定了

21、三維空間的一條直線.把一個(gè)面上的各頂點(diǎn)在三視圖上輸入后，就唯一地確定了三維空間中的一個(gè)面。如果把一個(gè)多面體的各面均用上述方法輸入，也就在三維空間中輸入了一個(gè)多面體。用三視圖來(lái)輸入立體圖是目前一種主要的輸入手段.,7.4 OpenGL中的交互式繪圖技術(shù),,7.4.1 選擇,在OpenGL中，使用GLint glRenderMode（GLenum mode）來(lái)選擇不同的模式選擇模式用來(lái)判斷哪些圖元被繪制在窗口的某個(gè)區(qū)域。

22、選擇操作通過返回一個(gè)整型名稱數(shù)組來(lái)工作，這個(gè)數(shù)組里存放了名稱堆棧（棧中存放圖元的名稱），由函數(shù)glSelectBuffer()來(lái)提供。,,一旦圖元與拾取區(qū)域相交，將有一個(gè)選擇命中記錄產(chǎn)生。該命中記錄將被寫入函數(shù)glSelectBuffer提供的選擇數(shù)組中。拾取區(qū)域是由gluPickMatrix()指定的。樣例：,,7.4.2反饋,場(chǎng)景渲染的信息被存入反饋數(shù)組中，不往屏幕輸出在反饋數(shù)組中的每組數(shù)據(jù)均有一個(gè)標(biāo)記，該標(biāo)記說明了圖元的類型，

23、接著是描述圖元的頂點(diǎn)坐標(biāo)值，顏色和紋理等相關(guān)數(shù)據(jù)。在退出反饋模式時(shí)，這些數(shù)據(jù)就被寫入到反饋數(shù)組中,,樣例程序,7.5 人機(jī)交互的發(fā)展,,,,,,,新的人機(jī)交互技術(shù),多媒體技術(shù)的支持,多媒體技術(shù)示例,多通道交互,人向計(jì)算機(jī)傳送信息的常用表達(dá)方式是利用手敲擊鍵盤或點(diǎn)擊鼠標(biāo)進(jìn)行。這樣用戶到計(jì)算機(jī)的輸入帶寬與計(jì)算機(jī)到用戶的輸出帶寬產(chǎn)生了不平衡，用戶的輸入帶寬低于計(jì)算機(jī)的輸出帶寬。提出了多通道人機(jī)交互的觀點(diǎn)，即在同一時(shí)刻用戶可以采用多個(gè)

24、通道與計(jì)算機(jī)進(jìn)行交互，以提高人機(jī)交互的效率和自然性當(dāng)一個(gè)通道由于設(shè)備故障或環(huán)境限制等原因不能使用時(shí)，用戶可以選擇其他通道，使交互、繼續(xù)下去。,多通道交互示例,自然語(yǔ)言接口,自然語(yǔ)言的理解,三維交互,三維交互技術(shù)采用有六個(gè)自由度的輸入設(shè)備，即沿X、Y、Z軸平移和繞X、Y、Z軸旋轉(zhuǎn),常見的三維設(shè)備有跟蹤球、數(shù)據(jù)手套、三維探針、三維鼠標(biāo)和三維操縱桿等.,3維交互設(shè)備,計(jì)算機(jī)支持的協(xié)同工作（CSCW）,計(jì)算機(jī)支持協(xié)同工作（Comput

25、er Supported Cooperative Work，CSCW）系統(tǒng)很好地適應(yīng)了社會(huì)信息化、經(jīng)濟(jì)全球化和知識(shí)經(jīng)濟(jì)時(shí)代的特點(diǎn)以及諸如交互性、分布性和協(xié)同性等要求.其應(yīng)用領(lǐng)域非常廣泛，如協(xié)同編輯、電子會(huì)議、工業(yè)應(yīng)用、科學(xué)協(xié)作、遠(yuǎn)程教學(xué)、遠(yuǎn)程醫(yī)療等。,CSCW示例,觸覺交互,,觸覺交互已成為人機(jī)交互領(lǐng)域的最新技術(shù)，其可借助人的觸感，產(chǎn)生一種虛擬現(xiàn)實(shí)的效果。觸碰可以產(chǎn)生多種不同的感受，包括輕碰、重碰、壓力、疼痛、顫動(dòng)、熱和冷，因此人工模

26、擬這些感受的方式也各異。　　觸覺交互技術(shù)已經(jīng)開辟了多種可能的應(yīng)用領(lǐng)域，包括虛擬現(xiàn)實(shí)、遙控機(jī)器人、遠(yuǎn)程醫(yī)療、工作培訓(xùn)、基于觸覺的三維模型設(shè)計(jì)等。而在電子商務(wù)方面， 觸覺交互也能夠發(fā)揮重要作用。比如，顧客在網(wǎng)上購(gòu)買服裝之前，可以先感知一下衣料的質(zhì)地，然后再做決定。,TPTA（telepresence and teleaction）,TPTA系統(tǒng)可以使人沉浸到遙遠(yuǎn)的人跡罕至或者虛擬的環(huán)境中。TPTA系統(tǒng)的應(yīng)用領(lǐng)域很廣泛，比如水下空間遙控操作

27、，遠(yuǎn)程診斷、治療和娛樂游戲等。一個(gè)典型的觸覺遠(yuǎn)程呈現(xiàn)系統(tǒng)如圖1所示，理想情況下，OP通過TPTA系統(tǒng)可以真實(shí)感受到與遠(yuǎn)程環(huán)境交互的過程，即實(shí)現(xiàn)完全沉浸感。,圖 TPTA系統(tǒng)概要示意圖[W. Ferrell and T. Sheridan, “Supervisory control of remote manipulation,” IEEE Spectr., vol. 4, no. 10, pp. 81–88, Oct. 1967. ],