2013年--生物醫(yī)學(xué)工程 外文翻譯--適應(yīng)用戶界面的靈活動作和手勢交互的骨架工具包（譯文）

1、<p>　　中文10290字，6700單詞，34000英文字符</p><p>　　出處：Suma E A, Krum D M, Lange B, et al. Adapting user interfaces for gestural interaction with the flexible action and articulated skeleton toolkit[J]. Computers

2、& Graphics, 2013, 37(3): 193-201.</p><p>　　適應(yīng)用戶界面的靈活動作和手勢交互的骨架工具包</p><p>　　Adapting user interfaces for gestural interaction with the flexible action and articulated skeleton toolkit</p&g

3、t;<p>　　學(xué) 部（院）： 電子信息與電氣工程學(xué)部 </p><p>　　專 業(yè)： 生物醫(yī)學(xué)工程 </p><p>　　適應(yīng)用戶界面的靈活動作和手勢交互的骨架工具包</p><p>　　Adapting user interfaces for gestural interaction with the f

4、lexible action and articulated skeleton toolkit</p><p>　　Evan A.Suma a,n, DavidM.Krum a, BelindaLange a, SebastianKoenig a, AlbertRizzo a, MarkBolas</p><p><b>　　摘要：</b></p>&l

5、t;p>　　我們提供一種靈活動作和鉸接式骨架工具包(FAAST)，它是一種中介軟件框架集全身與虛擬環(huán)境交互、視頻游戲和其他用戶界面。此工具包提供了一個完整的端到端解決方案,包括一個圖形用戶界面來創(chuàng)建自定義手勢,傳感器配置,骨骼跟蹤、動作識別和各種輸出機制控制第三方應(yīng)用程序,允許任何PC應(yīng)用程序來用手勢控制,即使它不支持來自運動傳感器的輸入。為了實現(xiàn)簡單易懂的動作設(shè)計,我們定義了一個代表人類的手勢使用語法規(guī)則集，這個語法規(guī)則集對應(yīng)的

6、基本時空動作。這些規(guī)則雖然在概念上很簡單,但是可以實現(xiàn)和順序相結(jié)合形成復(fù)雜的手勢交互。除了展示系統(tǒng)體系結(jié)構(gòu)和我們設(shè)計手勢交互的方法,我們還描述了兩個案例研究,評估使用FAAST控制第一人稱角色游戲和提高計算接口的可訪問性對于傷殘的群體。因此,這項工作是重要的一步，使手勢交互更加方便實現(xiàn)對于開發(fā)者，研究人員和愛好者。 </p><p>　　關(guān)鍵字：自然交互;手勢;用戶界面；視頻游戲;中介軟件</p>

7、<p><b>　　1．介紹</b></p><p>　　在低成本的深度傳感技術(shù)的最新進(jìn)展已經(jīng)導(dǎo)致了可以感測用戶的身體運動的消費電子設(shè)備的激增。在2010年年底發(fā)布微軟的Kinect引發(fā)了人們迅速形成一個龐大而活躍的社區(qū)探索了使用范圍從非正式愛好者的“黑客”到科研項目和商業(yè)應(yīng)用。然而，盡管全身運動感測設(shè)備可以很便捷的獲取，設(shè)計直觀和強大的手勢交互仍然為開發(fā)是一項挑戰(zhàn)。大體上說，盡

8、管Kinect保持著歷史上銷售最快的消費電子設(shè)備的記錄，但是匹配Xbox 360游戲設(shè)備的kinect銷量卻一直不佳，這部分歸因于缺乏精心設(shè)計的游戲無縫體驗[1]和[2]。實際上，研究已經(jīng)表明，執(zhí)行手臂動作和姿勢可以對用戶的態(tài)度和對于視覺刺激[3]，[4]和[5]的情緒反應(yīng)產(chǎn)生深刻的影響，。這些意見指出，需要“手勢設(shè)計”理論以及來啟用3D用戶界面和互動媒體手勢交互的創(chuàng)建和定制的工具。</p><p>　　我們工作

9、的一個重要推動力是視頻游戲技術(shù)在康復(fù)[6]和健康等領(lǐng)域的應(yīng)用更加成熟[7]。同時充分利用移動游戲技術(shù)的臨床應(yīng)用價值已經(jīng)受到越來越多的承認(rèn)，近年來，這些應(yīng)用程序帶來的設(shè)計者幾個顯著的挑戰(zhàn)。不同于商業(yè)游戲，在臨床設(shè)置上并不是“一個尺寸適合所有人”，并必須根據(jù)患者個人的醫(yī)療需求，活動范圍和動機水平來定制的。例如，手臂受損的客戶需要一種鼓勵其做適當(dāng)運動的游戲，而不是現(xiàn)在這種讓其身體很疲憊的治療方案。因此，手勢交互需要由臨床醫(yī)生來根據(jù)每個客戶來設(shè)

10、計，他們往往可能不具有專業(yè)的技術(shù)知識和編程技能。</p><p>　　為了方便全身控制與第三方應(yīng)用程序和游戲的整合，我們開發(fā)被稱為靈活動作和鉸接式骨架工具包（FAAST）中介軟件框架。即使該工具包不支持運動傳感器支持輸入，但是還是做到了手勢交互與現(xiàn)有接口的適應(yīng)性。為了實現(xiàn)直觀和透明手勢設(shè)計的目標(biāo)，我們定義一個語法表示使用對應(yīng)于一個動作的基本空間和時間分量的規(guī)則集的復(fù)雜手勢交互。這些“動作基元”表示為純英文的表達(dá)，

11、使它們的含義能立即被技術(shù)和非技術(shù)用戶辨別，其類似于可互換的零件，可重復(fù)使用，重復(fù)類似手勢交互的裝配生產(chǎn)線，通用描述兩種完全不同的終端用戶應(yīng)用程序。 FAAST提供了一個完整的端至端的框架，其包括用于定義手勢的創(chuàng)建，傳感器配置，骨骼跟蹤，動作識別，以及各種輸出機制來控制第三方應(yīng)用程序，例如3D用戶界面和視頻游戲的圖形用戶界面。 FAAST可以用于支持基于動作基礎(chǔ)的用戶界面的發(fā)展從無到有，或重新利用現(xiàn)有的應(yīng)用程序通過映射身體動作對應(yīng)于鍵盤和

12、鼠標(biāo)，這項工作是重要的一步，使手勢交互更加方便實現(xiàn)對于開發(fā)者，研究人員和愛好者。在本文中，我們提出了FAAST系統(tǒng)架構(gòu)（第3節(jié)），我們設(shè)計手勢交互（第4）的方式，支持的輸出方式來操縱任意用戶界面（第5），以及兩個案</p><p><b>　　2．先前工作</b></p><p><b>　　2.1.手勢識別</b></p><

13、;p>　　人體運動的計算分析通常需要解決三個重要的問題：探測，跟蹤和行為的理解[8]。在本文中，從OpenNI和微軟研究院軟件庫提供用戶檢測及骨骼跟蹤，所以隨后FAAST集中于識別由跟蹤用戶所執(zhí)行的操作，并產(chǎn)生一個適當(dāng)?shù)妮敵?。?cè)重于動作和手勢識別與計算機視覺和機器學(xué)習(xí)社區(qū)的數(shù)量是巨大的（見[9]，[10]評論）。而基于該統(tǒng)計建模的方法，如隱馬爾可夫模型[11]和縮合算法[12]，通常是高度復(fù)雜的，這樣的方法會經(jīng)常被非技術(shù)導(dǎo)向的用戶

14、視為“黑盒”算法。雖然這可以應(yīng)用于視頻游戲場景，在游戲里用戶希望用來識別幾個不同的手勢，它們不適合于用在臨床環(huán)境中，其中個別的運動的基于患者的要求的微調(diào)是必不可少的。例如，要對運動康復(fù)有益，臨床醫(yī)生必須精確地指定運動閾值的手勢激活，使被誘發(fā)的運動只是超出了舒適的運動范圍，但仍在患者的執(zhí)行能力之內(nèi)。因此，在該論文中描述的方法的目的是為非技術(shù)用戶在運行時對于不模糊的低級運動力學(xué)的調(diào)整。我們的方法也許是最概念上類似于基于時空有限狀態(tài)機[13]

15、手勢識別方法，我們用簡單的英語表達(dá)的簡單列表來描述他們的時空屬性。</p><p>　　2.2．人體的運動表示</p><p>　　利用動畫虛擬角色已經(jīng)導(dǎo)致了各種高水平的標(biāo)記語言用于同步手勢，面部表情設(shè)計行為的發(fā)展和口語對話。實例包括虛擬人標(biāo)記語言（VML）[14]，虛擬形象的身體標(biāo)記語言（SBML）[15]，以及眾多的其他語言（見[16]一覽表）。雖然這種語言是用于設(shè)計該口頭和非口頭通信

16、的字符是有用的，身體行為通常被表示為將通過逆運動學(xué)計算預(yù)先記錄的動畫文件或高級行為（例如指向的對象）。因為它們通常不包括規(guī)格為代表身體運動本身的力學(xué)，它們不適合于實時的用戶界面設(shè)計手勢輸入。</p><p>　　這也許是更多的信息來研究的人的運動表示從其他領(lǐng)域。Laban運動分析（LBA）是一個普遍的語言來描述人體運動，包括低級別的肌肉屬性和高層次的表現(xiàn)力的功能[17]。雖然最初源自于研究舞蹈，LMA已經(jīng)被應(yīng)用到

17、各種領(lǐng)域，如分析受中風(fēng)困擾的個體運動[18]。 LMA定義運動的四個組成部分既包括運動和非運動特點：身體，空間，精力和形狀。雖然這種方法提供了豐富的分析語言來描述人體運動，也非常復(fù)雜 - LMA的認(rèn)證程序通常需要很多時間的全面的研究既包括理論和框架的應(yīng)用程序。由于我們的目標(biāo)是提供一個運動表示服務(wù)于非技術(shù)用戶，它不需要低水平肌肉解剖，也不需要LMA的高級分析和復(fù)雜的概念。因此，我們的重點是確定一個相對簡單的純英文格式來表示運動的運動學(xué)方面

18、，而無需使用解剖術(shù)語。</p><p><b>　　2.3．軟件框架</b></p><p>　　FAST的最初版本發(fā)布于微軟Kinect發(fā)布后不久的2010年底，，并支持一組手勢交互，如延展手臂來激活按鍵[19]。之后，該工具包中鼠標(biāo)控制功能隨后被添加。用于產(chǎn)生虛擬輸入事件的想法是由GlovePIE提出的，映射的信號從各種硬件設(shè)備，諸如任天堂的Wiimote到鍵盤，

19、鼠標(biāo)和游戲桿命令[20]輸入到模擬器。另一個類似的解決方案是Kinemote，它允許使用浮動手和一個“手掌點擊和拖動”來對應(yīng)[21]的Windows應(yīng)用程序和游戲鼠標(biāo)控制。然而，據(jù)我們所知，F(xiàn)AAST是第一個定義了一個簡單但功能強大的動作語法，并以直觀的方式提供非技術(shù)為導(dǎo)向的用戶界面設(shè)計手勢識別方案的軟件工具包。</p><p><b>　　3．系統(tǒng)概述</b></p><

20、;p>　　FAAST被設(shè)計成在深度感應(yīng)攝像機骨架跟蹤庫和最終用戶應(yīng)用之間的中間件。目前支持的硬件設(shè)備，包括使用微軟Kinect的Windows SDK的Kinect傳感器，并使用來自PrimeSense的the NITE骨架跟蹤庫中的任何OpenNI兼容的傳感器。圖. 1說明該工具包的架構(gòu)。為了使該工具包功能更加優(yōu)越，F(xiàn)AAST與每個骨架跟蹤通信時動態(tài)的選擇，并在運行時加載單獨的模塊。每個模塊讀取來自其相應(yīng)跟蹤數(shù)據(jù)轉(zhuǎn)換成一個通用的

21、骨架數(shù)據(jù)的結(jié)構(gòu)。因此，F(xiàn)AAST可輕松擴展通過增加新的模塊，并且可以支持未來的設(shè)備和軟件庫。</p><p>　　圖1 FAAST架構(gòu)包含了深度感應(yīng)攝像頭和一個動作識別模塊，發(fā)送模擬鍵盤和鼠標(biāo)事件到活動窗口中的模擬器模塊和VPN服務(wù)器定位的每個骨骼關(guān)節(jié)的位置和方向的骨架數(shù)據(jù)模塊加入到網(wǎng)絡(luò)應(yīng)用。</p><p>　　一旦骨架已經(jīng)從傳感器讀取，F(xiàn)AAST然后在動作識別模塊處理此數(shù)據(jù)。根據(jù)正在執(zhí)

22、行的操作，其核心應(yīng)用程序然后調(diào)用發(fā)送模擬鍵盤和鼠標(biāo)事件到活動窗口的仿真器模塊。FAAST應(yīng)用包括圖形用戶界面（GUI），其允許用戶創(chuàng)建自定義手勢方案并結(jié)合這些動作對應(yīng)特定仿真器事件。例如，用戶可以選擇當(dāng)用戶傾斜到左邊到一定的度數(shù)來發(fā)送一個“左箭頭鍵按下”事件（參照圖2）。因此能夠指定任意數(shù)量的手勢，其中每個都包含手勢輸入條件和輸出的用戶界面的命令，激活時要生成用戶定義的列表。因此，F(xiàn)AAST允許用戶控制應(yīng)用程序和游戲肢體動作，盡管這些接

23、口只接受來自標(biāo)準(zhǔn)鍵盤和鼠標(biāo)的設(shè)置輸入。該方法用于表示手勢的輸入，并為任意用戶界面產(chǎn)生輸出。下面兩節(jié)中會進(jìn)行更詳細(xì)的描述。</p><p>　　圖2. FAAST手勢創(chuàng)建界面的屏幕截圖。當(dāng)用戶通過15度傾斜到左側(cè)指定的示例手勢激活。當(dāng)用戶執(zhí)行該操作，左箭頭鍵事件被發(fā)送到與當(dāng)前操作系統(tǒng)所運行應(yīng)用程序。當(dāng)用戶返回到原來的位置，相應(yīng)的鍵事件被發(fā)送</p><p>　　除了模擬鍵盤和鼠標(biāo)事件，F(xiàn)AA

24、ST還使用虛擬現(xiàn)實外設(shè)網(wǎng)絡(luò)（VRPN）服務(wù)器來定位每個骨架關(guān)節(jié)，這是已經(jīng)成為用于促進(jìn)虛擬現(xiàn)實應(yīng)用和身體之間通信的流行的標(biāo)準(zhǔn)的網(wǎng)絡(luò)接口的位置和方向跟蹤設(shè)備[22]。這允許開發(fā)人員使用相同的標(biāo)準(zhǔn)協(xié)議來讀骨架數(shù)據(jù)到他們的設(shè)備里。 FAAST為了實現(xiàn)該目標(biāo)使用了兩個虛擬世界的開發(fā)環(huán)境，3DVIA工作室[23]及從WorldViz[24]所述的Vizard虛擬現(xiàn)實工具包。</p><p>　　所述FAAST GUI是由可以

25、一起或單獨移動的三個窗口構(gòu)成：用于配置工具包，用于顯示傳感器數(shù)據(jù)和控制臺的信息，用于顯示信息給用戶（參??見圖2）。主窗口被分成四個選項卡用于配置傳感器的硬件，VRPN服務(wù)器，顯示首選項和手勢的互動。最初，手勢GUI開始作為一個簡單的文本窗口，用戶可以設(shè)置一個輸入動作和相應(yīng)的輸出命令。然而，用戶反應(yīng)這個接口的效用是有限的，因為它目前還不清楚如何能直觀地結(jié)合在一個單一的手勢多輸入動作和輸出命令。此外，太多骨骼關(guān)節(jié)名稱和輸出命令對用戶來說是

26、一個很大的負(fù)擔(dān)。通過迭代測試，我們開發(fā)了針對使用手勢設(shè)計了一個更直觀的用戶界面。手勢有一個輸入列表和一個輸出列表，每個列表可以包含任意數(shù)量的項目。項目為純英文的表達(dá)，從而很容易被非技術(shù)用戶理解，并通過下拉菜單進(jìn)行編輯和構(gòu)建（見圖3）。每個項目也可以禁用/啟用，復(fù)制，并通過點擊和拖動重新定位在列表中。同時也容易被新手用戶理解，它當(dāng)前不包含 “視覺預(yù)覽”，這是以后需要改進(jìn)的一個地方。</p><p>　　圖3. 規(guī)則

27、是使用形成簡單的英語表達(dá)下拉框定義。這些基本操作是設(shè)計更復(fù)雜的手勢的基礎(chǔ)。</p><p><b>　　4．手勢交互的設(shè)計</b></p><p>　　在本節(jié)中，我們描述了構(gòu)成手勢交互的各個組成部分，其次是使用這種核心機制設(shè)計更為復(fù)雜的手勢。</p><p>　　4.1．分解復(fù)雜的手勢</p><p>　　為了為用戶設(shè)計

28、特定手勢交互動作，我們考慮將復(fù)雜的肢體動作分解成簡單的動作。這些簡單的動作可以看成“積木”，可以在FAAST組合從而構(gòu)成復(fù)雜的手勢。為了讓這些手勢更加直觀，他們下拉選擇項，產(chǎn)生類似于他們?nèi)粘Ｉ钪械目谡Z的英語表達(dá)（見圖3）。例如，為了設(shè)計，當(dāng)用戶延伸左手激活一個動作，用戶將選擇的參數(shù)來形成一種表達(dá)，如：“左手在軀干至少16英寸處”對于每個指定的動作，用戶還必須指定的比較（或者“至少”或“至多”）該數(shù)字閾值的激活和測量的單位。</p

29、><p><b>　　4.1.1位置約束</b></p><p>　　位置約束是指任意兩個骨骼關(guān)節(jié)之間的相對空間關(guān)系,描述如下:</p><p>　　4.1.2 角度約束</p><p>　　這個也是需要考慮的一個因素，當(dāng)用戶彎曲或拉直其四肢，通過計算連結(jié)四肢關(guān)節(jié)位置之間的角度以及相交的兩個矢量來確定。角度約束被描述如下：&

30、lt;/p><p>　　4.1.3．速度限制</p><p>　　速度限制是指特定部位的速度移動,描述如下:</p><p>　　4.1.4．身體約束</p><p>　　除了上面列出的限制，還需要考慮身體相對于攝像機的整體動作而不是局部動作。我們定義如下兩個身體動作，傾斜和轉(zhuǎn)動，描繪如下：</p><p>　　此外，我們

31、還定義一個跳躍動作。測量跳躍的高度并不是顯而易見的，然而，因為每個骨架關(guān)節(jié)的高度值是相對于傳感器而不是地板。因此，為了檢測跳躍，我們利用這些行動發(fā)生的瞬間，并考慮地板高度值（實驗確定為0.75 S）的高度。跳躍動作激活時雙腳超過地板高度值由指定的距離閾值。我們發(fā)現(xiàn)，當(dāng)使用者站立在一個地方，隨著深度的傳感器交互，由于視場限制的，跳檢測是相當(dāng)可靠的。跳躍操作被描述如下： </p><p>　　4.1.5．時間的限制&

32、lt;/p><p>　　最后一種約束，我們考慮的是，構(gòu)成手勢時的個人行動之間的時間延遲。在非正式的測試中，我們確定，它能夠根據(jù)任一的先前行為來定義動作定時啟動時間或停止時間，這取決于具體的手勢。因此，時間的限制被描繪為</p><p>　　4.2．設(shè)計復(fù)雜的手勢</p><p>　　在上一節(jié)中所描述原始動作是很簡單的，其結(jié)果是相互作用的可能性是有限的。然而，通過組合這些

33、“原始動作”，復(fù)雜的手勢交互是可以表示的。因此，我們開發(fā)了使用先前描述的原始動作來組合復(fù)雜的手勢的方法。手勢能同事的進(jìn)行組合，順序的隨時間組合或者兩者的任意組合。</p><p>　　4.2.1．同時操作</p><p>　　任何輸入的動作都被視為同時發(fā)生的事件。當(dāng)所有的輸入條件為同時為真的時候，手勢才會被激活。例如，要求用戶在身體的前方移動用雙做一個快速的“推”的動作，人們可以設(shè)計以下手

34、勢：</p><p>　　4.2.2．順序動作</p><p>　　通過同時結(jié)合位置，角度，速度和身體的限制，用戶可以在一個時間里微調(diào)身體姿勢和運動。然而，許多手勢要求按順序執(zhí)行多個動作。我們使用時間約束條件來分隔多個動作。當(dāng)遇到時間約束條件時，動作識別器將等待，直到最小時間已經(jīng)過去（其可以是零），然后開始檢查序列中的下一個動作來激活。如果該動作沒有在最大時間之前激活，則手勢和動作會重新開

35、始檢測識別。例如，以下序列代表一個“波”的手勢，當(dāng)用戶的右手相對于肘迅速的來回，則該手勢被激活：</p><p>　　4.2.3結(jié)合同步和順序動作</p><p>　　結(jié)合同步和順序動作可以設(shè)計復(fù)雜的手勢并且FAAST可以實時識別。在用戶構(gòu)建的手勢數(shù)量和復(fù)雜性上并沒有特定的結(jié)合，所以最終他們被自己的創(chuàng)造力所限制。此外，由于手勢是由單獨的動作結(jié)合而成的，調(diào)整動作參數(shù)的過程容易辨別。下面的例子

36、拍打手臂并且身體向前傾等一系列連續(xù)動作，這個手勢動作可用于飛行游戲中：</p><p>　　5．操縱任意用戶界面</p><p>　　設(shè)計標(biāo)準(zhǔn)手勢輸入后，有必要定義一個輸出來對應(yīng)用戶的手勢輸入。類似于手勢輸入的表示方法，F(xiàn)AAST提供了一組強大的輸出事件，可以同步和順序的結(jié)合。這種方法允許用戶設(shè)計復(fù)雜的宏來操縱的任意用戶界面，不管是簡單的動作還是復(fù)雜動作。所有生成的輸出被直接發(fā)送到應(yīng)用程序

37、中。</p><p><b>　　5.1．輸出事件</b></p><p>　　為了設(shè)計用于操作任意接口的機制。FAAST支持一系列的輸出事件類型來對應(yīng)輸入方法，類似于第4節(jié)所使用的方法，輸出是從下拉框中選擇，然后形成簡單的英語表達(dá)（圖4），可能的輸出事件包括：</p><p>　　?鍵盤事件：這些事件是指單數(shù)按鍵，它可被指定為“按”或“保持”

38、（按下鍵緊跟上按鍵）一個固定的時間量或直到停止該手勢。</p><p>　　?輸入事件: 這些時間的完整文本生成一系列的按鍵，讓句子和短語輸入到一個接口。</p><p>　　?鼠標(biāo)按鈕事件: 這些事件是指鼠標(biāo)按鈕（左，右，或中間）單獨動作，類似于“按”和“保持”鍵盤事件規(guī)則。</p><p>　　?鼠標(biāo)滾輪事件: 這些事件是指鼠標(biāo)滾輪（向上或向下）點擊指定數(shù)量的運

39、動。</p><p>　　?鼠標(biāo)移動事件：這些事件是指鼠標(biāo)光標(biāo)的移動，在任一絕對坐標(biāo)（在桌面上的特定位置），或相對坐標(biāo)（相對于光標(biāo)的當(dāng)前位置）。</p><p>　　?VRPN按鈕事件: FAAST也可以使用VRPN作為骨架數(shù)據(jù)發(fā)送按鈕信號到網(wǎng)絡(luò)上的服務(wù)器。共有255按鈕被支持，由一個索引號指定。這些事件遵循同樣的“按”和“保持”規(guī)則鍵盤事件。</p><p>　　

40、?FAAST事件: 這些事件是FAAST特殊系統(tǒng)命令，這是為了方便遠(yuǎn)程操作應(yīng)用程序。命令包括“停止仿真器”，“啟動模擬器”和“恢復(fù)模擬器”。</p><p>　　?時間事件: 這些事件指可在輸出事件之間插入一個時間延遲。。</p><p>　　圖4類似于我們手勢表示方案，輸出由簡單的英語表達(dá)下拉框選擇，它可同時并依次進(jìn)行組合而形成復(fù)雜的宏。</p><p><

41、b>　　5.2．輸出宏</b></p><p>　　用戶可以創(chuàng)建任意數(shù)量的輸出事件作為單一手勢。當(dāng)所述手勢被激活時，輸出事件將在列表的開頭被執(zhí)行。如果時間事件出現(xiàn)，那么FAST將等待指定的時間量，然后再繼續(xù)。未通過時間延遲分隔的事件將被立即執(zhí)行。這種體系結(jié)構(gòu)可以創(chuàng)建復(fù)雜的宏，可以實現(xiàn)各種各樣的通常用鍵盤和鼠標(biāo)完成的任務(wù)。例如，手勢的應(yīng)用程序啟動可以通過使用下列代碼來實現(xiàn)：</p>

42、<p>　　默認(rèn)情況下，當(dāng)手勢激活時輸出事件只執(zhí)行一次。但是也有用戶停止手勢仍然有輸出事件。因此，用戶給出循環(huán)的輸出事件和指定的超時值，其可以是零（在該點時，手勢是激活的而且沒幀輸出事件都執(zhí)行）。例如，圖5所示四個互補手勢被執(zhí)行時反復(fù)允許用戶通過移動右手靠近肩部來逐漸的控制鼠標(biāo)光標(biāo)的移動。</p><p>　　圖5重復(fù)地執(zhí)行輸出事件，用戶可以隨時間連續(xù)的控制用戶界面。在本例子中，用右手靠近肩部將會使鼠標(biāo)

43、光標(biāo)逐漸的向一個或多個方向移動。</p><p><b>　　6.案例研究 </b></p><p>　　以一個簡單的工具箱開始，F(xiàn)AAST逐漸產(chǎn)生了一些基于各種內(nèi)容的實驗，同時還有來自廣大社區(qū)的反饋。在這一部分，我們詳述了我們的觀察，結(jié)論，和一些使用FAAST的限制，從而在兩個特定的領(lǐng)域調(diào)整了用戶界面以適用相關(guān)的手勢交互：（1）第一人稱的錄像游戲的控制；（2）為了

44、具有運動損傷的個體提供了用戶界面可獲得性進(jìn)行了該進(jìn)。</p><p>　　6.1 第一人的錄像游戲的控制</p><p>　　為了評估使用第一人稱的FAAST控制的有效性，我們嘗試設(shè)計了角色扮演游戲Elder Scroll V:Skyrim 的手勢交互界面，這款游戲由Bethesda 軟件公司開發(fā)的。該游戲在剛發(fā)布的一兩天就賣出了3400萬的銷量，所以Skyrim是一項合理的測試案例，因為

45、他有著普遍的第一人的游戲控制體系，同時涉及廣泛的視覺層面的交流。</p><p><b>　　6.1.1 運動</b></p><p>　　運動是當(dāng)3D用戶交互中最常見的和最基本的任務(wù)[25]。為了模仿這個游戲中的運動，我們使用FAAST模擬了一個walking-in-place的組合，這種組合對用戶相比操作桿是一種正反饋的存在感覺[26]。通過所謂的實驗和錯誤的實驗

46、，我們決定采用了兩個獨立的手勢，“左腳步”和“右腳步”,他們可以認(rèn)為是產(chǎn)生了walking-in-place的運動，他們都是被在游戲的向前鍵的過程中編碼成‘W’鍵。每個手勢的定義，如下所示：</p><p>　　雖然，這個運動的比喻是具有合理性的有效，但是我們確實注意到在用戶停止腳步是檢測到了輕微的延時。通常來講，在用戶停止的響應(yīng)檢測和提供步態(tài)之間的持續(xù)的運動之間存在著代價替換的關(guān)系。但是，在用戶停止之后的相機的

47、運行時間的亮是相當(dāng)少的（基本少于1s）。同時出現(xiàn)在可以接受的范圍內(nèi)。</p><p>　　但是，好的相機控制具有更加嚴(yán)格的對運動的體感游戲的限制。左右轉(zhuǎn)向是格斗游戲中的主要因素和目標(biāo)。我們身體的第一選擇傾向?qū)τ谟行У挠螒蛟O(shè)置來說是太初略了。目前，我們相信手勢輸入不僅適用于好的相機控制，這出現(xiàn)在第一人稱的游戲是因為精度的追求，同時這個問題仍然是我們未來的工作。因此我們建議增加這些游戲類型的具有轉(zhuǎn)向和瞄準(zhǔn)的另一種的手

48、勢控制組合，例如手持型的控制器或者是拓展的方向追蹤器。</p><p><b>　　6.1.2操作</b></p><p>　　雖然手勢交流對于運動是一種挑戰(zhàn)，但是它特別適合第一人稱錄像游戲中的許多操作任務(wù)。在Skyrim游戲中，格斗通過鍵盤或者是鼠標(biāo)的命令獲得，涉及到外星人的左右手或者是同時使用。每個手的特定功能取決于當(dāng)前活動的設(shè)備,可能是武器的類型，項目、或者是符

49、咒。在以實施符咒的案例中，相同的符咒將產(chǎn)生一種，或者時候許多強有力的版本。它證明了相應(yīng)簡單的每只收的快速向前的運動（使用位置和速度的限制）以一種直觀的方式控制這些行為。</p><p>　　切換當(dāng)前裝備的武器或者是符咒的行為特別適用手勢的輸入，在這里我們的方法證明是很大的有效性的。裝備一把劍可以通過把手放下刀腕部獲得，然后快速抽查手向頭部的上面。</p><p>　　更有趣的是，我們發(fā)現(xiàn)在

50、空中畫標(biāo)志和其他復(fù)雜的通過使用連續(xù)的位置限制的手部運動都是一種符咒投擲的方法。但是這些強有力的手勢需要相當(dāng)量的trial-and-error來調(diào)整自私的方向閾值，直到他們進(jìn)行無縫的工作。除此之外，因為身體類型之間存在著差異，對于特定的用戶的參數(shù)設(shè)置或許不一定完全適合其他人。這向我們指出了在未來的需要是為自動計算基于用戶運動的方向閾值，或者是根據(jù)用戶的體型和臂長來選擇特定的閾值百分比。</p><p>　　除此之外

51、，這在錄像游戲中也是很常見的，特別是在角色扮演的題材中，需要大量的交互的內(nèi)容。例如，我們發(fā)現(xiàn)在進(jìn)行實驗游戲的時候偶爾會出現(xiàn)，一個虛擬人物會和外星人進(jìn)行原始的對話。沒有經(jīng)過手勢檢測對話的選項的方法，用戶不得不通過鼠標(biāo)或者鍵盤來手動的實現(xiàn)這些操作。在未來的工作中，提供大量的交互內(nèi)容將會成為有益的，每個人都有自己的一系列的交互內(nèi)容，用戶可以基于及時的游戲任務(wù)驚醒手勢的轉(zhuǎn)換。除此之外，從第三方的應(yīng)用自動提取交互的內(nèi)容也是有可能的，但這相對于當(dāng)前

52、的工作來說是有遠(yuǎn)見的，但不是重要的。</p><p>　　6.2具有運動損傷的用戶的可獲得性</p><p>　　那些具有大腦麻痹的運動損傷的小孩和那些具有腦部損傷的成年人在進(jìn)行電腦交互存在著困難，這些接口是給那些具有良好的運動控制和反映時間的人設(shè)計的。為了增加娛樂內(nèi)容的交互對于這些小孩和成年人的可接受性，一支身體治療師和心理學(xué)家使用了FAAST的實驗用來提供簡單的桌面和網(wǎng)頁的控制機制，這

53、些是基于PC游戲的，從而這些小孩和大人能夠進(jìn)行操作。這種應(yīng)用強調(diào)了FAAST的獨特的優(yōu)勢，它提供了一種領(lǐng)域的專家（非編程的）來設(shè)計手勢交互可以根據(jù)個體病人的需要進(jìn)行定制的。這是基于廣泛的娥個體可行性的。在這些測試的空間中，研究人員和臨床醫(yī)師提供了基于病人的每輪的評估的反饋，同時我們反復(fù)地提高了基于這些實驗和將一定用戶的接口。在這一部分，我們總結(jié)了這些反饋和問題的主要的部分，這些都是他們所遇到的，同時我們調(diào)整我們的工具箱來表達(dá)這些需要。&

54、lt;/p><p>　　初始的技術(shù)設(shè)計的部分是在實驗的設(shè)備中完成的，根據(jù)在臨床的設(shè)置的部分，遵循著用戶測試部分（在洛杉磯的兩個臨床的）。每個測試的部分遵循著相同的協(xié)議。根據(jù)告知的意見，參與者和患者被提供的一些關(guān)于FAAST系統(tǒng)是如何運行的，和提供將要進(jìn)行的游戲的信息。參與者和臨床醫(yī)生都參與到游戲之內(nèi)的繪制手勢的過程?；谒麄兊闹R和他們的舒適程度和他們不同的手勢。測試會從30分鐘不等在長度2.5小時，這取決于所述的時

55、間限制醫(yī)生/參與者，時間設(shè)計量取手勢，技術(shù)難度和游戲數(shù)量嘗試。會議期間，與會代表和醫(yī)生被要求提供意見和反饋系統(tǒng)和他們的經(jīng)驗。以下的測試會話完成時，兩個參與者和臨床醫(yī)生也被要求提供反饋會話和改進(jìn)建議的系統(tǒng)。該研究人員還指出，技術(shù)上的困難和潛在的變化是基于他們的經(jīng)驗的系統(tǒng)。反饋是分析和修訂建議進(jìn)行優(yōu)先排序和一些接下來的測試環(huán)節(jié)之前實施的。其它修改加到未來變化的列表。一共有六個參與者和四個醫(yī)生在多個測試參加會議。</p><

56、;p>　　定制當(dāng)應(yīng)用程序最初是很難用因為不存在一個交互個別患者簡單的方法用于評估具有病人測試單個運動/姿勢，然后執(zhí)行多個手勢一起而不必設(shè)置不同的文件。這增加了的時候努力和失望，并進(jìn)入測試手勢有關(guān)。在此基礎(chǔ)上的反饋，我們增加的能力，使并禁止在飛行姿態(tài)。而一個簡單的修改，這功能節(jié)省時間大量的評估，并造成較少挫折感為評估器和患者。</p><p>　　評估人員能夠設(shè)計手勢來激活各種跨越不同而變化的鍵盤和鼠標(biāo)命令游

57、戲，例如，有些游戲需要一個按鈕保持，其他需要一個快速的按下一個按鈕和釋放或多個按鈕印刷機臨門。對于后者的情況，也難以為患者快速連續(xù)重復(fù)的姿態(tài)多次。這一初步反饋提供動機添加循環(huán)行為不斷產(chǎn)生輸出事件。然而，仍然有一個問題，當(dāng)一個第三方軟件或游戲有多個規(guī)則一個按鈕 - 例如，“跳”可能從“W”鍵只需按下一個按鈕，但是“高跳”的結(jié)果或'飛'，可能會導(dǎo)致只有當(dāng)'W'鍵被按下多個次臨門。這意味著相同的鍵必須是通過不同

58、的手勢控制來執(zhí)行這些操作。而在當(dāng)前的設(shè)置不是不可克服的，這也提供復(fù)雜的附加層，我們未來計劃在解決這一問題。</p><p>　　用手勢來控制第三方的一個主要困難應(yīng)用程序和網(wǎng)絡(luò)瀏覽器的網(wǎng)頁游戲是應(yīng)用程序不僅需要擊鍵玩游戲，但常常需要通過菜單設(shè)置復(fù)雜導(dǎo)航游戲，在游戲過程中，以增加的功能，層次最高，等等。目前，F(xiàn)AAST無法直觀地支持導(dǎo)航通過這些菜單用許多不同的選擇，因此評估員必須介入使用鍵和鼠標(biāo)。而評估表明，控制鼠標(biāo)

59、光標(biāo)的能力與FAST是一個良好的開端朝著解決這一互動挑戰(zhàn)，但與復(fù)雜的菜單有很多選擇這種變得繁瑣，也不可能對大多數(shù)電機受損病人。在將來，有可能檢測到何時文本菜單是通過計算機視覺技術(shù)在屏幕上顯示在屏幕上，然后自動瞄準(zhǔn)特定區(qū)域使通過手勢輸入菜單選擇更加直觀。</p><p>　　使通過手勢輸入菜單選擇更加直觀。當(dāng)在Web瀏覽器播放時，使用鼠標(biāo)控制功能，播放器不局限于有源（游戲）窗口；因此，很難對某些患者留內(nèi)游戲區(qū)域，造

60、成挫折，并提供一個限制，并且少配合游戲體驗。評估人員建議即，能夠限制鼠標(biāo)或內(nèi)限制鼠標(biāo)由用戶識別的區(qū)域（例如，由圖中的盒該鼠標(biāo)可以移動）會是在這種情況下有幫助。該功能目前正在為未來的版本中實現(xiàn)該工具包。</p><p>　　最后，評估還建議，F(xiàn)AST未來版本可以用一組預(yù)編程默認(rèn)的可擴充手勢可被調(diào)整和修改對個人用戶和應(yīng)用程序。當(dāng)我們收集速度有多快的更多信息通過使用現(xiàn)實世界的從業(yè)者，我們計劃來分析這些數(shù)據(jù)，識別可以提供

61、有用的常見的手勢自動。</p><p>　　總的來說，病人的FAAST的使用使得研究人員和臨床醫(yī)生可以通過網(wǎng)頁瀏覽和游戲，以及其他第三方的應(yīng)用來檢測病人的限制和反常的表現(xiàn)。任務(wù)鎖定性的評估已經(jīng)給我們提供了很重要的反饋，但是還未在這些特定的組內(nèi)進(jìn)行相關(guān)的測試的，使得我們能夠提高FAAST的可行性。盡管在未來的工作中還存在著許多的改進(jìn)需要作出得以增加運動損傷的用戶的使用，F(xiàn)AAST仍然可以提供一系列的可行性來提供病人

62、和第三方應(yīng)用的游戲的交互，但這在過去簡直是一個挑戰(zhàn)。</p><p><b>　　7．結(jié)論</b></p><p>　　在本文中，我們描述了一個核心機制用于手勢互動的設(shè)計，提供了一個綜合的工具包，用于基于身體控制的用戶界面的調(diào)整。通過提供手勢設(shè)計工具，對于非技術(shù)用戶也是簡單明了的，以此同時提高了利用第三方應(yīng)用的能力，F(xiàn)AAST不僅僅在娛樂方面是非常有用的，同時對于研究

63、人員和臨床醫(yī)生在康復(fù)領(lǐng)域也是非常有用的。雖然FAAST旨在利用OpenNI兼容的深度傳感器，如微軟Kinect，我們希望能夠支持其他類型的全身跟蹤硬件來獲得更復(fù)雜和強大的骨架數(shù)據(jù)，手和手指的跟蹤數(shù)據(jù)，但是，定義規(guī)則集的過程可能變得更加復(fù)雜。因此，在未來，我們打算開發(fā)圖形用戶界面來自動生成規(guī)矩集通過錄制的手勢或者人體運動的視覺效果。探索結(jié)合微調(diào)功能和手勢識別的混合方法。</p><p>　　該工具包可提供免費下載并