融合手勢(shì)與語(yǔ)音的多通道標(biāo)繪交互技術(shù)研究.pdf

1、隨著多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，人機(jī)環(huán)境中信息的輸出形式更加豐富，同時(shí)也使用戶(hù)所要面對(duì)的交互對(duì)象和交互內(nèi)容變得更加復(fù)雜，傳統(tǒng)的交互方式無(wú)法達(dá)到和諧、自然與人性化的交互要求。在軍事應(yīng)用領(lǐng)域，計(jì)算機(jī)輔助標(biāo)繪是是一個(gè)典型需求，亟需研究其他交互方式來(lái)提高標(biāo)繪交互自然性。
　　本文融合手勢(shì)與語(yǔ)音識(shí)別技術(shù)，對(duì)書(shū)空手勢(shì)指令進(jìn)行定義和識(shí)別，構(gòu)建語(yǔ)音交互任務(wù)詞匯的狀態(tài)轉(zhuǎn)移矩陣，采用任務(wù)制導(dǎo)的方式整合不同通道的交互信息，提出了基于任務(wù)槽結(jié)構(gòu)的多通

2、道整合模型，對(duì)交互任務(wù)和操作進(jìn)行分析和設(shè)計(jì)，最后對(duì)交互任務(wù)進(jìn)行綜合實(shí)驗(yàn)。本文的主要工作和創(chuàng)新點(diǎn)有：
　　一、提出了一種基于方向鏈碼的書(shū)空手勢(shì)識(shí)別算法，實(shí)現(xiàn)空間手勢(shì)識(shí)別。采用LeapMotion進(jìn)行自定義的手勢(shì)識(shí)別和匹配，通過(guò)自定義手勢(shì)指令，對(duì)其自身有限的手勢(shì)識(shí)別指令進(jìn)行擴(kuò)充。為了消除手勢(shì)輸入過(guò)程中的不穩(wěn)定性而導(dǎo)致的噪聲干擾，對(duì)手勢(shì)軌跡進(jìn)行分段處理，由分段的比重確定主要移動(dòng)方向描述輸入手勢(shì)，根據(jù)手勢(shì)的相同分段對(duì)輸入手勢(shì)與模板手勢(shì)通過(guò)

3、順序匹配算法進(jìn)行匹配。
　　二、在語(yǔ)音命令識(shí)別的基礎(chǔ)上，提出了基于命令轉(zhuǎn)移概率的語(yǔ)音任務(wù)組織方法，輔助語(yǔ)音命令識(shí)別和組織。根據(jù)語(yǔ)法規(guī)則和語(yǔ)義對(duì)交互任務(wù)語(yǔ)音詞匯進(jìn)行分類(lèi)，剔除語(yǔ)音交互任務(wù)中任務(wù)動(dòng)作的生僻詞。通過(guò)場(chǎng)景語(yǔ)義上下文分析，確定當(dāng)前場(chǎng)景中的交互對(duì)象及交互任務(wù)，采用馬爾可夫狀態(tài)轉(zhuǎn)移概率矩陣分析詞匯間的連接關(guān)系，排除異常輸入的關(guān)鍵詞，使系統(tǒng)能正確地理解用戶(hù)的語(yǔ)音交互意圖。
　　三、提出了基于對(duì)象屬性的多通道任務(wù)槽結(jié)構(gòu)整合模型