基于智能信息處理的多模態(tài)集成方法研究.pdf

1、人機(jī)交互界面的研究旨在為用戶提供一種高效的人機(jī)通信方式，近年來隨著計(jì)算機(jī)軟、硬件的發(fā)展以及因特網(wǎng)的異軍突起，傳統(tǒng)的圖形用戶界面面臨著新的挑戰(zhàn)，而多模態(tài)人機(jī)交互界面就隨之產(chǎn)生了。多模態(tài)用戶界面允許用戶使用多個(gè)交互通道以并行、非精確的方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，從而提高人機(jī)交互的自然性和高效性。作為人機(jī)交互的一種新范式，多模態(tài)人機(jī)交互界面與傳統(tǒng)的圖形用戶界面相比，能將互補(bǔ)的模態(tài)進(jìn)行集成來獲取增強(qiáng)的信息，模態(tài)之間可以相互補(bǔ)充，克服彼此的缺陷，或

2、者是針對不同的應(yīng)用采取不同的交互方式，可以大大提高系統(tǒng)的魯棒性和靈活性。 多模態(tài)人機(jī)交互界面旨在充分利用一個(gè)以上的感覺和動作通道來捕捉用戶的意向，提高人機(jī)交互的自然性和高效性，其核心問題就是模態(tài)集成的問題，通過將多種輸入模態(tài)，如語音、手勢、筆劃、…集成到一起，具有更強(qiáng)大的表達(dá)能力、自然性、靈活性和便攜性，使人機(jī)交互方式向人與人交互方式靠攏。 論文主要闡述了多模態(tài)用戶界面研究中所涉及到的關(guān)鍵性問題—多種模態(tài)的集成問題，介紹