基于多模態(tài)交互的授課系統(tǒng)研究與設(shè)計.pdf

1、接受良好的教育可以使我們懂得自己應(yīng)該肩負的社會責(zé)任和家庭責(zé)任，讓國民的整體素質(zhì)不斷提高。因此，提高教學(xué)水平對公民的影響深遠。除了提高教師素質(zhì)，完善教學(xué)方式也是提高教學(xué)水平的一種有效方法，一種新穎的授課方式，不僅可以提高教師授課的積極性，同時還可以提高學(xué)生的主觀能動性，提升授課的效率，使得整體的教學(xué)效果得到很大的改善。隨著計算機和各種交互設(shè)備的普及和深入，智能化、人性化的自然人機交互方式更容易人們接受。多模態(tài)的人機交互方式結(jié)合了多種模式的

2、信息交互，使各模式發(fā)揮自己的優(yōu)勢，綜合利用人的多種行為方式來完成信息的采集，從而準(zhǔn)確無誤的表達用戶的意圖，更好的完成人與計算機的交互過程。多模態(tài)交互理論應(yīng)用在教學(xué)方面，把新穎的授課方式帶入傳統(tǒng)課堂，使學(xué)生學(xué)習(xí)知識的趣味性和主觀能動性不斷提高。
　　本系統(tǒng)主要研究并設(shè)計了一種基于多模態(tài)交互的授課系統(tǒng)，利用手勢交互、語音交互、手寫交互等多通道交互模式，以一種全新的授課方式來完成授課的全過程。系統(tǒng)使用Kinect體感檢測器采集人體的骨骼

3、節(jié)點數(shù)據(jù)和語音數(shù)據(jù)，將人體的動作姿勢、手勢、語音與鼠標(biāo)相結(jié)合作為系統(tǒng)的輸入方式。通過Kinect獲得的骨骼結(jié)點數(shù)據(jù)主要應(yīng)用在對界面各元素操作的手勢識別和對手寫板繪制流程圖兩個方面。手勢識別過程通過動態(tài)手勢識別方法完成，該識別方法主要利用骨骼節(jié)點相對位置與設(shè)定閾值范圍來進行判斷，包括單手、雙手多種手勢的識別。當(dāng)識別的手勢與系統(tǒng)預(yù)定義手勢匹配時，系統(tǒng)就會完成相應(yīng)的操作。手寫板主要是利用右手骨骼節(jié)點模擬畫筆來完成繪制的軌跡，在繪制過程中需要結(jié)