自然人機(jī)交互相關(guān)技術(shù)研究與系統(tǒng)實(shí)現(xiàn).pdf

1、自然人機(jī)交互技術(shù)是人機(jī)交互技術(shù)的一個(gè)重要研究方向,主要研究人和計(jì)算機(jī)之間如何用自然的方式進(jìn)行交互。其按交互方式分類主要可以分為語音交互,體態(tài)語言交互,其他姿態(tài)語言交互等。對(duì)比傳統(tǒng)的人機(jī)交互方式如鼠標(biāo),按鈕等,自然人機(jī)交互所具有的自然交互方式,無疑更被人們所關(guān)注。目前,自然交互方式的研究已經(jīng)有了一定的發(fā)展,但是應(yīng)用中的系統(tǒng)還非常缺乏。因此,如何更好更有效地將自然人機(jī)交互技術(shù)應(yīng)用到具體領(lǐng)域是目前的熱點(diǎn)問題之一。本文通過對(duì)自然人機(jī)交互系統(tǒng)中的

2、語音識(shí)別技術(shù),圖案跟蹤識(shí)別技術(shù)和體態(tài)識(shí)別技術(shù)的研究,設(shè)計(jì)并建立實(shí)現(xiàn)了一套用于課堂教學(xué)領(lǐng)域的自然人機(jī)交互系統(tǒng)。分析了微軟公司的語音識(shí)別引擎,并充分利用其來實(shí)現(xiàn)語音交互;設(shè)計(jì)并實(shí)現(xiàn)了圖案跟蹤和實(shí)時(shí)識(shí)別算法,使得信號(hào)的實(shí)時(shí)交互能力更加高效;改進(jìn)并實(shí)現(xiàn)了基于直方圖的體態(tài)識(shí)別算法,使得體態(tài)識(shí)別的準(zhǔn)確性更好,實(shí)時(shí)性更高;同時(shí)利用上述技術(shù)設(shè)計(jì)實(shí)現(xiàn)了一套基于自然人機(jī)交互的課件編輯和播放的教學(xué)輔助系統(tǒng)。論文主要研究內(nèi)容包括:(1)設(shè)計(jì)實(shí)現(xiàn)了基于自然人機(jī)交

3、互的教學(xué)輔助系統(tǒng)。采用COM組件對(duì)象模型實(shí)現(xiàn)了底層交互引擎和上層用于課件編輯和播放的用戶界面主程序相分離,有效降低了系統(tǒng)耦合度。(2)研究激光筆交互技術(shù)。提出了基于視頻的圖案跟蹤與識(shí)別算法,實(shí)現(xiàn)系統(tǒng)支持用戶用有圖案的激光筆進(jìn)行交互;(3)研究體態(tài)語言交互技術(shù)。改進(jìn)了基于直方圖分布的體態(tài)識(shí)別算法。實(shí)現(xiàn)系統(tǒng)對(duì)用戶所做的簡單姿態(tài)進(jìn)行識(shí)別,從而判斷用戶的行為;(4)研究語音交互技術(shù)。通過微軟公司的Microsoft Speech SDK實(shí)現(xiàn)系統(tǒng)