基于視覺信息的語音識別技術(shù)研究.pdf

1、在人機(jī)交互領(lǐng)域中，傳統(tǒng)的單語音識別技術(shù)在相對安靜的環(huán)境下能夠?qū)B續(xù)的單詞及詞組達(dá)到較高的識別率。然而，將其應(yīng)用到有背景噪聲或多人交互的真實(shí)環(huán)境時，其識別能力受到了極大的限制。現(xiàn)實(shí)語音交流中，說話人的視覺信息可以明顯提升接受者的感知能力。因此，本文主要研究了計算機(jī)視覺技術(shù)在自動語音識別中的應(yīng)用。 本文首先介紹了基于視覺的視聽語音識別(AVSR)系統(tǒng)的整體框架，并對傳統(tǒng)的單視覺、單音頻的特征提取和識別方法進(jìn)行了分析比較。認(rèn)為人臉嘴部

2、視覺特征的檢測提取與視、音特征融合是提高系統(tǒng)整體語音識別能力的關(guān)鍵，亦是本文主要的研究工作。 為了滿足視覺特征的實(shí)時檢測，我們首先引入了旋轉(zhuǎn)哈爾特征在積分圖像中的應(yīng)用，在基于Adaboost推進(jìn)學(xué)習(xí)算法上通過使用單值分類作為基礎(chǔ)特征分類器，以級聯(lián)的方式合并強(qiáng)分類器，劃分檢測區(qū)域并用于嘴部定位，最后通過卡爾曼濾波跟蹤、主成分分析、線性判別、音節(jié)分析，拋棄了大量對后期特征融合識別無用的特征量，快速有效的提取了人臉嘴部特征。音頻語音特