視聽融合算法的研究及應(yīng)用.pdf

1、隨著信息化社會的不斷發(fā)展，一種更友好、更自然、更智能化的人機(jī)交互技術(shù)逐漸成為人們追尋的目標(biāo)。作為人機(jī)交互技術(shù)的一個重要研究熱點(diǎn)，語音識別技術(shù)已經(jīng)逐漸滲透到人們生活的方方面面。然而，傳統(tǒng)的僅使用音頻單一通道的語音識別技術(shù)已經(jīng)不能再滿足人們復(fù)雜的日常生活需要，一種基于視覺信息和聽覺信息相結(jié)合的新型語音識別技術(shù)越來越引起人們的關(guān)注。
　　一個高性能的視聽融合語音識別系統(tǒng)主要取決于音視頻特征的提取和融合模型的建立?；趯θ硕犛X特性和系統(tǒng)

2、實(shí)時性處理要求的分析，在特征提取方面，本文提取了視聽的雙模態(tài)特征，其中音頻特征采用了在語音識別領(lǐng)域具有代表性的MFCC參數(shù)，視頻特征采用了能有效表征語音信息的唇部輪廓特征。在視聽融合模型建立時，通過對現(xiàn)有的兩個處理過程的耦合隱馬爾科夫模型進(jìn)行改進(jìn)和完善，建立了基于初始化、重估和識別三個處理過程的耦合隱馬爾科夫模型，并在識別階段利用自適應(yīng)的權(quán)值選取方法，確定了不同信噪比下兩通道信息的最優(yōu)權(quán)值，利用該模型融合視聽特征并進(jìn)行語音識別。