基于融合語音和圖像的雙模態(tài)身份識別研究.pdf

1、準(zhǔn)確高效的身份識別和認(rèn)證技術(shù)被推到了重要的位置。身份識別逐漸成為人工智能和人機交互領(lǐng)域的一個重要研究方向，具有深遠(yuǎn)的理論意義和應(yīng)用前景，通過閱讀國內(nèi)外大量的文獻(xiàn)與資料，發(fā)現(xiàn)人臉識別作為身份識別中的一種且在人臉識別研究中鑒于單一模態(tài)人臉特征的局限性。提出融合語音和人臉圖像的雙模態(tài)身份識別方法，并進行了較深入的研究。發(fā)現(xiàn)兩者可以取長補短、有著互補的作用，實驗證明，融合語音和人臉圖像的雙模態(tài)身份識別方法會有更好的識別性能。
　　針對融合

2、語音和圖像的雙模態(tài)身份識別研究，本文研究內(nèi)容與創(chuàng)新點主要如下：
　?。?）自建語音和人臉數(shù)據(jù)庫，為保證語音識別過程中隨著被測試人的情感變化增加識別的穩(wěn)定性，語音庫選用采集情感語音數(shù)據(jù)庫，獲取同一個人其中立、高興、驚奇、悲傷、憤怒五種情感狀態(tài)下的發(fā)音。人臉庫采集盡可能多的選取圖像預(yù)處理后表情豐富、多方向、不同距離等有代表性的JPG格式圖片。
　?。?）語音識別方面采用提取音頻的MFCC特征，選取隱馬爾可夫模型（HMM）分類器進

3、行語音識別，經(jīng)實驗選取60維的MFCC特征識別率達(dá)到最高為75.3％，為了進一步提高語音識別率，提出一種63維特征的語音識別方法，即在此基礎(chǔ)上提出將取對數(shù)后的 MFCC、平均短時能量、平均過0率(ZCR)標(biāo)準(zhǔn)差、共振峰四個語音特征進行特征融合組成63維的語音特征向量，用同種分類方法得出識別率達(dá)到82.6%。比之前的只提取單模態(tài)情形下的MFCC特征參數(shù)識別率高出了7.3%。
　　（3）在LBP算子的基礎(chǔ)上進行改進，提出了一種W-LB

4、P算法強化面部特征。并采用Adaboost算法進行人臉檢測與定位。實驗表明，W-LBP算法較好的二值化能夠使得接下來的人臉定位更加準(zhǔn)確。
　?。?）人臉識別中為了彌補PCA方法對樣本圖像進行降維后會保留那些表情、姿勢和光照等干擾信息和 LDA方法很難解決類間離散度矩陣的定義問題和小樣本問題，這里選用 PCA+LDA融合算法實現(xiàn)人臉識別，經(jīng)實驗取特征臉子空間維數(shù)Z=80時識別率最高，識別率為89.1%。
　　（5）進行融合語音