基于深層神經(jīng)網(wǎng)絡(luò)的多目標學習和融合的語音增強研究.pdf

1、近幾年，隨著智能終端機功能的增強和云端計算能力的提高，人和計算機之間的交流方式發(fā)生了很大的變化。而語音作為人類最重要、最常用和最方便的信息交換方式，自然成為不可或缺的媒介。在日常生活進行語音通信或者在軍事通信中進行作戰(zhàn)指揮時，常常伴隨各種噪聲干擾，這些噪聲干擾不僅影響語音的質(zhì)量和可懂度，同時也給后續(xù)語音識別和語音端點檢測等處理帶來困難。語音增強的主要目標就是從帶噪語音中提取干凈的原始語音，提高語音質(zhì)量和可懂度。
　　傳統(tǒng)單聲道語音

2、增強算法基本都是無監(jiān)督語音增強算法，通常會對語音信號和噪聲信息的概率分布做一定假設(shè)，對平穩(wěn)噪聲處理比較好，但對非平穩(wěn)噪聲抑制能力較弱。近些年來，隨著深度學習技術(shù)在語音領(lǐng)域取得重大突破，給語音增強提供一種有監(jiān)督學習的解決方案和有望取得突破性進展的可能性。研究發(fā)現(xiàn)，基于深層神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）的語音增強方法取得比傳統(tǒng)語音增強算法很大的性能提升。本文圍繞用回歸DNN來擬合語音和噪聲間的復雜非線性關(guān)系，著力

3、解決低信噪比語音可懂度不高、噪聲非平穩(wěn)問題，然后通過多目標學習和融合技術(shù)，設(shè)計適用于實時應用的緊湊和低延時模型，最后在最大似然估計的框架下對基于時頻掩蔽的DNN進行參數(shù)優(yōu)化。
　　首先，基于已有的DNN語音增強算法框架，本文研究不同的輸入信息對系統(tǒng)性能的影響，解決在低信噪比情況下語音可懂度不高的問題。通過設(shè)計不同的輸入特征，比如對數(shù)功率譜（Log power Spectra，LPS）和幅度譜（Amplitude Spectra，A

4、S），研究回歸深層神經(jīng)網(wǎng)絡(luò)的學習過程，基于不同特征之間的互補性，在輸入層采取特征拼接，輸出層對不同學習目標進行后處理，來同時提高語音質(zhì)量和可懂度。
　　其次，針對寬帶(16k Hz)語音數(shù)據(jù)上噪聲不匹配的問題，本文提出了一種改進的動態(tài)噪聲估計方法，利用雙絕對門限、平滑策略以及與靜態(tài)噪聲融合，使得估計的全頻帶噪聲更準確，并且使用噪聲的子帶特征和表征語音存在概率的掩蔽值(Ideal Ratio Mask，IRM)進行聯(lián)合感知訓練，在減

5、少模型復雜度的同時可以提高模型對不可見噪聲的泛化能力。
　　再者，本文提出了一個基于DNN的多目標學習和融合語音增強框架，包括多目標學習和多目標融合兩個階段，能夠在較小的模型復雜度和較低的延時情況下達到比較好的性能，更適用于實時語音應用。在多目標學習階段，設(shè)計一個DNN模型來學習輔助信息，包括LPS特征、梅爾頻率倒譜系數(shù)（Mel frequency Cepstral Coefficient，MFCC）和Gammatone頻率倒譜系

6、數(shù)（Gammatone Frequency Cepstral Coefficient，GFCC）以及每組特征對應的干凈語音、動態(tài)噪聲和IRM。在多目標融合階段，用上個階段學習到的輔助信息與原始帶噪信號一起作為網(wǎng)絡(luò)輸入，在輸出層同時預測LPS、MFCC和GFCC對應的干凈語音和IRM信息。最后對這兩個階段DNN預測的干凈語音做后處理融合。由于在DNN學習過程中引入了多個目標，利用多目標的自適應學習，兩個階段的DNN模型可以設(shè)計的很緊湊，降