聲音事件識別中的有效特征提取方法研究.pdf

1、近些年來，作為聲音識別中的一個新興的研究方向，“聲音事件識別”因其廣泛的應(yīng)用前景，越來越受到研究學者們的關(guān)注。通過對聲音事件，例如敲門聲、掌聲、腳步聲，甚至鳥鳴聲等，進行識別，能夠感知所處的環(huán)境，并偵測出其發(fā)生的變化。因此，聲音事件識別可以用于無人看守的安全監(jiān)管、醫(yī)療救助，以及機器的智能化，同時也為實現(xiàn)更好的人機交互體驗提供了可能。
　　一方面，在幾十年的發(fā)展過程中，研究學者們針對聲音事件的識別任務(wù)，提出了一系列的特征提取方法和相

2、應(yīng)的識別系統(tǒng)，取得了突飛猛進的發(fā)展和進步。另一方面，隨著人工智能技術(shù)的不斷發(fā)展和突破，作為深度學習理論內(nèi)容的一部分，深層神經(jīng)網(wǎng)絡(luò)因其強大的信息抽取和建模能力，在模式識別，自動控制，智能機器等諸多領(lǐng)域取得了顯著的成就，尤其是在語音識別，圖像理解等領(lǐng)域獲得了突飛猛進的性能提升。目前聲音事件識別系統(tǒng)在噪聲環(huán)境較弱的情況下，識別效果很理想。但受聲音事件自身特性的影響，隨著噪聲強度的不斷增加，相應(yīng)的識別效果普遍較差，未能取得令人滿意的識別性能。<

3、br>　　為此，本文研究的重點和方向是，利用深層神經(jīng)網(wǎng)絡(luò)強大的對于信息提取和特征抽象的能力，提出能夠?qū)碗s噪聲魯棒的有效特征表示方法，進一步提升聲音事件識別系統(tǒng)在噪聲環(huán)境下的識別效果。主要包括以下幾個方面內(nèi)容:
　　首先，提出了一種時頻域非線性降采樣的特征表示方法。由于傳統(tǒng)的二維頻譜圖特征同時包含有時、頻域的信息，為了使得到的頻譜圖特征具有更強的可區(qū)分性，本文提出了一種數(shù)據(jù)驅(qū)動式的時域和頻域非線性降采樣策略。頻域上，通過分析噪聲和

4、不同種類的聲音事件在不同頻段上分布的差異性信息，確定相應(yīng)的非線性降采樣邊界，對頻譜圖進行頻域的非線性降采樣。另一方面，在時域上，利用斐波那契數(shù)列來獲取頻譜圖中不同長短的時域幀信息，并進行非線性降采樣的操作。經(jīng)過上述不同非線性降采樣操作后得到的特征，將被送入相應(yīng)的深層神經(jīng)網(wǎng)絡(luò)中進一步提取高層的抽象信息，并最終用來對聲音事件進行識別。實驗結(jié)果表明，利用頻域方差非線性映射的特征表示方法，能獲得較優(yōu)的性能提升，特別是在強噪聲的環(huán)境下。
　

5、　其次，提出了一種基于神經(jīng)網(wǎng)絡(luò)的譜圖時頻域融合的特征表示方法。在將耳蝸圖特征引入聲音事件識別的基礎(chǔ)上，嘗試利用深層神經(jīng)網(wǎng)絡(luò)對兩種不同的時頻二維特征圖進行拼接和融合，獲得更有效的特征表示方法。基于不同的神經(jīng)網(wǎng)絡(luò)，提出了兩種不同的特征融合策略，即文中提出的“雙通道特征融合”和“底層特征融合”。其中，雙通道的特征融合方法利用了卷積神經(jīng)網(wǎng)絡(luò)的特殊結(jié)構(gòu)，將頻譜圖和耳蝸圖同時送入卷積神經(jīng)網(wǎng)絡(luò)的不同通道中，經(jīng)過卷積操作后再進行特征的拼接;而底層特征融

6、合的方法是，在將不同譜圖特征送入神經(jīng)網(wǎng)絡(luò)之前就進行拼接融合。實驗結(jié)果發(fā)現(xiàn)，經(jīng)過特征融合后的系統(tǒng)性能有顯著的提升，且基于卷積神經(jīng)網(wǎng)絡(luò)的底層特征融合的系統(tǒng)性能更優(yōu)。
　　最后，在前兩部分研究的基礎(chǔ)上，提出了基于神經(jīng)網(wǎng)絡(luò)的譜圖多分辨融合的特征表示方法。從綜合利用譜圖信息的局部和全局特征的角度出發(fā)，同樣采用上述兩種不同的特征融合策略，對不同分辨率的譜圖特征進行拼接融合。為了獲取不同分辨率信息的譜圖特征，我們采用不同的窗長和窗移對原始的音頻