資源稀少情況下的語音識別的主動學(xué)習(xí)方法研究.pdf

1、隨著大語種語音識別技術(shù)的發(fā)展成熟，資源稀少情況下(Low-resourceConditions)的語音識別逐漸成為重要的研究熱點(diǎn)。本文針對資源稀少情況下語音識別（小語種識別）建模及優(yōu)化問題，采用基于主動學(xué)習(xí)的方法對該領(lǐng)域的一些技術(shù)問題展開研究，集中體現(xiàn)在以下兩個方面:首先針對聲學(xué)模型訓(xùn)練數(shù)據(jù)缺乏導(dǎo)致模型參數(shù)估計不準(zhǔn)的情況，采用困惑度準(zhǔn)則挑選無標(biāo)注的語音數(shù)據(jù)參與訓(xùn)練，并進(jìn)一步在訓(xùn)練過程中采用配套優(yōu)化方法，使模型估計的參數(shù)更加準(zhǔn)確;其次，在

2、詞典擴(kuò)充及語言模型增強(qiáng)方面，采用字嵌入(word embedding)算法挑選網(wǎng)絡(luò)文本數(shù)據(jù)，用來擴(kuò)充詞典和增加語言模型訓(xùn)練語料，進(jìn)一步提升識別系統(tǒng)性能。
　　首先，搭建了資源稀少情況下的語音識別系統(tǒng)，采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行聲學(xué)建模;針對資源稀少情況下語音識別中專家語言學(xué)知識缺乏的困境，采用數(shù)據(jù)驅(qū)動的方式生成問題集進(jìn)行狀態(tài)綁定，以獲取聲學(xué)建模中所需的最佳建模狀態(tài)數(shù)(三音子，triphone);針對訓(xùn)練語料不足的現(xiàn)象，通過深度神經(jīng)網(wǎng)絡(luò)具

3、有的隱層共享特性，采用大語種訓(xùn)練得到的網(wǎng)絡(luò)參數(shù)初始化目標(biāo)語種神經(jīng)網(wǎng)絡(luò)模型參數(shù)。
　　其次，在語音識別的聲學(xué)建模過程中，需要較多有標(biāo)注的數(shù)據(jù)來估計模型參數(shù)，對于資源稀少的語種（小語種），有標(biāo)注的語料數(shù)據(jù)較少;另一方面，隨著數(shù)據(jù)獲取技術(shù)的成熟，可以獲取大量廉價的無標(biāo)注語音數(shù)據(jù)。在節(jié)約人工標(biāo)注成本的前提下，本文采用困惑度準(zhǔn)則對大量無標(biāo)注數(shù)據(jù)進(jìn)行有效選擇，將篩選得到的無標(biāo)注數(shù)據(jù)與原有標(biāo)注數(shù)據(jù)一起參與聲學(xué)模型訓(xùn)練;進(jìn)一步在模型參數(shù)訓(xùn)練過程中

4、，最后一次參數(shù)更新只采用有標(biāo)注數(shù)據(jù)進(jìn)行參數(shù)調(diào)優(yōu)，明顯改善語音識別系統(tǒng)性能。
　　最后，對于資源稀少情況下的語音識別任務(wù)，往往會因為詞典覆蓋率很差而伴隨出現(xiàn)大量的集外詞，而且用于生成語言模型的文本語料相對較少，因此難以獲取涵蓋率較好的詞典和區(qū)分性很強(qiáng)的語音模型，這兩個方面都影響著語音識別性能的提升。隨著互聯(lián)網(wǎng)技術(shù)的高度發(fā)展，很容易從網(wǎng)上獲取小語種的大量文本語料數(shù)據(jù)(web data)，關(guān)鍵是如何篩選匹配的數(shù)據(jù)，本文采用基于word