基于因子分析的說(shuō)話(huà)人分離技術(shù)研究.pdf

1、高速發(fā)展的計(jì)算機(jī)水平和音頻處理技術(shù)，使得人們對(duì)于從海量數(shù)據(jù)中獲取到感興趣的人聲，越來(lái)越有需求。另一方面，如何對(duì)獲取到的各類(lèi)音頻進(jìn)行合理有效的管理，也是目前存在的一大挑戰(zhàn)。在此背景下，為了滿(mǎn)足上述需要，說(shuō)話(huà)人分離這一關(guān)鍵技術(shù)應(yīng)運(yùn)而生，其主要涉及兩個(gè)過(guò)程:說(shuō)話(huà)人分割和說(shuō)話(huà)人聚類(lèi)。
　　說(shuō)話(huà)人分離系統(tǒng)幾乎無(wú)任何可供參考的先驗(yàn)信息使用，容易受環(huán)境或者建模方法的影響，使得分割和聚類(lèi)時(shí)說(shuō)話(huà)人片段的類(lèi)純度得不到保證。另外，基于距離準(zhǔn)則的層次聚類(lèi)

2、方式一旦出現(xiàn)聚類(lèi)誤差，會(huì)一直的向上傳遞。因此本文主要在說(shuō)話(huà)人分割和聚類(lèi)的建模方法以及類(lèi)別提純上展開(kāi)了探索和研究，主要工作和創(chuàng)新點(diǎn)如下:
　　第一，說(shuō)話(huà)人分離前端語(yǔ)音端點(diǎn)檢測(cè)（VAD）和類(lèi)別提純方面的研究。針對(duì)基線系統(tǒng)中存在的低能量語(yǔ)音難以召回以及噪聲難以去除的情形，引入了深度學(xué)習(xí)的方法，在分離前端進(jìn)行改進(jìn)。針對(duì)層次聚類(lèi)時(shí)出現(xiàn)聚類(lèi)誤差向上傳遞的情況，提出了基于貝葉斯信息準(zhǔn)則(BIC)的短時(shí)類(lèi)別提純方法，削弱由層次聚類(lèi)帶來(lái)的誤差向上傳

3、遞的影響。實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)的語(yǔ)音端點(diǎn)檢測(cè)，能有效的降低說(shuō)話(huà)人分離時(shí)的虛警和漏警，并且降低說(shuō)話(huà)人分離錯(cuò)誤率，且基于短時(shí)BIC類(lèi)別提純的方法，能更新部分聚類(lèi)錯(cuò)誤的說(shuō)話(huà)人片段，提高后續(xù)說(shuō)話(huà)人聚類(lèi)的類(lèi)純度。
　　第二，說(shuō)話(huà)人轉(zhuǎn)折點(diǎn)檢測(cè)建模方法的研究。探索了基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的建模方法在說(shuō)話(huà)人轉(zhuǎn)折點(diǎn)檢測(cè)中的應(yīng)用，利用其強(qiáng)大的模型表達(dá)能力，提高說(shuō)話(huà)人分割的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，這種基于深度學(xué)習(xí)的轉(zhuǎn)折點(diǎn)檢測(cè)建模方法相比于傳統(tǒng)的

4、BIC建模方法，無(wú)論是在轉(zhuǎn)折點(diǎn)檢測(cè)的準(zhǔn)確率和召回率，還是對(duì)整個(gè)系統(tǒng)的分離錯(cuò)誤率(DER)來(lái)說(shuō)，都獲得了一定的效果提升。
　　第三，說(shuō)話(huà)人聚類(lèi)時(shí)的因子分析建模方法研究。傳統(tǒng)的以貝葉斯信息準(zhǔn)則作為相似性度量的說(shuō)話(huà)人分離技術(shù)，在短時(shí)對(duì)話(huà)的分離任務(wù)中能取得較好的效果，但是隨著對(duì)話(huà)時(shí)長(zhǎng)的增加，BIC的單高斯模型不足以描述不同說(shuō)話(huà)人數(shù)據(jù)的分布，且層次聚類(lèi)時(shí)區(qū)分相同說(shuō)話(huà)人和不同說(shuō)話(huà)人的門(mén)限值難以劃定。針對(duì)此問(wèn)題，本文嘗試基于短時(shí)BIC和長(zhǎng)時(shí)概率

5、線性判別分析(PLDA)融合的方法，充分利用BIC在短時(shí)聚類(lèi)的可靠性和PLDA在長(zhǎng)時(shí)段上的優(yōu)異區(qū)分性，來(lái)實(shí)現(xiàn)說(shuō)話(huà)人聚類(lèi)過(guò)程。實(shí)驗(yàn)表明，因子分析框架下的說(shuō)話(huà)人信息建模方法能有效的降低說(shuō)話(huà)人分離錯(cuò)誤率，使得性能相對(duì)提升34.2％。
　　第四，說(shuō)話(huà)人聚類(lèi)過(guò)程中的變分貝葉斯（VB）調(diào)優(yōu)方法研究。通過(guò)與因子分析框架下的全差異空間相結(jié)合，將傳統(tǒng)的層次聚類(lèi)方式轉(zhuǎn)化為在保證最優(yōu)化目標(biāo)函數(shù)的前提下，對(duì)某個(gè)片段屬于某個(gè)說(shuō)話(huà)人的最大后驗(yàn)概率估計(jì)的一種軟