基于韻律和詞匯信息的中英文句邊界檢測研究.pdf

1、句邊界檢測（Sentence Boundary Detection）是從語音或文本數(shù)據(jù)中自動地找到完整語義單元（句子）的邊界，是眾多下游任務(wù)的前提和基礎(chǔ)。本文基于韻律和詞匯等多模態(tài)信息，研究了句邊界檢測任務(wù)的有效特征和方法。
　　本文首先對句邊界檢測任務(wù)中涉及的韻律和詞匯特征進行了研究，韻律特征包括停頓時長、基頻、能量、詞和音素時長以及說話人轉(zhuǎn)換特征，詞匯特征包括N-grams、POS、Chunk以及詞向量特征。
　　我們研

2、究了基于條件隨機場（Conditional Random Field）的句邊界檢測建模方法，條件隨機場對上下文信息和邊界類別的序列信息有較強的建模能力。文中我們把句邊界檢測任務(wù)轉(zhuǎn)化為序列標(biāo)注的問題，通過調(diào)節(jié)類別序列的階數(shù)和上下文特征的窗口，我們得到了最優(yōu)的條件隨機場模型。我們對比了其他常用分類器在句邊界檢測任務(wù)中的效果，包括決策樹、樸素貝葉斯、多層感知機、最大熵模型和支持向量機，結(jié)果表明條件隨機場模型的檢測效果超越了其他分類器。由于韻律

3、特征存在冗余信息，我們利用基于相關(guān)性的特征選擇方法對韻律特征進行了特征選擇。
　　深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network）具有很強的特征學(xué)習(xí)能力，通過多層非線性函數(shù)把輸入特征轉(zhuǎn)化為較好的特征表示。文中我們提出了一個基于深度神經(jīng)網(wǎng)絡(luò)和條件隨機場（DNN-CRF）混合模型的句邊界檢測系統(tǒng)，該系統(tǒng)以深度神經(jīng)網(wǎng)絡(luò)在韻律特征上的后驗概率和詞匯特征為輸入，并用條件隨機場對該后驗概率與詞匯特征進行建模，標(biāo)注出句子的邊界信息。結(jié)果表

4、明，我們提出的DNN-CRF混合模型的檢測效果超越了先前最好的基于決策樹的DT-CRF方法，其NIST錯誤率在手工抄本和識別抄本條件下分別比DT-CRF降低了16.7％和4.1%。
　　深度遞歸神經(jīng)網(wǎng)絡(luò)（Deep Recurrent Neural Network）具有深度神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力以及條件隨機場模型的序列和上下文建模能力，因此我們提出了基于深度遞歸神經(jīng)網(wǎng)絡(luò)的句邊界檢測方法，把韻律和詞匯特征統(tǒng)一到同一個框架中。傳統(tǒng)的深度

5、遞歸神經(jīng)網(wǎng)絡(luò)對上下文和序列信息建模能力有限，也存在著梯度消失的問題，基于長短時記憶（Long Short Term Memory）結(jié)構(gòu)的深度遞歸神經(jīng)網(wǎng)絡(luò)能夠解決上述問題。本文中我們主要研究了深度雙向長短時記憶的遞歸神經(jīng)網(wǎng)絡(luò)（DBLSTM-RNN）和特征融合的策略，并使用了詞向量特征來表示詞語信息。實驗結(jié)果表明，在手工抄本和識別抄本條件下，結(jié)合韻律和詞匯特征的DBLSTM-RNN模型都超越了前文提出的DNN-CRF方法，其NIST錯誤率分