基于語言模型的文本分割研究.pdf

1、文本分割的實質(zhì)是根據(jù)文本內(nèi)子主題的相似程度，將文本切分成若干個語義段落，每個段落的內(nèi)部具有最高的語義一致性。因此，文本分割最需要解決的技術(shù)難點為度量文本的相似性及識別語義段落的邊界。本文從以上兩個問題出發(fā)，重點研究了基于語言模型的詞語特征提取，利用 Dotplotting模型進(jìn)行文本分割的相關(guān)內(nèi)容及算法。
　　本文對語言模型進(jìn)行了相關(guān)研究。語言模型是一種概率統(tǒng)計模型，已被廣泛應(yīng)用于字符識別、機器翻譯、信息檢索等技術(shù)中，能很好的解決

2、文本中詞匯出現(xiàn)的概率問題。由于詞匯構(gòu)成了一篇文本，是文本最基本的組成部分，因此，可以通過對文本詞匯的統(tǒng)計，獲得文本主題的淺層信息。但是語言模型僅僅考慮了詞匯概率并未考慮詞匯的語義相關(guān)性，無法進(jìn)一步獲得主題的深層信息?；诖?，本文提出了一種改進(jìn)的二元語言模型 Bigram，利用關(guān)聯(lián)矩陣加強詞匯之間的約束力，借此來描述句子的相關(guān)性并進(jìn)行特征提取，進(jìn)而確定子主題的相似性。
　　由于本文使用語言模型進(jìn)行特征提取，在自然語言中，絕大部分的詞

3、是低頻詞，因此肯定存在著稀疏的問題。而在語料訓(xùn)練中，最大似然估計賦予沒有出現(xiàn)過的Bigram模型0概率，因此必須對語言模型進(jìn)行數(shù)據(jù)平滑處理。本文分析了目前常用的幾種平滑處理算法的特點，結(jié)合Bigram模型的特性，采用Katz算法進(jìn)行平滑處理，以期得到更好的參數(shù)。
　　本文使用 Dotplotting算法進(jìn)行文本分割。該算法考慮了文檔中詞匯分布情況并進(jìn)行了全局的優(yōu)化，但是在確定新的語義段落邊界時，未能充分考慮之前已經(jīng)確定的邊界，且前

4、向掃描與后向掃描得到的密度結(jié)果不相同。本文針對上述Dotplotting算法存在的一些不足，對其進(jìn)行了一些改進(jìn)：增加了后向掃描的密度值；考慮了過于短小的語義段落無法很好的描述一個子主題，增加一個段落的長度懲罰因子來加以約束；最后提出了改進(jìn)的密度評價函數(shù)。
　　總之，本文基于詞語匯聚的思想，采用了二元語言模型 Bigram以及Dotplotting算法對文本分割進(jìn)行了深入研究，針對某些不足之處提出了改進(jìn)的方法，通過實驗結(jié)果的對比，驗