基于LDA和圖割的文本主題分割研究.pdf

1、文本分割的本質是根據文本內部的主題相似性獲得分割之間的邊界位置，使得分割內部具有最大的語義一致性而分割之間的語義一致性相對較小。本文探討基于LDA和圖割的文本主題分割技術，通過在相似性度量方法中使用LDA等主題模型，并采用改進的α-膨脹算法對文本分割的邊界進行搜索，提出了基于LDA等主題模型與圖割技術的文本分割模型。
　　 本文在對前人提出的語義相似性度量方法進行概述之后，首先分別討論了LDA、HDP&LDA和CTM等主題模型，

2、然后嘗試將這三個主題模型用于語義相似性度量，為文本分割提供主題信息。文本分割通常是在獲得文本內隱含主題的基礎上進行的。由于詞匯是構成文本最基本的語義單位，因此可通過對文本內部的詞匯進行統(tǒng)計以獲得關于主題的淺層信息、通過PLSA、LDA等主題模型來表達文本內部的深層語義信息。研究表明，在文本分割中利用LDA模型可明顯提高文本分割的效果。HDP和CTM主題模型作為LDA的衍生模型，相比LDA模型HDP模型可以確定合適的主題數(shù)量，CTM模型引

3、入了主題相關性。本文通過對比實驗，進一步驗證了在主題模型中設定合適的主題數(shù)量和考慮主題之間的相關性有助于改善文本分割的效果。
　　 本文中使用視覺問題中成熟的圖割算法作為文本分割問題中的邊界搜索方法。目前的文本分割方法在搜索分割邊界時需要人工給出先驗參數(shù)，這些參數(shù)值通常對分割結果有較大影響，并且僅靠人工方法無法確定理想的參數(shù)值，因此我們引入圖割算法。為了將圖割算法應用于文本分割任務中，本文做了以下三個方面的工作:通過重新定義文本