漢語文本主題分析技術的研究與實現(xiàn).pdf

1、在當今全球信息一體化的時代，網(wǎng)絡資源的不斷增長提供給人們的電子文本信息越來越多。人們能從這些文本信息中獲取大量的知識或技能，但又面臨著信息太多而時間不夠的問題。雖然目前有很多搜索網(wǎng)站，人們可以通過搜索關鍵詞的方式來查找相關信息，但搜索出來的信息量依然太多，往往只有人們閱讀完文本后才發(fā)現(xiàn)不是所需要的信息。因此，如何能有效地對文本進行主題分析成為迫切需要解決的問題。
　　本文針對文本主題分析技術中的主題分割和主題識別展開了研究，主要包

2、括以下幾部分工作：
　　首先，分析了當前文本主題分析技術的研究現(xiàn)狀、相關的概念與現(xiàn)有的技術，并分析了自然語言處理中常用的評價方法如何在文本主題分析中得到使用。
　　其次，本文提出了基于SVO的段落相似度計算方法，并將該方法應用到文本主題分割中。接著，提出了基于關鍵句的文本主題識別方法。該方法是基于文本主題分割后的結果，對每個相對獨立的主題文本塊進行主題識別，找出適合做文本塊主題的關鍵句，并將其進行處理使得關鍵句語義完整。將這

3、種主題分割和主題識別的方法統(tǒng)稱為基于統(tǒng)計的文本主題分析技術。實驗結果表明該技術在文本主題分割中比傳統(tǒng)的建立段落向量空間模型計算連續(xù)段落相似度的方法更有效，在主題識別上找出的關鍵句在一定程度上優(yōu)于MicrosoftWord尋找的關鍵句。
　　另外，針對上面先進行主題分割后進行主題識別的方法導致主題漏識的情況，提出了統(tǒng)計與知識相結合的文本主題分析技術。該技術中使用了同義知識和主題知識，先進行主題識別再進行主題分割，將主題分割后的文本塊