基于內(nèi)容相關(guān)度計算的文本結(jié)構(gòu)分析方法研究.pdf

1、文本結(jié)構(gòu)可分為物理和邏輯結(jié)構(gòu)兩種形式，文本的物理結(jié)構(gòu)是指組成文本的基本要素(如標題、段落、句子、詞匯和標點符號等)在文本中的實際位置所決定的結(jié)構(gòu)，可以用向量空間模型予以表示；文本的邏輯結(jié)構(gòu)是指組成文章思想內(nèi)容的主題、層次、段落、句子、主題詞在概念意義上所形成的邏輯關(guān)系，通常用樹或圖予以表示。文本結(jié)構(gòu)自動分析就是期望計算機能夠自動將一個文本劃分成互不相交的若干文本單元，或者從語義上將文本解析成為一棵層次結(jié)構(gòu)樹，以便獲得文章本來的邏輯結(jié)構(gòu)。

2、
　　 文本結(jié)構(gòu)分析對于實現(xiàn)文本理解和文本推理具有重要意義，只有從宏觀上把握文章的邏輯結(jié)構(gòu)，才能更合理的從全局的視角理解文章的主題及中心思想；同時，文本結(jié)構(gòu)分析結(jié)果對于文本自動摘要、基于篇章段落的信息檢索、話題檢測與跟蹤等自然語言處理任務(wù)也具有重要作用和影響。然而，文本結(jié)構(gòu)通常需要在理解上下文內(nèi)容的基礎(chǔ)上才能獲得，而對語言的理解又超出了目前計算機的能力和水平，因此，要使計算機在沒有理解上下文內(nèi)容的前提下，準確的分析出文本的組織結(jié)

3、構(gòu)，是一個非常困難的問題。
　　 本文根據(jù)文本篇章組織結(jié)構(gòu)理論以及文本組織結(jié)構(gòu)特點，將文本結(jié)構(gòu)分析轉(zhuǎn)換成為線性結(jié)構(gòu)分析或者層次結(jié)構(gòu)分析任務(wù)。據(jù)此，首先通過研究詞語間語義相關(guān)度計算方法、句子間語義關(guān)系識別和句子間語義相關(guān)度計算方法，進行文本上下文內(nèi)容相關(guān)性分析和相關(guān)度計算，并以此為基礎(chǔ)，研究對文本進行線性結(jié)構(gòu)分析或者層次結(jié)構(gòu)分析的關(guān)鍵技術(shù)和方法。
　　 具體來說，本文的創(chuàng)新性工作主要體現(xiàn)在以下幾個方面：
　　 (1

4、)對文本結(jié)構(gòu)進行抽象描述。將文本中的“句子”、“標題”、“自然段”、“文章”、“主題/子主題”等語言學概念加以形式標記；提出了“基本論證結(jié)構(gòu)”、“遞歸論證結(jié)構(gòu)”、“文本結(jié)構(gòu)樹”、“文本主題單元”等層次結(jié)構(gòu)概念及表示方法，以便對文本組織結(jié)構(gòu)模式進行抽象描述：對“主題的級”、“主題結(jié)點粒度”進行了定量化描述和計算，以便刻畫文本結(jié)構(gòu)樹中主題結(jié)點對內(nèi)容的涵蓋能力。
　　 (2)研究了詞語間語義相關(guān)關(guān)系及相關(guān)度計算方法。在分析詞語間相關(guān)度

5、和相似度概念關(guān)系的基礎(chǔ)上，提出了詞語間語義廣義相關(guān)度的概念及其相應(yīng)的計算方法：首先從外延邏輯思想出發(fā)，提出了一種基于語料的、通過構(gòu)建詞語語義關(guān)系二分圖的方法，來計算詞語狹義相關(guān)度；同時，以漢語概念內(nèi)涵邏輯模型思想為基礎(chǔ)，提出了一種基于詞典內(nèi)涵釋義及釋義項展開的詞語語義相關(guān)度計算方法，其計算結(jié)果強調(diào)的是詞語在內(nèi)涵概念上的關(guān)聯(lián)關(guān)系；然后，將兩種方法計算的相關(guān)度結(jié)果進行融合，得到詞語語義廣義相關(guān)度。通過標準的M&C中文版測試數(shù)據(jù)集評測結(jié)果表明

6、，融合得到的廣義相關(guān)度汲取了外延邏輯刻畫實體分類的優(yōu)勢和內(nèi)涵邏輯刻畫漢語凸顯實體內(nèi)涵屬性特征的優(yōu)勢，取長補短、優(yōu)勢互補，其計算結(jié)果更接近人的認知和判斷。
　　 (3)研究了語篇上下文句子之間語義關(guān)系及相關(guān)度計算方法。首先，根據(jù)語言學界總結(jié)的句際語義關(guān)系和它對應(yīng)的詞語形式標記，提出了一種機器自動識別上下文句際語義關(guān)系的方法(定性方法)，包括詞語形式模板的獲取、模板沖突消解的方法以及句際語義關(guān)系識別算法，并用實驗驗證了該方法的有效性

7、和識別效果；其次，提出了一種基于詞語廣義相關(guān)度的句子間相關(guān)度計算方法(定量方法)，實驗表明，本文提出的句子間相關(guān)度計算結(jié)果比句子間相似度計算結(jié)果更接近人的理解和判斷。
　　 (4)根據(jù)詞語廣義相關(guān)度計算方法、句際語義關(guān)系分析與相關(guān)度計算方法，研究了文本線性結(jié)構(gòu)分析中的相關(guān)問題，提出了一種基于內(nèi)容相關(guān)性分析的文本分割方法，實驗表明，本文提出的方法在文本分割性能上要好于經(jīng)典的TextTiling算法，而且也好于現(xiàn)有文獻報道的面向中文

8、的文本分割算法的性能。
　　 (5)研究了文本層次結(jié)構(gòu)分析的相關(guān)問題，并假定同一類型的文本應(yīng)該具有相同或相似的組織結(jié)構(gòu)模式。據(jù)此，提出了一種基于Naive Bayes模型的文本層次結(jié)構(gòu)分析方法，即用Naive Bayes模型從訓練文本中學習文本的組織結(jié)構(gòu)模式，再根據(jù)獲取得到的文本組織結(jié)構(gòu)模式，對待分析的同類型文本，按照自底向上的方式，遞歸的向上歸并，直到生成只包含一個根結(jié)點的文本結(jié)構(gòu)樹。同時，提出了一種基于生物序列比對算法的文本