基于對話的主題提取研究.pdf

1、隨著社會信息化步伐日益加快和網(wǎng)絡技術(shù)的飛速發(fā)展，人們的溝通方式也隨之發(fā)生改變，通過網(wǎng)絡與他人進行交流的方式日益取代了書信的方式，網(wǎng)絡文本數(shù)據(jù)的數(shù)量日益增加。因此對海量網(wǎng)絡文本數(shù)據(jù)的信息處理和數(shù)據(jù)挖掘具有非常重要的意義，并引起了國內(nèi)外研究者的密切關(guān)注。其中一個研究方向是對網(wǎng)絡對話信息的主題提取，它可應用于問答系統(tǒng)、網(wǎng)絡信息安全、情報獲取等多個領(lǐng)域。
　　 通過研究書面語文本的主題提取方法及了解國內(nèi)外對對話文本主題提取技術(shù)的研究現(xiàn)狀

2、，總結(jié)了對話與書面語的語言特點差異。書面語具有結(jié)構(gòu)緊湊、用語規(guī)范、主題思路清晰的特點，但是對話具有含大量問-答對且問-答對中信息相對重要、多主題且主題之間邊界模糊、主題交織且組織結(jié)構(gòu)混亂等特點。從而認識到用于書面文本的主題提取方法不能直接適用于對話文本的主題提取，需要對對話的各個特點進行有針對性的處理，才能提高對話文本主題提取的準確率。
　　 基于上述思想，設計了一個基于對話的主題提取系統(tǒng)，主要包括問-答對探測模塊、主題切分模塊

3、、主題樹生成模塊等。其中問-答對探測模塊主要針對對話里含有大量問-答對且問-答對中信息相對重要的特點，使用了機器學習的方法探測問句和其相對應的答句；主題切分模塊針對的是對話中多主題且主題之間邊界模糊的特點，通過主題概率模型得到詞匯在語句中的分布概率，從而獲得相鄰語句之間的邊界點；主題樹生成模塊針對對話中主題交織，組織結(jié)構(gòu)混亂的特點，使用融入語言特征的聚類算法將切分后的語塊按主題重新歸類。
　　 最后對問-答對探測模塊進行了仿真實

4、驗和對主題句抽取模塊進行了測試。在對問-答對探測模塊的仿真實驗中，使用C4.5 決策樹和樸素貝葉斯兩種分類器對問（答）句進行判別。通過比較分類器對訓練集和測試集的問（答）句和非問（答）句的判別性能，以及選擇了不同的特征集進行了多次測試和分析，得到了一系列的比對結(jié)果。對照比對結(jié)果，討論了在不同情況下兩種分類器在判別問（答）句的性能優(yōu)缺點，從而得到了在不同情況下應該選取何種句子特征集與分類器的結(jié)論。在對主題句抽取模塊的測試中，通過測試不同數(shù)