BBS短文本聚類技術研究.pdf

1、高校BBS論壇信息內容與學校日常工作、校園學生活動密切相關，其信息不僅豐富而且更新速度很快，但是各BBS站點的結構劃分比較復雜而且混亂，如何有效地組織并利用這些資源信息涉及到短文本處理的相關技術研究。BBS帖子作為短文本的一種主要表現(xiàn)形式，其聚類研究具有很大的意義。借助于BBS短文本聚類分析，可以從一堆無標簽的信息中發(fā)現(xiàn)未知話題，作為話題識別與跟蹤的預處理階段，也可以根據(jù)話題的走向對BBS的輿論導向進行正確的導引，而且研究真實環(huán)境語料下

2、的BBS短文本聚類，對于短文本聚類技術的研究具有非常大的理論意義。
　　短文本具有獨特的語言特征，導致其處理技術不同于傳統(tǒng)文本的自然語言處理。單條短文本一般長度都非常短，樣本特征非常稀疏，很難準確地抽取有效的語言特征；短文本實時性特別強，數(shù)量異常龐大，對短文本處理技術提出了比常規(guī)文本處理技術更高的效率要求；短文本語言表達簡潔，錯誤拼寫、不規(guī)范用語和噪音比較多，給短文本處理技術帶來了更大挑戰(zhàn)。因此，短文本聚類技術的發(fā)展相對緩慢。

3、r>　　本文提出了短文本重構的思想，主要是通過主題相關信息抽取、噪聲處理和水帖過濾將BBS下的一條線索內的帖子重構為一篇文檔，從而達到擴充文本內容和特征的目的，以解決短文本的稀疏性。
　　本文采用的K-means算法是聚類分析中一種被廣泛應用的啟發(fā)式劃分方法，具有簡單、快速的優(yōu)點。然而這種算法對初值敏感，不同的初值常導致不同的聚類結果，沒有良好的穩(wěn)定性，且容易陷入局部最優(yōu)而非全局最優(yōu)的不良結果。本文采用近鄰傳播Affinity P