基于聚類和分類技術的文本分類研究.pdf

1、90年代以來隨著信息存儲技術和通訊技術的發(fā)展,大量的信息爆炸式增長,信息自動分類已經成為人們獲取有用信息不可或缺的工具。文本分類是中文信息處理的一個重要的研究領域,其目標是在分析文本內容的基礎上,給文本分配一個或多個比較合適的類別,從而提高文本檢索等應用的處理效率。目前已經有許多方法應用到該領域,如支持向量機方法(SVM)、K近鄰方法(KNN)、樸素貝葉斯方法(Naive Bayes)、決策樹(DecisionTree)等等。樸素貝葉斯

2、分類以其堅實的數學基礎和豐富的概率表達能力,尤其是它能充分利用先驗信息的特性越來越受到人們的重視,是目前公認的一種簡單有效的概率分類方法,在某些領域中表現出很好的性能。貝葉斯方法的一大優(yōu)點是利用了先驗信息,能夠在不確定性的推理中提供一種模式和處理方法。樸素貝葉斯與其他分類法相比,具有更小的出錯率和較高的健壯性和效率。
　　 但是對于中等規(guī)模以上的文本數據集,其特征詞往往達到數萬個,這種高維度的數據對于貝葉斯分類算法來說,影響是致

3、命的。這樣會導致其分類速度慢,難以在大規(guī)模海量信息處理中得到有效應用。采用k—means聚類算法對待分文本進行聚類分類,降低貝葉斯分類器分類文本維度,有效地解決維數災難的問題。既能克服貝葉斯分類速度慢的缺陷,又能保持較高的分類準確率,使得貝葉斯文本分類應用更加廣泛。本文所做的工作:
　　 1.描述了文本分類和文本聚類技術,著重介紹了文本聚類和文本分類處理過程中所需要的文本表示、文本特征提取、分類器測試等重要步驟。
　　

4、2.分析了K—means文本聚類和樸素貝葉斯分類方法的優(yōu)缺點,將K—means文本聚類方法和樸素貝葉斯分類方法相結合,利用K—means文本聚類方法對樸素貝葉斯分類方法速度慢的缺點進行改進。
　　 3.根據文本挖掘的一般過程,構建了一個基于向量空間模型的文本自動分類原型系統(tǒng)。
　　 4.在構建的文本自動分類原型系統(tǒng)中實現了K—means文本聚類方法對樸素貝葉斯分類方法進行改進,驗證了其對普通樸素貝葉斯分類方法進行改進的有