基于多屬性關聯(lián)改進文本分類算法.pdf

1、目前大量有用信息以文本形式存在，因此如何快速對大規(guī)模的文本分類成為亟待解決的問題。為應對這一問題，文本自動分類應用而生。文本自動分類結合了統(tǒng)計方法和機器學習理論，將文本劃分到預先定義的類別，能較好地解決大量文檔信息歸類的問題并得到廣泛應用。目前文本分類的研究主要集中在文本表示和分類器算法兩個方面。首先文本經(jīng)預處理得到的文本表示空間具有高維性和稀疏性，導致分類性能下降及效率較低。文本分類器有樸素貝葉斯分類器、k-近鄰、支持向量機、神經(jīng)網(wǎng)絡

2、等。本文緒論簡要介紹文本分類的產(chǎn)生原因、基礎理論以及研究進展；然后介紹主要文本表示模型的基礎理論，并介紹文本分類算法中主流學習算法的基本思想和理論依據(jù)；介紹文本分類算法的評估標準和常用基準數(shù)據(jù)集。其次機器學習方法未充分考慮文本的語義信息，忽略了各條件屬性之間以及條件屬性與決策屬性之間的關聯(lián)，本文緊緊圍繞屬性間關聯(lián)這一問題，在分析文本分類研究內(nèi)容和當前研究存在問題的基礎上，將重點研究三個問題:一是如何挖掘屬性間關系以提高文本分類準確率；二

3、是如何改進文本分類算法提高分類器性能；三是根據(jù)以上研究，通過大量對比實驗驗證了本文提出算法的有效性。
　　本文開展并完成了以下工作:
　　1.為提高樸素貝葉斯分類器的分類精度和泛化能力，提出了基于屬性相關性的加權貝葉斯集成方法(WENB)。根據(jù)每個條件屬性與決策屬性的相關度對其賦以相應的權值，然后用AdaBoost訓練屬性加權后的Navie Bayes(NB)。該分類方法在16個 UCI標準數(shù)據(jù)集上進行了測試，與 NB、貝葉

4、斯網(wǎng)和由AdaBoost訓練出的NB進行比較。進一步將該方法應用到文本數(shù)據(jù)集中，將其與 NB在4個文本數(shù)據(jù)集上進行比較。實驗結果表明，該分類器具有更高的分類精度與泛化能力。
　　2. NB算法是一種概率統(tǒng)計方法，它基于屬性獨立性假設，忽略了屬性間關聯(lián)度，致使分類精度降低。為充分利用屬性間關系以提高分類性能，提出了基于屬性對的樸素貝葉斯方法(NBA)。該算法在計算屬性先驗概率時，將相關屬性同時計算，考慮屬性間關聯(lián)信息對分類的貢獻，在

5、一定程度上避免了屬性獨立性假設的弊端。10個 UCI基準數(shù)據(jù)集和4個文本數(shù)據(jù)集上的實驗結果表明，該算法明顯優(yōu)于NB算法。
　　3.C4.5算法是一種自頂向下的一步貪婪搜索算法，該算法只能找到分類問題的局部最優(yōu)解。為提高找到全局最優(yōu)解的可能性，本文提出了向前兩步的決策樹構建算法。該算法在選擇屬性時，考慮同時選擇兩個屬性帶來的信息增益，而不是只考慮單一最優(yōu)屬性對于信息增益的貢獻，從而在尋找問題全局最優(yōu)方面比只考慮單一最優(yōu)屬性具有更大的