基于決策樹和K最近鄰算法的文本分類研究.pdf

1、文本分類是文本挖掘的重要內(nèi)容,是對信息的一種最基本的認知形式.目前的文本特征降維算法、改進或創(chuàng)造適應(yīng)文本數(shù)據(jù)的分類算法、抽取文本分類規(guī)則等方面的研究仍遠遠不能滿足實際的需要.本文主要研究了文本特征空間的降維問題、利用決策樹抽取文本分類規(guī)則問題和改進KNN算法以適應(yīng)文本分類問題. 本文提出了三種特征降維方法:一種是基于模式聚合和改進X<'2>統(tǒng)計量的文本降維方法,有效地降低文本維數(shù)并可提高分類精度:一種是基于CHI值原理和粗糙集理

2、論的屬性約減的文本降維方法,據(jù)此提出的基于決策樹的文本分類規(guī)則獲取方法,可獲得分類精度較高且易于理解的文本分類規(guī)則；第三種是基于神經(jīng)網(wǎng)絡(luò)的特征抽取方法,此方法根據(jù)靈敏度將特征進行排序,采用二分法的方式去掉部分特征,降低了神經(jīng)網(wǎng)絡(luò)特征提取的計算量. 本文提出了兩種基于模糊決策樹的模糊文本分類規(guī)則抽取方法.第一種方法采用分枝合并減少了分類規(guī)則,第二種方法提出了一種基于類信息熵和密度分布函數(shù)的數(shù)據(jù)模糊化方法,降低了數(shù)據(jù)模糊化的工作量和

3、模糊決策樹的規(guī)模,減少了分類規(guī)則數(shù)量. 本文關(guān)于KNN算法的改進主要做了三個方面的工作: 歐氏距離中的權(quán)重求解問題:提出了兩種權(quán)重求解方法.一種采用靈敏度方法獲得每個文本特征對分類作用的權(quán)重,并且在距離公式中又加入了同一特征對不同文本類的分類作用的權(quán)重；第二種是基于chi-square距離理論的權(quán)重求解方法,首先根據(jù)SS-Tree劃分的區(qū)域查找近似k<,0>個最近鄰,根據(jù)k<,0>個最近鄰和chi-square距離理論計

4、算權(quán)重.這兩種方法都可以提高KNN算法的分類精度. 提高K個最近鄰查找速度:提出了一種快速查找精確K個最近鄰的算法TFKNN,預(yù)先建立SSR-Tree,SSR-Tree的每個非葉子結(jié)點的孩子按照其距父結(jié)點中心點的距離排序.根據(jù)這棵樹進行K個最近鄰的查找,只需在滿足一定條件內(nèi)的部分樣本中查找K個最近鄰,從而減小了查找范圍,大大降低了相似度計算量. 裁減樣本庫:提出了一種KNN算法中的訓(xùn)練樣本庫的裁減維護方法,首先采用CIJ