基于構(gòu)造性覆蓋算法的中文文本分類.pdf

1、文本分類是文本挖掘的基礎(chǔ)與核心，是近年來數(shù)據(jù)挖掘和網(wǎng)絡(luò)挖掘的一個(gè)研究熱點(diǎn)，在傳統(tǒng)的情報(bào)檢索、網(wǎng)站索引體系結(jié)構(gòu)的建立和Web信息檢索等方面占有重要地位。文本自動(dòng)分類技術(shù)是自然語言處理的一個(gè)重要的應(yīng)用領(lǐng)域，是替代傳統(tǒng)的繁雜人工分類方法的有效手段和必然趨勢。特別是隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)成為人們進(jìn)行信息交互和處理的有效的平臺(tái)，各種數(shù)字化的信息每天以極高的速度增長。面對(duì)如此巨大的信息，人工分類選擇已經(jīng)無能為力，計(jì)算機(jī)自動(dòng)分類已成為網(wǎng)絡(luò)時(shí)代的必

2、然選擇。 目前，對(duì)于文本分類技術(shù)的研究，大多數(shù)研究者的精力主要放在各種不同分類方法的探索與改進(jìn)上。然而，文本分類中的特征選擇也一直是文本分類的關(guān)鍵技術(shù)。因此，對(duì)特征選擇算法的研究與不同分類算法的研究都是十分必要的。 本文所做的主要工作及創(chuàng)新點(diǎn)如下： 1．本文首先對(duì)當(dāng)前文本分類領(lǐng)域幾個(gè)關(guān)鍵問題的常用解決方法進(jìn)行了研究，然后著重介紹了一個(gè)基于構(gòu)造性覆蓋算法的中文文本分類系統(tǒng)(StructuralCovering Al

3、gorithm-Based Chinese Text Classification System，簡記為CCTCS)，重點(diǎn)闡述了文本預(yù)處理、特征選擇、維數(shù)約簡和構(gòu)造性覆蓋算法及其改進(jìn)等技術(shù)的實(shí)現(xiàn)。 2．在CCTCS中，第一步是利用中國科學(xué)院計(jì)算技術(shù)研究所提供的漢語詞法分析系統(tǒng)(Institute of Computing Technology，Chinese Lexical Analysis System，ICTCLAS)對(duì)中文

4、文本進(jìn)行漢語分詞，去除虛詞和形容詞，只保留名詞和動(dòng)詞；再對(duì)文本進(jìn)行預(yù)處理，刪除文本中的停用詞和稀疏詞，可使文本維數(shù)平均壓縮一半，從而實(shí)現(xiàn)文本的粗降維。而CCTCS需要解決的核心問題是特征的選擇問題，特征選擇涉及選擇哪些特征和選擇的特征維數(shù)兩個(gè)問題。針對(duì)上述問題，本文使用信息增益(Information Gain，IG)與主成分分析(Principle Component Analysis，PCA)相結(jié)合的特征選擇方法。 3．CC

5、TCS使用人工神經(jīng)網(wǎng)絡(luò)作為分類器，特征詞的權(quán)重組成原始特征向量，和神經(jīng)網(wǎng)絡(luò)輸入層的神經(jīng)元一一對(duì)應(yīng)。在文本訓(xùn)練的時(shí)候，利用標(biāo)記好的訓(xùn)練文本集進(jìn)行網(wǎng)絡(luò)訓(xùn)練。而在文本分類的時(shí)候，輸入待分類文本的特征向量，通過已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)文本進(jìn)行分類，以確定文本的類別。 4．本系統(tǒng)采用構(gòu)造性覆蓋算法(即交叉覆蓋算法)來設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)分類器，首先分析了一般的交叉覆蓋算法(Generic Alternative Covering Algorithm，

6、GACA)，發(fā)現(xiàn)其存在一些不足之處，在分類過程中，可能會(huì)出現(xiàn)拒識(shí)和誤判的現(xiàn)象，這將大大影響系統(tǒng)的識(shí)別率和正確率。然后針對(duì)這些不足，對(duì)交叉覆蓋算法做出相應(yīng)的改進(jìn)，并給出其算法。實(shí)驗(yàn)證明，改進(jìn)的交叉覆蓋算法(Improved AlternativeCovering Algorithm，IACA)在整體性能上優(yōu)于一般的交叉覆蓋算法。這種改進(jìn)的算法不僅可以進(jìn)一步提高交叉覆蓋算法的訓(xùn)練速度，而且可以減少拒識(shí)樣本數(shù)，提高識(shí)別的精度。 5．本

7、文通過實(shí)驗(yàn)比較分析了不同特征選擇方法與設(shè)計(jì)分類器的交叉覆蓋算法對(duì)分類性能的影響，證明了IG+PCA的特征選擇方法比直接使用IG在基于交叉覆蓋算法的中文文本分類中具有其優(yōu)越性，而且改進(jìn)的交叉覆蓋算法應(yīng)用到中文文本分類中在整體性能上優(yōu)于一般的交叉覆蓋算法，并得出利用交叉覆蓋算法設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)的特征輸入維數(shù)在200左右的時(shí)候分類性能最佳。 本文在中文文本分類方面已經(jīng)完成了一些工作，今后可以在以下幾方面作進(jìn)一步的研究： 1．本論

8、文所有的結(jié)論都是在實(shí)驗(yàn)的條件下得出的，而實(shí)際應(yīng)用效果如何可以進(jìn)一步在實(shí)際應(yīng)用中進(jìn)行驗(yàn)證。 2．可將本文提出的特征選擇方法應(yīng)用于英文文本分類中，并設(shè)計(jì)更網(wǎng)絡(luò)化、智能化、多功能化的分類系統(tǒng)，可以應(yīng)用到如郵件過濾器或搜索引擎等熱門實(shí)際應(yīng)用中去。 3．為了進(jìn)一步提高本文方法的擴(kuò)展性，可考慮分類別來作PCA，然后尋找各個(gè)類別的主成分(Principle Component，PC)的極大線性無關(guān)組來得到全局特征，這是我們將來研究的一