中文文本數(shù)據(jù)分類研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展,特別是Internet應用的普及,網(wǎng)上信息成指數(shù)級增長,如何自動處理這些海量的信息,有效的保留大的文本集合成為了目前重要的研究課題.對文本進行有效管理方法之一就是將它們進行系統(tǒng)的分類,即文本數(shù)據(jù)分類.文本數(shù)據(jù)分類是一項重要的智能信息處理技術(shù),是文本檢索技術(shù)的基礎(chǔ),在新聞機構(gòu)分類、電子會議、電子郵件自動分類和信息過濾等方面極具應用價值.文本數(shù)據(jù)分類在傳統(tǒng)的情報檢索、網(wǎng)站索引體系結(jié)構(gòu)的建立和WEB信息檢索等方面也占有

2、重要地位.文本數(shù)據(jù)分類以文本挖掘技術(shù)為基礎(chǔ)與核心,是近年來數(shù)據(jù)挖掘和網(wǎng)絡挖掘領(lǐng)域當中的一個研究熱點.該論文介紹了中文文本數(shù)據(jù)分類的信息處理基礎(chǔ)、向量空間模型,探討了自動分詞技術(shù),詳細分析多種文本特征選擇算法和貝葉斯文本數(shù)據(jù)分類模型,該論文通過大量實驗深入研究了多種文本特征選擇算法:互信息MI(MutualInformation),信息增益(Information Gain),X<2'>估計,文本證據(jù)權(quán),并對互信息進行了改進.鑒于樸素貝葉