中文文本數(shù)據(jù)分類(lèi)研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展,特別是Internet應(yīng)用的普及,網(wǎng)上信息成指數(shù)級(jí)增長(zhǎng),如何自動(dòng)處理這些海量的信息,有效的保留大的文本集合成為了目前重要的研究課題.對(duì)文本進(jìn)行有效管理方法之一就是將它們進(jìn)行系統(tǒng)的分類(lèi),即文本數(shù)據(jù)分類(lèi).文本數(shù)據(jù)分類(lèi)是一項(xiàng)重要的智能信息處理技術(shù),是文本檢索技術(shù)的基礎(chǔ),在新聞機(jī)構(gòu)分類(lèi)、電子會(huì)議、電子郵件自動(dòng)分類(lèi)和信息過(guò)濾等方面極具應(yīng)用價(jià)值.文本數(shù)據(jù)分類(lèi)在傳統(tǒng)的情報(bào)檢索、網(wǎng)站索引體系結(jié)構(gòu)的建立和WEB信息檢索等方面也占有

2、重要地位.文本數(shù)據(jù)分類(lèi)以文本挖掘技術(shù)為基礎(chǔ)與核心,是近年來(lái)數(shù)據(jù)挖掘和網(wǎng)絡(luò)挖掘領(lǐng)域當(dāng)中的一個(gè)研究熱點(diǎn).該論文介紹了中文文本數(shù)據(jù)分類(lèi)的信息處理基礎(chǔ)、向量空間模型,探討了自動(dòng)分詞技術(shù),詳細(xì)分析多種文本特征選擇算法和貝葉斯文本數(shù)據(jù)分類(lèi)模型,該論文通過(guò)大量實(shí)驗(yàn)深入研究了多種文本特征選擇算法:互信息MI(MutualInformation),信息增益(Information Gain),X<2'>估計(jì),文本證據(jù)權(quán),并對(duì)互信息進(jìn)行了改進(jìn).鑒于樸素貝葉