中文文本分類相關(guān)算法的研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展，特別是Internet應(yīng)用的普及，電子文本信息急劇增加，如何有效地組織和管理這些海量信息，并且能夠快速、準(zhǔn)確地獲得用戶所需要的信息是當(dāng)今信息科學(xué)技術(shù)領(lǐng)域的一大挑戰(zhàn)。對電子文本進(jìn)行有效管理的方法之一就是文本分類。文本分類是一項(xiàng)重要的智能信息處理技術(shù)，在信息過濾、信息檢索、文本數(shù)據(jù)庫和數(shù)字圖書館等方面極具應(yīng)用價(jià)值。 文章從自然語言處理、文本挖掘、機(jī)器學(xué)習(xí)、模式識別等領(lǐng)域討論文本分類的應(yīng)用。介紹了中文文本分類技

2、術(shù)及相關(guān)算法。設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)中文文本分類系統(tǒng)，主要目的是發(fā)現(xiàn)中文文本分類相關(guān)算法的問題及規(guī)律，該系統(tǒng)包括訓(xùn)練和分類兩大模塊。訓(xùn)練模塊有：(1)中文文本預(yù)處理，實(shí)現(xiàn)了一個(gè)正向最大匹配分詞算法，并根據(jù)實(shí)驗(yàn)生成了適合分類的停用詞表：(2)特征選擇，實(shí)現(xiàn)了信息增益(IG)、互信息(MI)、交叉熵(CE)、X<'2>統(tǒng)計(jì)和文檔頻率(DF)五種特征選擇算法；(3)權(quán)重計(jì)算，實(shí)現(xiàn)了TF、TF*IDF、FF,特征評估函數(shù)值、TF*IDF*特征評估函數(shù)