文本分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)的普及以及互聯(lián)網(wǎng)的不斷發(fā)展，越來越多的電子文檔堆積成了海量的數(shù)據(jù)，如何對(duì)這些海量數(shù)據(jù)進(jìn)行管理以為用戶快速的檢索信息提供方便成為數(shù)據(jù)挖掘研究的一個(gè)核心。文本分類技術(shù)針對(duì)這個(gè)問題，提出了一系列解決方案。文本分類是一項(xiàng)重要的智能信息處理技術(shù)，在信息過濾、信息檢索、文本數(shù)據(jù)庫(kù)和數(shù)字圖書館等方面極具應(yīng)用價(jià)值。本文介紹了文本分類技術(shù)及其相關(guān)算法，利用軟件工程的思想設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)文本分類系統(tǒng)。系統(tǒng)分為六個(gè)模塊：(1)文本預(yù)處理模塊，針對(duì)文

2、檔進(jìn)行分詞，停用詞過濾；(2)詞頻統(tǒng)計(jì)模塊，按照各種分類算法以及特征選擇算法的特點(diǎn)統(tǒng)計(jì)文檔中特征詞的出現(xiàn)頻率；(3)特征選擇模塊，實(shí)現(xiàn)了信息增益(IG)、互信息(M1)、交叉熵(CE)、X～2統(tǒng)計(jì)四種特征選擇算法；(4)權(quán)重計(jì)算模塊，實(shí)現(xiàn)TF、TF-IDF算法；(5)分類器算法模塊，實(shí)現(xiàn)了樸素貝葉斯(NB)和K近鄰文本分類(KNN)算法；(6)分類器評(píng)價(jià)模塊，實(shí)現(xiàn)了對(duì)分類器從查全率、查準(zhǔn)率和F1值三個(gè)方面進(jìn)行評(píng)價(jià)的機(jī)制。結(jié)合軟件測(cè)試?yán)碚?/p>