文本自動分類技術(shù)研究及實現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展，特別是Internet應用的普及，電子文本信息急劇增加。如何有效地組織和管理這些海量信息，并且能夠快速、準確地獲得用戶所需要的信息是當今信息技術(shù)領域的一大挑戰(zhàn)。文本分類作為處理和組織大量文本數(shù)據(jù)的關鍵技術(shù)，可以在較大程度上解決信息雜亂的現(xiàn)象，方便用戶準確地定位所需的信息。文本分類技術(shù)在生活中起著越來越重要的作用，成為信息檢索領域中最前沿的研究熱點之一。 文本自動分類是在給定的分類體系下，對未知類別的文本進

2、行自動處理，根據(jù)文本特征來判斷其所屬類別的過程。本文首先介紹了文本自動分類在國內(nèi)外的研究現(xiàn)狀；其次對文本自動分類的相關技術(shù)，包括中文分詞技術(shù)、特征選擇、文本表示以及關鍵的分類算法，并分別進行了研究和探索，特別對幾種不同的特征選擇方法進行了研究。遺傳算法是模擬生物在自然環(huán)境中的遺傳和進化過程而形成的一種全局優(yōu)化概率搜索算法，具有簡單、通用、穩(wěn)健等特性。本文深入研究了遺傳算法，并在降低特征向量維數(shù)方面將其引入到特征選擇中。 分類器是

3、文本分類的另一個重要環(huán)節(jié)。樸素貝葉斯分類器由于計算高效、精確度高，并具有堅實的理論基礎而得到廣泛的應用。本文使用樸素貝葉斯作為分類器，設計并實現(xiàn)了一個文本分類系統(tǒng)，該系統(tǒng)包括：①文本預處理模塊，對文本進行分詞、停用詞過濾等；②特征選擇模塊，實現(xiàn)了文檔頻率、信息增益、互信息、卡方統(tǒng)計等特征選擇算法；③文本表示模塊，采用向量空間模型來表示文本，其中特征項權(quán)重采用TFIDF公式計算；④分類器算法模塊，實現(xiàn)了樸素貝葉斯分類算法；⑤分類器評價模塊