基于隱馬爾科夫模型的文本分類器的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡信息不斷膨脹，面對浩瀚的信息海洋，人們在獲得豐富信息資源的同時，也面臨著巨大的信息災難。為了提供高效、精準的信息服務，產(chǎn)生了一系列信息處理技術。文本分類是現(xiàn)代信息處理中一個重要任務，也是文本挖掘中的一個重要環(huán)節(jié)，近年來已經(jīng)產(chǎn)生了若干成熟的分類算法，但這些算法大部分是基于傳統(tǒng)的概率統(tǒng)計模型，特征詞與特征詞之間相互獨立，沒有與文本自身的語法和語義建立起聯(lián)系，只能從分詞階段和特征選擇階段進一步提高分類精度。
　

2、　本文通過對隱馬爾科夫模型和文本分類領域的學習和理解，將文本分類同隱馬爾科夫模型結合，實現(xiàn)基于隱馬爾科夫模型的文本分類器，旨在增強特征詞與特征詞之間的聯(lián)系，從而在分類算法上提高分類精度。
　　本文為每一個類別構建一個隱馬爾科夫模型，用序列模式描述文本類，將變形后的特征值的升序序列所對應的特征詞作為狀態(tài)集。將待分類文本描述成一系列狀態(tài)演化的隱馬爾科夫過程，文本序列通過與隱馬爾科夫分類模型匹配，求出輸出對應狀態(tài)序列概率最大的隱馬爾科夫

3、模型所對應的類別，達到文本分類的目的。特征詞語特征詞之間存在聯(lián)系，特征詞的狀態(tài)轉換在一定程度上反映了文章的語義的聯(lián)系。最后在文本預處理和特征選擇方式相同的條件下，通過與支持向量機分類算法實現(xiàn)的分類器作比較，驗證本文實現(xiàn)的分類器的分類效果。
　　本文實現(xiàn)的分類器采用結巴分詞的精確模式做分詞處理，采用詞頻反文檔頻率做特征選擇，分類算法采用本文提出的隱馬爾科夫分類模型。通過與支持向量機分類算法的測試對比，測試結果優(yōu)于支持向量機分類算法，