基于圖模型的Web文檔分類方法研究.pdf

1、目前，一些比較成熟的文本分類算法已經被應用到了文本分類中，但它們大都是基于向量空間模型(Vector Space Model)的。向量空間模型(Vector Space Model)將每篇文章的處理轉化為高維向量空間的向量計算，每一個分量表示一個詞元權重，也就是把每篇文章的處理轉化為了向量的計算。這種方法降低了文檔處理的計算復雜度，提高了處理速度。但向量空間模型把文檔看成詞的集合，假設詞與詞之間是獨立的，這樣就損失了大量的文本結構信息，

2、而在自然語言中，詞與詞之間往往是相互關聯(lián)的，所以文章的上下文之間的聯(lián)系也是非常重要的。為了解決這個問題，一些國內外學者提出了基于圖模型的文本表示方法。
　　 為了實現圖模型下的文本分類，本文對選用的語料庫進行了預處理工作；分析了現有的特征選擇算法，選擇了開方檢驗的方法對文本進行了特征選擇；針對現有的計算權值的方法進行了改進，找到了一種適合圖模型下文本分類的權值計算方法；根據圖模型的定義，建立了文本的圖模型；并找出一種計算相似系數

3、的方法對文本進行了分類，完成了整個圖模型文本分類的整個過程。
　　 本文從文本的預處理、特征選擇、圖模型的建立、圖模型的相似系數的計算等幾個文本分類的重要環(huán)節(jié)，設計出了自己的算法，給出了一種圖模型中計算權值的具體方法，建立了有權無向圖，并對這些算法進行了實現。選用了Sougou語料庫的3個類別：c8財經類、c10 IT類和c13健康類進行實驗，分析了準確率(P)、召回率(R)和F1值這些評價文本分類算法的結果，并得出結論，證明了