基于圖模型的Web文檔分類方法研究.pdf

1、目前，一些比較成熟的文本分類算法已經(jīng)被應(yīng)用到了文本分類中，但它們大都是基于向量空間模型(Vector Space Model)的。向量空間模型(Vector Space Model)將每篇文章的處理轉(zhuǎn)化為高維向量空間的向量計算，每一個分量表示一個詞元權(quán)重，也就是把每篇文章的處理轉(zhuǎn)化為了向量的計算。這種方法降低了文檔處理的計算復(fù)雜度，提高了處理速度。但向量空間模型把文檔看成詞的集合，假設(shè)詞與詞之間是獨立的，這樣就損失了大量的文本結(jié)構(gòu)信息，

2、而在自然語言中，詞與詞之間往往是相互關(guān)聯(lián)的，所以文章的上下文之間的聯(lián)系也是非常重要的。為了解決這個問題，一些國內(nèi)外學(xué)者提出了基于圖模型的文本表示方法。
　　 為了實現(xiàn)圖模型下的文本分類，本文對選用的語料庫進(jìn)行了預(yù)處理工作；分析了現(xiàn)有的特征選擇算法，選擇了開方檢驗的方法對文本進(jìn)行了特征選擇；針對現(xiàn)有的計算權(quán)值的方法進(jìn)行了改進(jìn)，找到了一種適合圖模型下文本分類的權(quán)值計算方法；根據(jù)圖模型的定義，建立了文本的圖模型；并找出一種計算相似系數(shù)

3、的方法對文本進(jìn)行了分類，完成了整個圖模型文本分類的整個過程。
　　 本文從文本的預(yù)處理、特征選擇、圖模型的建立、圖模型的相似系數(shù)的計算等幾個文本分類的重要環(huán)節(jié)，設(shè)計出了自己的算法，給出了一種圖模型中計算權(quán)值的具體方法，建立了有權(quán)無向圖，并對這些算法進(jìn)行了實現(xiàn)。選用了Sougou語料庫的3個類別：c8財經(jīng)類、c10 IT類和c13健康類進(jìn)行實驗，分析了準(zhǔn)確率(P)、召回率(R)和F1值這些評價文本分類算法的結(jié)果，并得出結(jié)論，證明了