Web文本分類研究及應(yīng)用.pdf

1、伴隨著Internet的飛速發(fā)展，Web上出現(xiàn)了海量的、異構(gòu)的、半結(jié)構(gòu)化的、動態(tài)的信息資源，并且在這些Web信息中有80﹪以上的信息是以Web文本的形式存在的。如何從這些浩如煙海的Web信息資源中尋找并獲取有價值的信息和知識模式，已經(jīng)成為信息處理領(lǐng)域的一個亟待解決的問題。Web文本分類可以有效的解決上述問題，它起源于ATC技術(shù)(自動文本分類技術(shù))，是Web文本挖掘的關(guān)鍵組成部分；Web文本分類可以提高用戶進行網(wǎng)上信息搜索的效率，可以對搜

2、索結(jié)果進行分門別類，幫助用戶快速的對目標知識進行定位，并且能夠從中抽取有價值的知識。 本文在分析Web挖掘和Web文本挖掘的研究現(xiàn)狀和存在問題的基礎(chǔ)上，主要研究了Web文本分類關(guān)鍵技術(shù)、常用文本分類方法和基于粗糙集和KNN的混合Web文本分類方法，主要研究工作包括：(1)介紹Web挖掘和Web文本挖掘的基礎(chǔ)理論和相關(guān)知識，分析Web文本挖掘和Web文本分類的研究背景、現(xiàn)狀和存在的問題。 (2)對Web文本分類過程中的關(guān)鍵

3、技術(shù)：文本預(yù)處理、分詞技術(shù)、文本的表示、權(quán)重的計算、特征提取和降維技術(shù)，進行詳細的分析和討論；分析和討論影響分類性能評價的五個因素和幾種常用的分類方法質(zhì)量評價方法。 (3)討論幾種常用的文本分類方法：KNN分類法、基于VSM的向量距離分類法、貝葉斯分類法、支持向量機分類法和決策樹方法等，對這些方法的分類理論進行介紹，分析和比較這些分類方法的優(yōu)缺點。 (4)提出一種基于粗糙集和KNN的混合文本分類模型。利用粗糙集的屬性約簡