基于最大公共子圖的中文Web文本分類研究.pdf

1、隨著網絡信息技術的高速發(fā)展,Internet上的Web頁面數量呈指數增長,如何有效的組織和處理這些海量信息,如何更好地搜索、過濾和管理這些網絡資源,成為一個亟待解決的問題。Web文本挖掘技術就是解決上述問題的一種方法,它借鑒數據挖掘的基本思想和理論方法,從大量半結構化、異構的Web文檔的集合中發(fā)現潛在的、有價值的知識。Web文本分類是Web文本挖掘的重要技術,是一種快速、有效的組織網上海量信息的關鍵技術,是Web信息處理的基礎,有著很高

2、的研究價值和廣泛的應用前景。
　　 本文研究的對象是中文Web文本,目的是提高Web文本分類的精度和速度,主要針對中文Web文本的表示以及分類算法進行了深入地探討。Web文檔包含大量的與主題內容無關的噪音數據,因此本文提出了一種基于網頁分塊的主題信息自動提取算法。首先對Web文檔依據布局標簽分塊構建文本內容塊層次樹,然后自底向上遍歷層次樹,計算每個塊節(jié)點的語義屬性和主題相關度,同時刪除主題無關節(jié)點,最終通過遍歷文本塊層次樹的最大

3、內容節(jié)點路徑,提取當前網頁的主題信息。實驗表明該主題信息提取算法對大多數中文門戶網站的主題型網頁均有效,適用性比較強。傳統(tǒng)的向量空間文本表示方法不能有效表示文本的結構信息,缺乏對文本特征詞條上下文環(huán)境的考慮,因此本文探討了Web文檔的圖表示方法、文檔圖之間距離度量選擇等問題,并在此基礎上發(fā)展了KNN算法,得到了基于最大公共子圖的Web文本分類算法:MCS-KNN算法。MCS-KNN算法為每個Web文檔生成表示圖,通過計算兩個Web文檔表