基于貝葉斯算法和后向鏈接的中文網頁組合分類研究.pdf

1、中文Web文檔的自動分類主要還是以文本分類的算法思想為基礎來進行的。但由于中文Web文檔的數(shù)量巨大，內容多樣，噪音繁多，很多比較成熟的文本分類算法直接應用到網頁分類之后，效果變得非常不理想，因此也不能完全依靠現(xiàn)有的文本分類技術去進行研究?；诖耍疚膶υ谥形沫h(huán)境下的Web文檔自動分類這一課題進行了研究，提出了一些提高分類精度的設想，并做了相應的實驗，在這一過程中，主要完成了以下工作： （1）根據網頁的鏈接關系，將待分類目標網頁及

2、其域內的后向鏈接網頁合并作為整體輸入分類器，而不是單純的將目光局限于待分類目標網頁。 （2）設計了相應的網頁爬蟲，只下載待分類目標網頁及其域內后向鏈接網頁。 （3）提出了一種網頁噪音去除方法。并不局限于在網頁中尋找主題內容，去除剩余噪音，而是通過引入本域內后向鏈接網頁的主題詞匯，提高主題詞匯的數(shù)量，降低包含噪音詞匯所占的比例，是一種以退為進的方法。 （4）由于分類需要主題特征詞匯，因此構建了一個主題特征詞典，在分

3、詞的同時完成初步的特征選擇。 （5）利用裝袋的方法，采用不同的訓練數(shù)據，訓練多個樸素貝葉斯分類器，綜合每個分類器的分類結果，來提高分類的精度。 （6）基于上述理論，設計了一個中文網頁分類器，并做了相關的實驗以驗證算法的有效性。 （7）由于國內并沒有形成一個統(tǒng)一的關于中文網頁分類的訓練集、測試集，因此通過訪問大量網站，收集形成了一個小規(guī)模的中文網頁分類的訓練集和測試集，以待日后發(fā)布，供廣大愛好者們使用。 經