個性化的Web信息采集技術研究.pdf

1、隨著Web信息的爆炸性增長，如何快速、準確地從浩瀚的信息資源中尋找到所需信息已經成為困擾人們的一大難題。傳統(tǒng)搜索引擎技術滿足了人們一定的需要，但由于其通用的性質，仍然不能滿足不同背景、不同目的和不同時期的用戶個性化的需求。個性化Web信息采集就是針對這個問題而提出來的。個性化Web信息采集的研究目標在于充分利用用戶的個性化信息，通過用戶興趣制導或與用戶交互等靈活手段來采集’Web信息，充分利用網絡信息，以更好地服務于用戶的個性化需求。

2、 圍繞個性化Web信息采集系統(tǒng)PSearch，論文的主要工作包括以下幾個方面： (1)用戶興趣個性化信息的獲取。分析了用戶興趣個性化信息的收集和更新，重點從用戶需求擴展、特征選擇，以及文本聚類分析三個方面來做了分析和實驗。 當捕獲用戶當前的瀏覽行為時，根據用戶當前瀏覽內容的計算結果，選擇那些跟用戶需求關鍵詞相似度最大的詞擴展進來，從而保證了擴展詞的質量。實驗結果表明，通過這樣的需求擴展確實獲得了用戶的當前個性化興趣

3、。 隱式收集用戶興趣在本質上與文本分類中的特征選擇問題相似。隱式收集用戶興趣可以借鑒文本特征選擇方法來實現用戶興趣的收集。實驗結果表明在用戶興趣個性化信息的獲取中，信息增益方法效果較佳。 如果能夠對用戶瀏覽的頁面聚類，就能夠得到用戶具體感興趣的主題。隱式收集用戶興趣可以借鑒文本聚類分析來實現用戶興趣的收集。實驗結果表明在用戶興趣個性化信息的獲取中，Bisecting K-means是一個合適的選擇。 (2)待采頁

4、面的選擇。根據頁面在Web上的分布特征，分析了個性化Web信息采集系統(tǒng)PSearch的種子URL設置、頁面采集過程、已采頁面與用戶興趣的相關度判定和待采URL與用戶興趣的相關度預測，提出了PSearch頁面選擇算法。實驗結果表明PSearch頁面選擇算法的采集準確性要明顯優(yōu)于廣度優(yōu)先算法。 (3)相關度的判定。借鑒了信息檢索中的分類過程，實驗結果表明，在PSearch的相關度判定中kNN的性能較佳。提出了PSearch頁面推薦算