Web結構挖掘中HITS算法的優(yōu)化與實現.pdf

1、Internet是一個巨大、分布廣泛、全球性的信息服務中心，它提供了各種各樣的信息服務。與此同時，如何從Internet所提供的浩如煙海的信息中獲取所需信息或是從中提取有用知識便成為一個急需解決的問題。搜索引擎是目前最主要的Web檢索工具，然而搜索引擎返回的文檔質量參差不齊，難以滿足用戶對高質量檢索結果的需求。 將傳統(tǒng)的數據挖掘技術和Web結合起來，進行Web挖掘成為解決這一問題的重要途徑。結構挖掘是Web挖掘的一個重要方面，研

2、究表明web上的鏈接結構含有非常豐富和重要的信息，鏈接分析技術已經被成功的用于分析Web超鏈接數據來確定權威信息源。在各種對網頁進行鏈接分析并提取主題的算法中，HITS(Hyperlink-Induced Topic Search)算法是最典型的。通過對HITS算法的深入研究發(fā)現，該算法存在一定的不足。HITS算法在擴展根集階段對頁面的不合理選取導致無效鏈接過多，直接影響最終權威信息源的質量；給不同的Web站點作者規(guī)定了不平等的影響權重

3、，導致了鏈接間不合理的相互加強關系；Web鏈接結構的自組織性導致迭代分析往往收斂于鏈接結構圖中與查詢主題不太相關的緊密連接區(qū)域(TKC)，從而導致主題偏移。針對以上不足，本文提出了一種結合內容分析與鏈接分析的主題精選算法——W-HITS算法，并開發(fā)了實驗系統(tǒng)，對該算法進行了驗證，通過對實驗結果的分析討論證明改進后的算法較原算法更合理有效。 本文的主要貢獻有以下幾點： (1)提出了更有效的獲取基集的方法，賦予了文檔作者間平

4、等的影響權重，使精選出的權威和中心網頁更為客觀合理； (2)通過內容分析給信息源賦予了主題相關度權重，并運用加權的I/O操作進行鏈接分析，使主題相關度較高的信息源得到較高的排序分值； (3)對主題相關度很低的信息源進行修剪，排除他們對排序分值計算的干擾，進一步保證了主題精選結果是真正的查詢主題下的權威/中心源； (4)提出了驗證該算法有效性的實驗方案，并開發(fā)了實驗系統(tǒng)，對該算法進行了驗證，并對實驗結果進行了分析討