一種基于相似度值的向量空間投影HITS算法.pdf

1、互聯(lián)網(wǎng)是現(xiàn)代社會人們交流信息、共享資源的主要途徑。作為搜索信息的重要平臺，互聯(lián)網(wǎng)所具有的海量數(shù)據(jù)、異構(gòu)性、半結(jié)構(gòu)性、極強(qiáng)的動態(tài)性、用戶多樣性等特點(diǎn)卻給Web資源的挖掘帶來了相當(dāng)大的難度。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已不適用于日新月異的互聯(lián)網(wǎng)，Web數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。
　　 搜索引擎是人們查找網(wǎng)絡(luò)信息的重要工具，它應(yīng)用Web數(shù)據(jù)挖掘技術(shù)，可以幫助人們獲取到需求的信息。目前有多種搜索引擎算法，但是大多數(shù)算法是對Web頁面的文本內(nèi)容進(jìn)行挖掘

2、，檢索結(jié)果集過于龐大，用戶難以快速地獲取到自己所需求的信息，這是困擾人們高效利用信息資源的一項(xiàng)急待解決的難題。
　　 近幾年，超鏈接分析的引入和應(yīng)用為解決這項(xiàng)難題提供了一條嶄新的思路，因?yàn)榛ヂ?lián)網(wǎng)鏈接結(jié)構(gòu)包含了大量潛在的推薦規(guī)律，根據(jù)這些規(guī)律能夠推斷出許多Web文檔內(nèi)容所不包含的資源，Web結(jié)構(gòu)挖掘成為了Web數(shù)據(jù)挖掘的一個重要研究方向。HITS(Hyperlink Induced Topic Search)算法正是在傳統(tǒng)搜索引擎

3、查詢結(jié)果的基礎(chǔ)上分析鏈接結(jié)構(gòu)，對Web數(shù)據(jù)進(jìn)行挖掘。
　　 本文主要是關(guān)于HITS算法的研究，此算法是一種應(yīng)用較為廣泛的Web結(jié)構(gòu)挖掘算法，主要應(yīng)用在搜索引擎的Web頁面結(jié)果集排序中。本文首先介紹了Web數(shù)據(jù)挖掘及其分類，對于其重點(diǎn)研究方向——Web結(jié)構(gòu)挖掘的典型算法進(jìn)行了歸納，然后深入研究了HITS算法，并對其原理進(jìn)行了詳細(xì)地描述。在對HITS算法及其改進(jìn)算法進(jìn)行深入研究的基礎(chǔ)上，本文提出了一種基于相似度值的向量空間投影HIT

4、S改進(jìn)算法，在傳統(tǒng)HITS算法的基礎(chǔ)上作出了以下三個方面的改進(jìn)：
　　 1)精簡基集。傳統(tǒng)HITS算法在根集擴(kuò)展為基集階段引入了大量頁面，但是其中包含大量同域內(nèi)的Web頁面和廣告鏈接，它們之間的超鏈接一般僅用于導(dǎo)航目的，不具備參考價值。本文改進(jìn)的HITS算法對基集進(jìn)行精簡，對同域內(nèi)的Web頁面和無關(guān)頁面進(jìn)行判斷，予以刪除，大大節(jié)約了算法的運(yùn)算開銷；
　　 2)獲取搜索引擎返回的相似度值。考慮到傳統(tǒng)搜索引擎爬取Web頁面后

5、將文本內(nèi)容和查詢主題表示成詞條特征向量，然后通過計(jì)算向量的點(diǎn)積來獲得兩者的相似度值，并隨著結(jié)果集同時返回給用戶，因此采用這些易獲取的相似度值來計(jì)算超鏈接與用戶查詢主題的相關(guān)性，不僅可以提高算法區(qū)分鏈接重要性的能力，同時還避免了重復(fù)對頁面文本內(nèi)容進(jìn)行分析，節(jié)省了系統(tǒng)開銷。
　　 3)基于相似度值的空間向量投影方法。將每一特征向量在權(quán)威性高的基于相似度值的子空間上進(jìn)行投影，返回的頁面結(jié)果集與相似度值高的頁面集鏈接最為密切，在不增加計(jì)