基于頁(yè)面相似度的鏈接分析算法研究.pdf

1、Web為人們提供了豐富的信息資源的同時(shí)，它所具有的海量數(shù)據(jù)、復(fù)雜性、極強(qiáng)的動(dòng)態(tài)性和用戶(hù)的多態(tài)性等特點(diǎn)也給Web資源的挖掘造成了相當(dāng)?shù)碾y度。由于Web信息是自組織和半結(jié)構(gòu)化的，經(jīng)典的信息檢索和數(shù)據(jù)庫(kù)技術(shù)很難得到有效的應(yīng)用。超鏈接是Web特有的組成部分，是聯(lián)系Web上數(shù)據(jù)資源的紐帶。鏈接分析是提高Web資源挖掘質(zhì)量的重要途徑。 本文詳細(xì)分析了Web數(shù)據(jù)挖掘方法及Web搜索引擎的結(jié)構(gòu)，分析了Web鏈接結(jié)構(gòu)的特征及主流的鏈接分析算法的特

2、點(diǎn)及存在的問(wèn)題。Pagerank算法和HITS算法是兩種典型的基于鏈接分析的頁(yè)面排序算法。但是PageRank算法同等對(duì)待網(wǎng)頁(yè)間的鏈接，沒(méi)有考慮網(wǎng)頁(yè)更新時(shí)間的重要性、導(dǎo)航網(wǎng)頁(yè)的影響等；HITS算法忽略了主機(jī)之間的多重加強(qiáng)關(guān)系，容易發(fā)生主題偏移產(chǎn)生不合理結(jié)果以及不能滿(mǎn)足用戶(hù)站點(diǎn)粒度的信息需求等。根據(jù)Web鏈接特征以及網(wǎng)絡(luò)沖浪者的瀏覽過(guò)程，可以發(fā)現(xiàn)網(wǎng)絡(luò)沖浪者的隨機(jī)游走過(guò)程受當(dāng)前頁(yè)面內(nèi)容的影響，通常會(huì)跳轉(zhuǎn)到與當(dāng)前頁(yè)面內(nèi)容相關(guān)性很大頁(yè)面，而不是

3、等概率地沿著出鏈跳轉(zhuǎn)。在此基礎(chǔ)上，本文引入了SimRank算法來(lái)定義網(wǎng)頁(yè)之間的相似性，從而給出了一種基于網(wǎng)頁(yè)間相似度權(quán)值分配模式，對(duì)相關(guān)性大的頁(yè)面間的鏈接賦予較大的跳轉(zhuǎn)概率。利用此分配模式我們提出了一種基于分配因子排序算法RAD(Ranking Algorithm Based on Distributed Factor)。 本文闡述了RAD算法平臺(tái)設(shè)計(jì)，包括實(shí)驗(yàn)數(shù)據(jù)集的獲取、數(shù)據(jù)庫(kù)設(shè)計(jì)、剪枝處理、SimRank算法實(shí)現(xiàn)及RAD算