基于鏈接相似性分析的WEB結(jié)構(gòu)挖掘方法研究.pdf

1、WEB服務(wù)和應(yīng)用近年來得到了飛速發(fā)展,其信息量呈幾何級(jí)數(shù)增長(zhǎng),每天都有數(shù)以百萬計(jì)的網(wǎng)頁加入到WEB中。它已經(jīng)成為了一個(gè)涉及教育、政府、電子商務(wù)、新聞、廣告、消費(fèi)信息、金融管理和許多其它信息服務(wù)的、巨大的、分布廣泛、全球性的信息服務(wù)中心。WEB網(wǎng)頁它們之間相互鏈接,盤根錯(cuò)節(jié),組織成了一個(gè)類似于人類社會(huì)的網(wǎng)絡(luò),結(jié)合鏈接相似性分析方法,將對(duì)WEB資源挖掘進(jìn)行研究,幫助人們高效的獲取所需信息,尋找所需領(lǐng)域的權(quán)威信息。
　　本文針對(duì)WEB結(jié)

2、構(gòu)挖掘中的四個(gè)問題進(jìn)行研究:WEB頁面鏈接預(yù)測(cè)算法、垃圾頁面(SPAM)識(shí)別算法、WEB結(jié)構(gòu)挖掘算法以及WEB頁面聚類算法。
　　首先,提出了基于相似性的多路徑游走鏈接預(yù)測(cè)算法。1)提出新的衰減因子,通過使用新的衰減因子定義出新的相似度公式;2)改進(jìn) Rubin算法,與新的相似度公式相結(jié)合進(jìn)行相似度計(jì)算,得出節(jié)點(diǎn)的相似度;3)對(duì)節(jié)點(diǎn)相似度排序,從而進(jìn)行預(yù)測(cè)可能性判斷,得出預(yù)測(cè)結(jié)果。4)最后通過實(shí)驗(yàn)對(duì)算法進(jìn)行了驗(yàn)證。
　　其次

3、,提出了頁面互相鏈接相似度的概念,然后給出了一個(gè)Spam頁面鏈接結(jié)構(gòu)的假設(shè),并且提出了一種基于頁面互鏈接相似度聚類的Spam頁面識(shí)別算法,該算法考慮了網(wǎng)頁之間會(huì)出現(xiàn)的彼此互相連接的關(guān)系,因此更加合理;并通過實(shí)驗(yàn)分析,驗(yàn)證了所提假設(shè),并實(shí)驗(yàn)驗(yàn)證了算法的有效性。
　　再次,針對(duì) PageRank算法其存在的“主題漂移”和偏重舊網(wǎng)頁現(xiàn)象,提出了一種基于相似度和時(shí)間反饋因子的改進(jìn)PageRank算法。第一步,利用向量空間模型VSM來計(jì)算鏈

4、接文本和其指向網(wǎng)頁之間的相似度;第二步,根據(jù)網(wǎng)頁產(chǎn)生時(shí)間,設(shè)計(jì)一個(gè)時(shí)間反饋因子,削弱舊網(wǎng)頁的網(wǎng)頁等級(jí)值,提高新網(wǎng)頁的網(wǎng)頁等級(jí)值;第三步,將相似度值和時(shí)間反饋因子融入到 PageRank算法計(jì)算網(wǎng)頁等級(jí)值中,根據(jù)算法流程計(jì)算改進(jìn)后網(wǎng)頁的PageRank值。最后通過實(shí)驗(yàn)對(duì)算法的性能進(jìn)行了分析。
　　第四,研究國(guó)內(nèi)外已有的基于局部信息的啟發(fā)式聚類方法研究現(xiàn)狀,然后進(jìn)行總結(jié)分析;并詳細(xì)研究基于局部信息的標(biāo)簽傳播方法,分析該算法在迭代過程中