Web頁面相似度搜索問題研究.pdf

1、隨著Web技術(shù)的普及與快速發(fā)展，人們可以通過瀏覽器方便地獲取各種信息。但同時(shí)Web數(shù)據(jù)的急速增長也使用戶常常面對大量信息而無從著手，這就需要一個(gè)有效的Web頁面相似度搜索方法來從Web中獲取有用的信息。Web頁面相似度搜索要解決的問題是:根據(jù)用戶給定Web頁面，能返回若干個(gè)其它相似頁面，其中頁面之間的超鏈接關(guān)系反應(yīng)了各網(wǎng)頁之間可能的信息傳遞方向，能為發(fā)現(xiàn)相似頁面提供重要依據(jù)。而解決這一問題的方法就是要找到一個(gè)高效精確的相似度算法，同時(shí)能

2、夠快速響應(yīng)用戶的請求。
　　 Web頁面網(wǎng)絡(luò)通常表現(xiàn)為大規(guī)模、快速增長，這使得相似度計(jì)算顯得更具挑戰(zhàn)。而傳統(tǒng)基于內(nèi)容的相似度算法可能會涉及到用戶的一些隱私內(nèi)容，且不夠準(zhǔn)確。相比之下，基于結(jié)構(gòu)的相似度算法計(jì)算的準(zhǔn)確度就要高很多。SimRank是一種經(jīng)典的基于結(jié)構(gòu)的相似度算法，具有快速收斂的優(yōu)點(diǎn)，但其預(yù)計(jì)算時(shí)間和存儲開銷非常巨大，不適用當(dāng)前大規(guī)模和快速增長環(huán)境下的Web頁面網(wǎng)絡(luò)。所以，本文針對以上問題，提出了一種基于SimRank的

3、Web頁面相似度搜索算法(WSR)，使其能顯著降低存儲空間和預(yù)計(jì)算時(shí)間開銷，并采用靜態(tài)剪枝技術(shù)對Web網(wǎng)絡(luò)進(jìn)行優(yōu)化，提出WSR-pruning算法，進(jìn)一步提高了預(yù)計(jì)算效率和在線查詢處理的效率。
　　 本文主要工作有以下幾方面:
　　 1、對研究內(nèi)容的背景、研究意義和Web頁面相似度搜索問題研究的發(fā)展與現(xiàn)狀進(jìn)行了闡述。
　　 2、介紹了經(jīng)典的鏈接分析算法，以及幾種相似度計(jì)算方法。
　　 3、提出基于SimR

4、ank的Web頁面相似度搜索問題，對SimRank基本思想及遞歸迭代過程進(jìn)行了詳細(xì)的闡述，并分析其優(yōu)缺點(diǎn)。
　　 4、針對SimRank計(jì)算時(shí)間和空間開銷巨大問題，構(gòu)建Web頁面關(guān)系網(wǎng)絡(luò)，提出一種基于SimRank的Web頁面相似度搜索算法(WSR)，即預(yù)計(jì)算1步迭代相似度矩陣，根據(jù)預(yù)計(jì)算的1步迭代相似度矩陣在線計(jì)算給定查詢頁面和其他頁面的2步迭代相似度。給出在線查詢處理算法，并對在線查詢處理算法的時(shí)間復(fù)雜度和誤差精確度進(jìn)行理論