基于分塊鏈接的網(wǎng)頁排序并行算法設(shè)計與實現(xiàn).pdf

1、網(wǎng)頁和純文本的結(jié)構(gòu)差異性決定了傳統(tǒng)的信息檢索排序算法不能完全適應(yīng)網(wǎng)絡(luò)發(fā)展，基于鏈接分析的網(wǎng)頁排序算法便應(yīng)運而生，并成為現(xiàn)代搜索引擎的關(guān)鍵技術(shù)。知名的搜索引擎公司在對搜索結(jié)果進(jìn)行排序時，基本都融合了基于鏈接分析的排序結(jié)果，例如谷歌(Google)使用了著名的PageRank算法，而百度(Baidu)也有自己的鏈接分析技術(shù)。
　　本文通過對經(jīng)典的網(wǎng)頁鏈接排序算法PageRank和HITS的研究學(xué)習(xí)，發(fā)現(xiàn)傳統(tǒng)的PageRank算法只考慮

2、網(wǎng)頁之間的鏈接關(guān)系而忽略了網(wǎng)頁正文和鏈接文本的重要性，同時傳統(tǒng)的PageRank算法將網(wǎng)頁中的鏈接看作是互不相關(guān)的，而實際上網(wǎng)頁中的鏈接通常是以分塊的形式存在，分塊內(nèi)的鏈接在語義和功能上具有很大的相似性。因此本文通過提取網(wǎng)頁中的分塊鏈接，引入了分塊鏈接的鏈接文本與網(wǎng)頁正文的相似度，根據(jù)該相似度值賦予每個鏈接不同的權(quán)重來實現(xiàn)對PageRank算法的改進(jìn)。并設(shè)計并行的改進(jìn)PageRank算法，來適用于機(jī)群環(huán)境。
　　本文的主要研究內(nèi)容

3、如下：
　　(1)通過分析原始網(wǎng)頁，建立網(wǎng)頁的DOM樹來提取出網(wǎng)頁中的分塊鏈接，并使用空間向量模型來計算分塊鏈接中的鏈接文本與網(wǎng)頁正文的相似度，在此基礎(chǔ)上實現(xiàn)對經(jīng)典PageRank算法的改進(jìn)；
　　(2)設(shè)計實現(xiàn)了并行的改進(jìn)PageRank算法，以便能使用機(jī)群來計算每個網(wǎng)頁改進(jìn)的PageRank值；
　　(3)將計算出的改進(jìn)PageRank值應(yīng)用于Inar搜索引擎，模擬用戶的輸入，對經(jīng)典PageRank算法和改進(jìn)Pag