基于MapReduce的Web鏈接結(jié)構(gòu)分析算法研究.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，Web網(wǎng)頁信息正在呈現(xiàn)指數(shù)級(jí)的增長(zhǎng)趨勢(shì)。面對(duì)如此巨大的Web信息資源庫，搜索引擎已成為用戶獲取網(wǎng)絡(luò)信息資源的重要工具。Web鏈接結(jié)構(gòu)分析算法，作為網(wǎng)絡(luò)搜索引擎的重要組成部分，用于通過分析Web頁面間鏈接結(jié)構(gòu)來對(duì)Web網(wǎng)頁信息做潛在的重要性評(píng)估。然而，隨著數(shù)據(jù)計(jì)算量的不斷增加，傳統(tǒng)集中式架構(gòu)的Web鏈接結(jié)構(gòu)分析算法不僅在計(jì)算和存儲(chǔ)方面存在著瓶頸，且存在系統(tǒng)的穩(wěn)定性和擴(kuò)展性不高等問題。近年來，處理海量數(shù)據(jù)的Ha

2、doop分布式平臺(tái)，以其可靠性、高效性、高擴(kuò)展性等優(yōu)勢(shì)，已成為學(xué)術(shù)界研究的熱點(diǎn)。深入研究Web鏈接結(jié)構(gòu)分析的經(jīng)典算法PageRank、HITS，以及Hadoop、Map/Reduce等理論知識(shí)，將Web鏈接結(jié)構(gòu)分析算法和Hadoop平臺(tái)相結(jié)合，并做了如下工作:
　　1.在Hadoop平臺(tái)上，對(duì)PageRank算法每次迭代都要多次訪問HDFS，I/O的消耗大;每次MapReduce操作，在混合階段和排序階段處理Key的數(shù)量大，算法效

3、率低等問題進(jìn)行研究。并提出了基于塊結(jié)構(gòu)劃分的方法，將網(wǎng)頁之間的鏈接關(guān)系轉(zhuǎn)換成網(wǎng)絡(luò)塊間的關(guān)系，大大減少了算法迭代過程中需要處理的Key的數(shù)據(jù)量，從而減少了Map和Reduce操作的調(diào)用次數(shù)，降低了I/O傳輸造成的開銷，提高算法執(zhí)行效率。
　　2.在Hadoop分布式平臺(tái)上，對(duì)傳統(tǒng)HITS算法矩陣存儲(chǔ)鏈接結(jié)構(gòu)以及規(guī)范化處理效率低問題進(jìn)行研究，根據(jù)Hadoop平臺(tái)特性，重新設(shè)計(jì)為基于MapReduce的HITS算法，改變結(jié)點(diǎn)信息的存儲(chǔ)方