基于MapReduce的個性化PageRank算法研究.pdf

1、近年來,隨著計算機處理能力的不斷提高,互聯(lián)網(wǎng)技術(shù)取得了飛速發(fā)展,各種基于Web2.0技術(shù)的新興網(wǎng)絡(luò)應(yīng)用的出現(xiàn)使得越來越多的數(shù)據(jù)被收集和整合在一起,互聯(lián)網(wǎng)中的網(wǎng)頁數(shù)目激增。在當今以信息化為主要標志的時代里,海量的數(shù)據(jù)是社會寶貴而又重要的財富?；ヂ?lián)網(wǎng)上的信息量呈現(xiàn)指數(shù)式上升,互聯(lián)網(wǎng)上到處都是垃圾郵件和多余信息,人們必須消耗大量時間,尋找有用信息?，F(xiàn)在大量冗余信息已嚴重影響人們獲取信息的效率,所以,快捷、方便、高效地獲取所需信息成為越來越多用

2、戶和運營商關(guān)心的一個焦點問題。隨著互聯(lián)網(wǎng)的發(fā)展,通過檢索獲得信息已經(jīng)融入到普通人的日常生活之中了。
　　本文首先對基于MapReduce的個性化PageRank算法相關(guān)背景和理論進行了闡述,然后分析并總結(jié)了MapReduce框架下的個性化PageRank算法的研究現(xiàn)狀。在此基礎(chǔ)上,進一步對基于MapReduce的個性化PageRank算法進行了更深一層的研究,著重分析算法中影響性能和效果的瓶頸因素,即迭代次數(shù)和I/O成本并非最優(yōu),

3、進而提出了歸并算法。然后對歸并算法進行分析,包括算法的正確性分析、迭代次數(shù)分析和I/O成本分析。通過分析得出在所有隨機游走算法中,歸并算法的迭代次數(shù)最優(yōu),I/O成本也比舍入算法和SQRT算法要好。最后,本文使用SougouQ數(shù)據(jù)集,在MapReduce編程模型上實現(xiàn)個性化PageRank算法及其改進算法,并對所獲得的實驗數(shù)據(jù)進行對比和分析。通過對所需的機器時間、時鐘時間和準確性的比較,表明了歸并算法的可行性、合理性。改進后的算法不僅具有