Nutch搜索引擎中網(wǎng)頁排序技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,搜索引擎已經(jīng)成為人們獲取網(wǎng)絡(luò)信息的主要工具。研究搜索引擎網(wǎng)頁排序的目的是從眾多搜索結(jié)果中將內(nèi)容相關(guān)和權(quán)威的網(wǎng)頁排在前面,幫助用戶迅速定位需要的網(wǎng)絡(luò)資源。網(wǎng)頁排序算法直接影響到搜索引擎信息檢索的準(zhǔn)確率和用戶使用滿意度。Nutch是基于Java實現(xiàn)的開源搜索引擎。通過對Nutch進(jìn)行深入研究,指出其目前存在的兩大問題,其一是沒有實現(xiàn)PageRank算法,影響了最終排序效果;其二是對中文進(jìn)行單字切分,影響了查詢結(jié)果準(zhǔn)

2、確率。
　　 首先,針對目前Nutch搜索引擎中沒有實現(xiàn)網(wǎng)頁P(yáng)ageRank計算的問題,利用MapReduce并行計算模型處理大數(shù)據(jù)集的優(yōu)勢,在Nutch機(jī)群系統(tǒng)上設(shè)計和實現(xiàn)了基于MapReduce的PageRank分布式并行算法。實驗結(jié)果表明:處理的數(shù)據(jù)量越大,機(jī)群中的節(jié)點越多,計算PageRank的效率越高;另外,該分布式并行算法具有較好的可擴(kuò)展性。然后,針對目前Nutch對中文進(jìn)行單字切分的問題,加入了JE中文分詞器對Nu