基于MapReduce的全文檢索系統(tǒng)設計與實現(xiàn).pdf

1、在上世紀90年代，以因特網(wǎng)為代表的計算機網(wǎng)絡還是少量研究人員使用的高深技術，但是很快就和計算機硬件一起以極其驚人的速度進入到普通民眾的生活中。同時，計算機上產(chǎn)生的數(shù)據(jù)越來越多。如何在大量信息中找到有用信息成為研究者們關注的焦點。這過程中一批通用搜索引擎誕生，例如Google、Yahoo、百度等。搜索引擎的發(fā)展越來越呈現(xiàn)出被少數(shù)幾個公司掌控的局面，而通用搜索引擎在機構內(nèi)部常常無法滿足用戶的搜索需求。
　　本文采用開源的Apache分

2、布式框架Hadoop與全文檢索引擎框架Lucene來完成在相對規(guī)模較大、產(chǎn)生文件量較多的局域網(wǎng)范圍內(nèi)實現(xiàn)分布式搜索引擎。設計方案主要分為三個部分:第一部分針對用戶提交的源文件建立索引，存儲到HDFS中，提出了分類策略，針對不同文件格式分別建立索引，獨立存儲索引文件，解決了以往單機環(huán)境下索引數(shù)據(jù)量過大而成為服務器處理瓶頸的問題，同時還保存了源文件的分類特征;第二部分根據(jù)用戶提交的檢索關鍵詞，在第一部分建立的分類索引文件中檢索出結果后返回給

3、用戶，本文提出采用基于遠程過程調(diào)用進行數(shù)據(jù)統(tǒng)計的方式解決了分布式環(huán)境下衡量檢索關鍵詞與檢索結果相關性計算中部分計算因子在獲取上存在障礙的問題;第三部分利用用戶檢索的歷史結果，提供用戶在歷史檢索結果中快速檢索。
　　本文針對響應速度的要求，借鑒操作系統(tǒng)中緩存的思想，充分利用用戶的歷史檢索記錄挖掘用戶檢索行為規(guī)律，提出基于歷史檢索記錄的快速檢索方案，該方案針對被常檢索到的文件，建立單獨的索引進行存儲，在用戶選擇快速檢索時將優(yōu)先在該基于