基于MPI的分布式搜索引擎系統(tǒng)研究.pdf

1、伴隨著互聯(lián)網的普及和網絡信息的爆炸式增長，人們查閱資料己不是依靠有限范圍內的網站來尋找，而是依靠搜索引擎對信息海洋中的海量數(shù)據(jù)進行訪問了。搜索引擎技術已經成為互聯(lián)網發(fā)展必不可少的核心技術，它的作用越來越重要。然而現(xiàn)有的搜索引擎大多是集中式的，已經不能很好地適應網絡的進一步發(fā)展，分布式技術是下一代搜索引擎的發(fā)展趨勢。
　　 本文在分析傳統(tǒng)搜索引擎技術不足的基礎上，提出一種基于MPI(Message PassingInterface

2、)的分布式搜索引擎系統(tǒng)。該系統(tǒng)主要由并行網頁抓取和分布式建立索引兩部分組成。首先，詳細介紹了網頁并行抓取的設計和實現(xiàn)，包括它的系統(tǒng)框架、主要模塊、運行流程和URL調度算法。URL調度算法采用散列計算，不僅實現(xiàn)了負載平衡，而且在一定程度上避免了沖突。然后，通過分析索引數(shù)據(jù)庫在搜索引擎時效性及有效性方面的重要作用，提出一種多進程并行分詞建立索引的方法。該方法以中文網頁數(shù)據(jù)庫為基本語料庫，采用正向最大匹配法進行中文分詞，并用一種高效的倒排索引