基于Hadoop的搜索引擎關鍵技術研究.pdf

1、隨著社會信息化程度不斷提高，各行各業(yè)與網(wǎng)絡的聯(lián)系越來越緊密，由此而產(chǎn)生的網(wǎng)絡信息每天都以指數(shù)級增長。在海量的網(wǎng)絡信息資源中，通用搜索引擎的檢索結果出現(xiàn)雜、亂、多的現(xiàn)象，快速并且精確地找到用戶所需的信息因此變得日益困難。通用搜索引擎對搜索數(shù)據(jù)的排序展示都受到商業(yè)影響同時也有搜索結果網(wǎng)頁數(shù)據(jù)量大，無法體現(xiàn)關鍵字專業(yè)性的缺陷。由此針對特定行業(yè)特定需求的垂直搜索引擎應運而生，但大多數(shù)中小型企業(yè)并非互聯(lián)網(wǎng)公司，沒有人力和時間像百度谷歌那樣做出高效

2、的搜索產(chǎn)品，同時互聯(lián)網(wǎng)通用搜索引擎也不能完全滿足企業(yè)的搜索要求，存在信息無法及時檢索到，企業(yè)內部信息出于安全考慮也不能交給通用搜索引擎爬取數(shù)據(jù)。因此如何為那些具備一定的數(shù)據(jù)集，但開發(fā)能力較弱的中小型企業(yè)提供高效的搜索計算服務，使其擺脫“信息迷航”和“信息過載”帶來的困擾，成為搜索領域研究的熱點和難點。本文首先介紹了搜索引擎的發(fā)展歷史，和比較流行的開源搜索引擎組件Hadoop,Nutch 和 Solr。然后深入研究了網(wǎng)頁鏈接排序算法 Pa

3、geRank，在分析了傳統(tǒng)PageRank算法的代數(shù)原理和分布式實現(xiàn)后，針對其平均分配權值的缺陷，本文提出了一種結合網(wǎng)頁本體內容和鏈接關系的PR轉移概率分配策略。之后詳細介紹了分布式爬蟲Nutch的內部結構和功能模塊后，將其與Hadoop平臺結合通過MapReduce的方式完成網(wǎng)絡數(shù)據(jù)的并發(fā)下載，具有爬取速度快，爬取網(wǎng)頁量大的特點。數(shù)據(jù)檢索和數(shù)據(jù)索引是搜索引擎的重要部分，其性能直接影響到企業(yè)的數(shù)據(jù)處理量和用戶體驗。Solr 作為封裝了

4、Lucene 的搜索接口具有很好的搜索和索引能力，在介紹了 solr 的架構和特點后，設計了一種分布式的集群框架，利用 Solr 作為檢索工具，具有可擴展能力和容錯能力強，能處理海量檢索請求等優(yōu)勢，實現(xiàn)了分布式垂直搜索引擎雛形。通過實驗對比單機搜索，證明在網(wǎng)頁數(shù)據(jù)達到兩萬甚至更高時，分布式搜索在數(shù)據(jù)爬取，數(shù)據(jù)索引和數(shù)據(jù)檢索上消耗的時間大大小于單機搜索時的時間消耗，在將搜索結果結合改進的PageRank 算法和向量空間模型算法進行網(wǎng)頁打分