基于Nutch的垂直搜索引擎研究與實現.pdf

1、隨著Web信息量的飛速增長，越來越多的人希望能夠快速且有效地找到自己所需要的與特定領域主題有關的信息，目前通用搜索引擎(search engine)面臨著空前的挑戰(zhàn)。垂直搜索引擎(vertical search engine)由于僅僅采集用戶指定的、與某一特定主題相關的信息，過濾不相關的信息，以構筑某一主題或學科領域的Web信息資源庫為目標，并在查詢結果排序時給予主題相關度高的網頁更高的優(yōu)先級，具有很高的實用價值和廣闊的應用領域，因而成

2、為目前網絡信息檢索領域的研究熱點之一。
　　 Nutch是一個開源(open source)的Web搜索引擎，它將盡自己最大的努力為用戶提供最好的搜索結果。本文在Nutch平臺上實現了中文分詞插件，從而使Nutch具有中文信息處理能力。此外分析并研究了目前常用的主題相關度判別方法，在系統(tǒng)實現中采用了基于向量空間模型的主題相關度判別算法，并對該算法進行改進，加入元數據判別機制和重要標簽所包含關鍵詞的加權處理。分析了“隧道現象”的成

3、因和目前的處理方式，在Nutch原有的爬蟲部分源代碼加入“隧道處理”機制，以處理主題網頁分離的問題，并且修改了檢索結果排序的源代碼，在原有的基于鏈接相關度評分的基礎上加入了根據頁面主題相關度評分，使其更適應垂直搜索引擎的要求。最終本文實現了一個港口物流信息垂直搜索引擎，從而實現了各個港口物流信息的快捷查詢和共享。實驗結果表明這些改進提高了主題判別的準確度和效率，使信息的定位和查找更加的精確，減少了不相關信息的干擾，并提高了系統(tǒng)對于互聯網