基于Nutch的學術搜索引擎的研究與實現(xiàn).pdf

1、近年來，隨著計算機技術的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)從各方面影響著人們的工作和生活。為了更好的使用互聯(lián)網(wǎng)資源，搜索引擎應運而生。但是傳統(tǒng)的通用搜索引擎存在著網(wǎng)絡覆蓋率低、查準率差、錯誤導航等諸多問題，因此又出現(xiàn)了針對某一特定領域提供檢索服務的垂直搜索引擎。在學術領域，為了充分利用研究機構與研究人員等通過網(wǎng)絡共享的大量學術資源，有不少針對學術領域的垂直搜索引擎也相繼出現(xiàn)。但是，由于更新時間滯后、瀏覽與下載權限控制和時效性較差等原因，目前還沒有出現(xiàn)

2、類似通用的Google搜索引擎那樣使用率非常高的面向?qū)W術領域的垂直搜索引擎。
　　針對以上實際情況，本文研究并實現(xiàn)了一個新的面向?qū)W術領域的垂直搜索引擎，基于Nutch實現(xiàn)的該學術搜索引擎能夠為用戶提供時效性較強且與主題較相關的檢索結果，并通過用戶定制功能保證了系統(tǒng)的更新頻率。本文的主要工作包括以下幾個方面:
　　(1)為了保證信息搜集范圍的廣泛性，本文的學術搜索引擎在爬取模塊采用了全網(wǎng)爬取的方式，這打破了一些面向?qū)W術領域的搜

3、索引擎僅針對部分學術網(wǎng)站進行信息搜集的局限性。在全網(wǎng)爬取的前提下，本文為學術搜索引擎實現(xiàn)了主題爬取功能。主題爬取模塊引入了網(wǎng)頁主題相關性過濾機制，采用了一種基于語義引力的相似度計算方法，該算法通過計算網(wǎng)頁與主題相關詞的相似程度，來判定網(wǎng)頁與主題的相關程度。這種在爬取階段就進行主題判斷的方式，是目前實現(xiàn)垂直搜索引擎的最佳方式。全網(wǎng)環(huán)境下的主題爬取模塊的實現(xiàn)，既保證了所搜集網(wǎng)頁的主題相關性，又使得本文的學術搜索引擎具備了發(fā)現(xiàn)互聯(lián)網(wǎng)中新的主題

4、相關網(wǎng)站的能力。
　　(2)在解析模塊，本文實現(xiàn)了基于模板的通用網(wǎng)頁解析器，該解析器克服了解析模板對網(wǎng)頁和網(wǎng)站結構的依賴性，實現(xiàn)了模板創(chuàng)建過程的半自動化，因此它具有一定的通用性。此外，該模板解析器可以通過定制解析來定向收集用戶感興趣的網(wǎng)頁信息（如網(wǎng)頁更新時間），因此該模板解析器能夠被定制以應用于不同的搜索引擎之中。
　　(3)本文成功的完成了Nutch原有的Lucene索引結構的重新構建，為學術搜索引擎的索引文件添加了自定義

5、的date域，并在檢索模塊實現(xiàn)了基于該時間域的排序方法，從而為學術搜索引擎添加了按網(wǎng)頁時效性進行檢索的功能。此外，檢索模塊還實現(xiàn)了綜合考慮網(wǎng)頁內(nèi)容重要性和網(wǎng)頁鏈接重要程度的排序方法，克服了一些面向?qū)W術領域的搜索引擎在排序方面的不足。
　　(4)用戶定制模塊實現(xiàn)了管理和配置整個學術搜索引擎的功能，實現(xiàn)了系統(tǒng)運行參數(shù)、種子URL的可視化配置，并允許用戶通過關鍵詞定制和篩選種子URL。此外，該部分還提供了種子URL推薦功能，用戶可以向?qū)W

6、術搜索引擎推薦新的種子URL。在配置完成后，用戶可以通過用戶定制模塊直接運行學術搜索引擎，這種易用性使得用戶可以根據(jù)實際需要確定系統(tǒng)的更新頻率，從而保證了檢索信息的時效性。
　　經(jīng)過實際部署與應用的基于Nutch的學術搜索引擎取得了預期的效果，通過分析學術搜索引擎的檢索結果，驗證了引擎系統(tǒng)各個模塊的主要功能。用戶可以通過學術搜索引擎檢索到與自己關注領域更相關且時效性更強的資訊信息。同時，基于Nutch的學術搜索引擎還具有良好的擴展