基于Nutch的農業(yè)垂直搜索引擎的研究.pdf

1、目前，互聯網技術發(fā)展迅速，網絡信息資源迅速增加，搜索引擎為人們查詢互聯網信息提供了極大的便利。在我國，農村人口眾多，農業(yè)又是基礎產業(yè)，加快農業(yè)信息化的建設步伐有助于有效的解決“三農”問題，整合農業(yè)信息資源，使我國農業(yè)逐步走向信息農業(yè)。有效的解決農業(yè)用戶在生產、生活中遇到的各種農業(yè)問題，可以促進農業(yè)信息化的發(fā)展，本文研究和開發(fā)了一個農業(yè)領域的搜索引擎。
　　本文是基于開源軟件Nutch進行開發(fā)的。Nutch是一個基于java語言的開

2、源項目，是一個輕量級且運行穩(wěn)定的搜索引擎，有著較高的查全率和查準率。不過，Nutch在網頁解析方面和摘要提取方面存在不足，不能滿足農業(yè)用戶的搜索要求，本文對Nutch的這兩個方面進行了改進，并實現了搜索詞的查詢擴展功能。
　　論文的主要工作如下:
　　(1)在網頁抓取策略中，采用廣度優(yōu)先算法進行網頁信息的抓取，通過對爬行層數進行限制，可以盡可能多的抓取農業(yè)網站的網頁信息。
　　(2)在網頁解析技術中，采用STU-DOM

3、樹模型，利用HTML解析器將HTML轉換為一棵具有語義屬性的DOM樹，通過對其進行結構的過濾和內容的剪枝，保留與主題相關的節(jié)點信息，實現網頁主題信息的提取功能。
　　(3)在摘要提取技術中，采用基于統計的摘要提取方法進行文本摘要的提取。摘要的提取過程是以文本的形式特征為基礎的，通過對文本進行分句，統計詞頻，計算出詞的權重和句子的權重，從而確定出摘要句，按照摘要句在文本中出現的先后順序，依次輸出，形成最終的摘要，實現摘要的提取功能。

4、
　　(4)在查詢擴展技術中，通過構建農業(yè)領域本體，實現對農業(yè)用戶查詢詞的擴展。首先構建農業(yè)領域本體，并根據農業(yè)本體中各概念的層次關系，獲取農業(yè)用戶檢索詞的同義詞、下位詞和實例等相關詞，實現了語義層面的查詢擴展。
　　本文研究和設計的基于Nutch的農業(yè)垂直搜索引擎在河北省鹽山進行了應用，結果表明搜索技術可以實現農業(yè)信息資源的整合，有效的過濾了與農業(yè)無關的網頁信息，當用戶檢索農業(yè)信息時，本系統能夠對搜索結果進行摘要的提取，方