大豆主題垂直搜索引擎關鍵技術的研究與設計.pdf

1、隨著互聯(lián)網(wǎng)技術的快速發(fā)展，網(wǎng)絡信息資源呈現(xiàn)出爆炸性增長態(tài)勢，如何快速找到滿足用戶需求的信息成為越來越重要的問題。目前，搜索引擎已成為互聯(lián)網(wǎng)最重要的應用之一，傳統(tǒng)的通用搜索引擎為所有用戶提供統(tǒng)一接口，但隨著信息量的持續(xù)增長，其已不能滿足特定領域用戶對信息準確性、實時性和深度等多方面的個性化需求，因而，專門用來查詢某一學科領域或主題的搜索引擎即“垂直搜索引擎”應運而生，并得到快速的發(fā)展和廣泛的應用。
　　 本課題來源于星火計劃項目，

2、立足于糧食主產區(qū)農業(yè)現(xiàn)實狀況，針對農業(yè)信息化中普遍存在的信息資源共享程度低的問題，尤其是大豆產業(yè)信息化建設，為從事大豆生產加工、科研及流通工作的人員提供共享數(shù)據(jù)資源。本文采用垂直搜索技術對互聯(lián)網(wǎng)上農業(yè)領域中的大豆相關信息進行采集、過濾，為以“中國大豆網(wǎng)”為標志的門戶網(wǎng)站構建大豆信息庫，同時，設計了面向大豆主題的垂直搜索引擎構架，對其關鍵技術開展研究，并實現(xiàn)了原型系統(tǒng)。本文的主要研究內容如下:
　　 (1)首先，明確本文研究目的和

3、意義，分析垂直搜索引擎以及其在農業(yè)領域中應用的研究現(xiàn)狀和動態(tài);其次，對通用搜索引擎和垂直搜索引擎的發(fā)展、結構、原理以及各自的優(yōu)劣進行分析、比較，并基于大豆主題，對主題搜索引擎的系統(tǒng)結構進行設計。
　　 (2)網(wǎng)頁信息采集的核心是網(wǎng)絡蜘蛛，其自動地在互聯(lián)網(wǎng)上按照一定的搜索策略進行搜索爬行，并將搜集的信息存儲到本地。主題網(wǎng)絡蜘蛛與通用網(wǎng)絡蜘蛛最大的區(qū)別是，前者是有選擇地抓取主題相關的頁面，而后者則是“見網(wǎng)頁就抓”。本文對主題網(wǎng)絡蜘蛛

4、的結構、原理、搜索策略以及主題相關度分析算法進行深入研究和分析，考慮鏈接錨文本和網(wǎng)頁標題對相關度的影響以及鏈接陷阱問題，對已有的鏈接分析算法進行改進。
　　 (3)索引可以提高檢索效率，本文索引能夠有效提高管理與審核模塊加載數(shù)據(jù)的速度。索引對象是經(jīng)過中文分詞處理的網(wǎng)頁文檔，中文分詞就是將連續(xù)的字序列拆分成詞序列的過程。本文對已有的分詞算法和倒排索引技術以及開源Lucene索引框架的索引過程和搜索過程進行研究，由于Lucene自帶

5、的中文分詞不夠精確，因此，采用基于IKAnalyzer分詞的Lucene索引框架。
　　 (4)基于上述研究，按照軟件工程學的理論對面向大豆主題的垂直搜索引擎原型系統(tǒng)進行實現(xiàn)，主要是對該系統(tǒng)中的網(wǎng)頁信息采集、索引和管理與審核模塊進行實現(xiàn)，最終為大豆門戶網(wǎng)站提供大豆相關數(shù)據(jù)。
　　 綜上所述，本文以國內主要大豆網(wǎng)站為初始抓取的目標網(wǎng)站（如中國農產品交易網(wǎng)、中國糧油信息網(wǎng)、黑龍江省農業(yè)信息網(wǎng)、天下糧倉等），基于Java技術對