農(nóng)產(chǎn)品價(jià)格主題搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，面對龐大雜亂的網(wǎng)絡(luò)信息，人們從中獲取信息變得越來越艱難，而搜索引擎的出現(xiàn)為人們從互聯(lián)網(wǎng)獲取信息打開了一個(gè)新的窗口。搜索引擎是指按照特定的算法從因特網(wǎng)上獲取數(shù)據(jù)的計(jì)算機(jī)程序，它對數(shù)據(jù)進(jìn)行處理后，提供給用戶查詢使用?；ヂ?lián)網(wǎng)上的數(shù)據(jù)浩瀚如煙、雜亂無章，用戶想要從中找出自己想要的信息異常艱難，而搜索引擎就如黑夜里的燈塔，為用戶指引方向。
　　主題搜索引擎是針對特定領(lǐng)域的搜索引擎，是通用搜索引擎的分支，是對互聯(lián)網(wǎng)上某類

2、頁面的整合，抽取出該領(lǐng)域需要的信息，并將這些信息以結(jié)果頁面的形式返回給用戶的系統(tǒng)。主題搜索引擎能夠在特定行業(yè)給用戶提供更好的體驗(yàn)，而且具有專業(yè)性強(qiáng)、成本低、針對性強(qiáng)等特點(diǎn)。
　　農(nóng)業(yè)搜索引擎是主題搜索引擎的一種，是國家農(nóng)業(yè)信息化發(fā)展的一個(gè)重要部分，但使用現(xiàn)有的農(nóng)業(yè)搜索引擎對農(nóng)產(chǎn)品價(jià)格進(jìn)行檢索時(shí)，返回的信息多為農(nóng)產(chǎn)品交易信息，雖然提供了便捷的交易平臺，卻不適合農(nóng)業(yè)生產(chǎn)者分析行情。鑒于此現(xiàn)狀，本文借鑒了國內(nèi)外學(xué)者對主題搜索引擎的最新研

3、究成果，并對與農(nóng)業(yè)相關(guān)的搜索引擎進(jìn)行了研究，設(shè)計(jì)了面向農(nóng)產(chǎn)品價(jià)格的主題搜索引擎。
　　本文的主要工作如下。
　　(1)研究了農(nóng)業(yè)相關(guān)搜索引擎的功能，發(fā)現(xiàn)使用現(xiàn)有農(nóng)業(yè)搜索引擎對農(nóng)產(chǎn)品價(jià)格進(jìn)行檢索時(shí)，返回結(jié)果更多的是農(nóng)業(yè)交易信息，不便于農(nóng)業(yè)工作者從中獲取信息，因此本文提出了農(nóng)產(chǎn)品價(jià)格主題搜索引擎，便于農(nóng)業(yè)工作者更加快捷地獲取農(nóng)產(chǎn)品價(jià)格的相關(guān)信息;
　　(2)分析了近年農(nóng)業(yè)搜索引擎的研究成果，研究了主題搜索引擎的關(guān)鍵技術(shù)和算

4、法，根據(jù)頁面的父網(wǎng)頁、兄弟網(wǎng)頁和頁面描述信息對主題相關(guān)度進(jìn)行了預(yù)判，并使用主題相關(guān)度預(yù)判算法對爬蟲抓取策略提出了改進(jìn);
　　(3)使用HttpClient和htmlparser為本系統(tǒng)量身定做了一個(gè)功能全面、結(jié)構(gòu)清晰的主題網(wǎng)絡(luò)爬蟲，爬蟲使用本文提出主題相關(guān)度預(yù)判算法來決定是否下載頁面，提高了爬蟲的抓取效率;
　　(4)利用農(nóng)產(chǎn)品價(jià)格樣本得到一個(gè)SVM分類器，將SVM分類器的支持向量SV作為KNN分類器的訓(xùn)練樣本，構(gòu)建一個(gè)基于