面向農業(yè)主題的爬蟲系統(tǒng)設計與實現(xiàn).pdf

1、我國是農業(yè)大國，在農業(yè)各個方面均擁有大量的數(shù)據(jù)，比如種植業(yè)、林業(yè)、畜牧業(yè)等。農業(yè)大數(shù)據(jù)作為一種重要的新型戰(zhàn)略資源，在農業(yè)系統(tǒng)協(xié)同、農業(yè)生產(chǎn)等方面有著重要作用，推動農業(yè)現(xiàn)代化發(fā)展。
　　農業(yè)大數(shù)據(jù)包括結構化數(shù)據(jù)和半結構化數(shù)據(jù)，隨著互聯(lián)網(wǎng)的不斷發(fā)展，我國農業(yè)網(wǎng)絡數(shù)據(jù)也越來越多，Web隨之成為獲取農業(yè)數(shù)據(jù)的主要來源，網(wǎng)絡爬蟲技術是獲取Web數(shù)據(jù)的主要方法。但是由于網(wǎng)站的日益復雜化，通用的網(wǎng)絡爬蟲爬取主題網(wǎng)頁的準確率降低，同時爬取的網(wǎng)頁失

2、去了時效性，這樣的網(wǎng)絡爬蟲越來越不能滿足用戶的需求。
　　為了提高網(wǎng)絡爬蟲的爬取效率，方便用戶使用，本文在進行充分研究和分析后設計并實現(xiàn)了一款面向Web農業(yè)數(shù)據(jù)的爬蟲系統(tǒng)，主要工作如下:
　　第一，在對農業(yè)主題Web數(shù)據(jù)進行分析的基礎上，對各種農業(yè)大數(shù)據(jù)應用項目的數(shù)據(jù)需求進行高度抽象，設計了一款面向農業(yè)主題的分布式網(wǎng)絡爬蟲系統(tǒng)。該系統(tǒng)可根據(jù)用戶給定的主題自主訓練語料庫，也可接受用戶指定的語料庫，然后基于語料庫爬取相應主題的W

3、eb數(shù)據(jù);基于Hadoop平臺，實現(xiàn)了分布式的爬取、內容抽取、分詞統(tǒng)計和存儲。
　　第二，在對特征詞提取的相關算法進行研究的基礎上，對信息增益算法進行了改進，基于潛在語義分析和信息增益的兩種方法對特征詞進行二次評估，不僅減少了數(shù)據(jù)處理量而且提高了特征詞的代表性同時小幅度提高了網(wǎng)站分類的準確率。
　　第三，對文本分類技術的相關算法進行了研究，構建了基于樸素貝葉斯算法的網(wǎng)頁分類模型，結合農業(yè)數(shù)據(jù)周期性、地域性、多樣性、季節(jié)性的特