中文農(nóng)業(yè)網(wǎng)頁多分類方法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)的普及,農(nóng)業(yè)信息化的建設(shè)、服務(wù)及水平都得到了極大的促進與提高?；ヂ?lián)網(wǎng)中海量、無序和繁雜的農(nóng)業(yè)信息在為農(nóng)業(yè)從業(yè)人員帶來便利的同時,也增加了獲取有效信息的難度。如何對這些農(nóng)業(yè)信息進行有效的分類管理,從而方便農(nóng)民朋友及時、準確地從中獲取需要的實際信息,成為農(nóng)業(yè)信息化領(lǐng)域研究的重要課題。本文的主要工作包括:
　　1)深入研究了文本分類的關(guān)鍵技術(shù),主要包括:文本預(yù)處理、中文分詞、特征提取方法、特征加權(quán)算法、機器

2、學習算法以及分類評價標準技術(shù),以農(nóng)業(yè)網(wǎng)頁的語料庫為基礎(chǔ),對文本多分類技術(shù)、特征提取算法、特征加權(quán)算法和機器學習算法進行了重點研究。
　　2)對中文農(nóng)業(yè)網(wǎng)頁進行了分類標準定義,構(gòu)建出中文農(nóng)業(yè)網(wǎng)頁語料庫。并從導航頁面類、農(nóng)業(yè)新聞類、政策法規(guī)類、農(nóng)業(yè)科技類和市場信息類五種類別的農(nóng)業(yè)網(wǎng)頁中分別隨機抽取1000張網(wǎng)頁共5000張網(wǎng)頁作為多分類實驗的訓練樣本集,同時還分別隨機抽取了500張網(wǎng)頁共2500張網(wǎng)頁作為多分類實驗的測試樣本集。

3、>　　3)首先利用HTMLParser解析器對樣本集網(wǎng)頁進行預(yù)處理,利用庖丁解牛分詞器軟件對已經(jīng)預(yù)處理的網(wǎng)頁進行分詞、去除停用詞處理;其次利用卡方統(tǒng)計方法進行特征提取,選擇各類分值中最大的前300個詞作為實驗特征詞,利用布爾權(quán)重、詞頻權(quán)重和詞頻倒文檔頻權(quán)重對特征進行加權(quán);然后利用多元線性回歸、樸素貝葉斯、K最臨近和支持向量機四種機器學習方法對三種不同權(quán)值的特征向量空間進行有監(jiān)督學習;最終得到了12組中文農(nóng)業(yè)網(wǎng)頁的多分類模型。
　　

4、4)從基于相同機器學習方法、不同特征權(quán)重的角度,分析比較了12組多分類模型回測預(yù)測時的查準率、查全率和F1測度。結(jié)果表明:沒有哪種特征加權(quán)方法對分類效果有絕對優(yōu)勢,三種特征權(quán)重在不同機器學習分類模型中各有優(yōu)劣。從基于相同特征權(quán)重、不同機器學習方法的角度進行的分析對比,結(jié)果表明:K最臨近算法學習能力(回測)最好,結(jié)合詞頻權(quán)值獲得的模型,準確率、召回率及F1測度均可達到100％;支持向量機推廣能力或泛化能力(預(yù)測)最好,結(jié)合布爾權(quán)值獲得的模

5、型,準確率、召回率及F1測度均可達到99%左右。
　　總結(jié),本文基于中文農(nóng)業(yè)網(wǎng)頁語料庫隨機抽取的5000張訓練樣本和2500張測試樣本,使用文本分類技術(shù)中的特征加權(quán)算法與機器學習算法對農(nóng)業(yè)網(wǎng)頁的多分類技術(shù)進行了深入研究。通過對實驗結(jié)果的分析與對比,結(jié)果表明:使用支持向量機算法結(jié)合布爾權(quán)值獲得的分類器模型,對農(nóng)業(yè)網(wǎng)頁語料庫有最好的多分類效果。樣本回測時,準確率、召回率及F1測度均可達到99.9%;樣本預(yù)測時,準確率、召回率及F1測度