基于中心向量的聚類算法在農(nóng)業(yè)信息分類中的研究與應(yīng)用.pdf

1、近年來(lái)，新疆農(nóng)業(yè)信息技術(shù)不斷地加速發(fā)展，農(nóng)村互聯(lián)網(wǎng)的使用得到了普及，網(wǎng)絡(luò)應(yīng)用也達(dá)到了新的層次，互聯(lián)網(wǎng)中海量的農(nóng)業(yè)相關(guān)知識(shí)和信息雖然為工作人員帶來(lái)了便利，但是與此同時(shí)也給信息檢索增加了難度。本文依據(jù)《新疆農(nóng)村信息采集系統(tǒng)》的需求，針對(duì)具有新疆特色的農(nóng)作物網(wǎng)頁(yè)信息進(jìn)行分類研究，來(lái)幫助農(nóng)業(yè)相關(guān)工作人員獲得更準(zhǔn)確有效的信息。
　　文中對(duì)Rocchio、kNN、SVM、和Naive Bayes四種機(jī)器學(xué)習(xí)方法進(jìn)行了研究分析，通過(guò)實(shí)驗(yàn)對(duì)聚類和

2、分類算法相結(jié)合的思想進(jìn)行了詳細(xì)且深入地研究，重點(diǎn)研究了基于中心向量的邊緣樣本刪減方法。文中的主要工作如下所示:
　　(1)用八爪魚軟件抓取具有新疆特色的農(nóng)業(yè)網(wǎng)頁(yè)并進(jìn)行分類標(biāo)注，分別為:政策法規(guī)標(biāo)記為1，農(nóng)業(yè)科技標(biāo)記為2，棉花標(biāo)記為3，玉米標(biāo)記為4，小麥標(biāo)記為5，核桃標(biāo)記為6，紅棗標(biāo)記為7，葡萄標(biāo)記為8。
　　(2)文中深入研究了文本分類的關(guān)鍵技術(shù)，最終選擇使用“庖丁解?！边M(jìn)行分詞處理，使用卡方統(tǒng)計(jì)完成特征提取，選擇各類別中分

3、值最高的前140個(gè)詞作為實(shí)驗(yàn)需要使用的特征詞，使用詞頻權(quán)重和詞頻倒文檔權(quán)重加權(quán)。文本分類技術(shù)則使用Rocchio、kNN、SVM、和Na(i)ve Bayes算法對(duì)處理好的數(shù)據(jù)有監(jiān)督的學(xué)習(xí)，并將這四類算法應(yīng)用到農(nóng)業(yè)信息分類當(dāng)中進(jìn)行實(shí)驗(yàn)及對(duì)比分析，根據(jù)四種算法結(jié)果的分析，最終結(jié)果顯示SVM和kNN效果比較理想。
　　(3)文中實(shí)現(xiàn)了K-means和SVM相結(jié)合的分類方法來(lái)減少邊緣樣本，并根據(jù)基于中心向量的思想實(shí)現(xiàn)了保留中心向量和保留

4、中心向量鄰近樣本的邊緣樣本刪減方法，分別對(duì)比了未刪減前和刪減后的訓(xùn)練時(shí)間、訓(xùn)練樣本數(shù)以及準(zhǔn)確率。
　　總結(jié)，本文對(duì)新疆特色農(nóng)作物網(wǎng)頁(yè)進(jìn)行了分類，其中訓(xùn)練集11200個(gè)，測(cè)試集4800個(gè)，分別使用Rocchio、kNN、SVM、和Naive bayes算法對(duì)網(wǎng)頁(yè)進(jìn)行分類，并通過(guò)分析各個(gè)算法的分類結(jié)果及性能得出:SVM分類在Precision、Recall和F1測(cè)度上都有較好的表現(xiàn)，但是在大數(shù)據(jù)的情況下訓(xùn)練時(shí)間長(zhǎng)。因此，文中實(shí)現(xiàn)了兩種