農(nóng)業(yè)問(wèn)答系統(tǒng)中問(wèn)題分類(lèi)和相似度計(jì)算的研究.pdf

1、目前，互聯(lián)網(wǎng)上已經(jīng)積累了龐大的農(nóng)業(yè)數(shù)據(jù)信息，如何把這些農(nóng)業(yè)大數(shù)據(jù)信息進(jìn)行有效的利用成為現(xiàn)在急需解決的問(wèn)題。農(nóng)業(yè)問(wèn)答系統(tǒng)是一種可以主動(dòng)將農(nóng)業(yè)用戶(hù)遇到的問(wèn)題進(jìn)行分析理解，然后在系統(tǒng)語(yǔ)料庫(kù)中尋找相近的問(wèn)題，最后返回農(nóng)業(yè)用戶(hù)需要的答案。與現(xiàn)有的在因特網(wǎng)上直接搜索信息的方式相比，問(wèn)答系統(tǒng)更適合利用農(nóng)業(yè)大數(shù)據(jù)幫助農(nóng)民獲得農(nóng)作物生產(chǎn)方面的知識(shí)。論文主要針對(duì)互聯(lián)網(wǎng)上農(nóng)業(yè)社區(qū)網(wǎng)站的問(wèn)答數(shù)據(jù)，對(duì)問(wèn)答系統(tǒng)中問(wèn)題分類(lèi)和相似度計(jì)算進(jìn)行了如下的一些研究:
　

2、　(1)在問(wèn)題分類(lèi)方面，論文主要分析了分類(lèi)過(guò)程中現(xiàn)有的特征選擇方法存在的一些弊端，以及其在面對(duì)不均衡數(shù)據(jù)時(shí)的缺陷，再結(jié)合農(nóng)業(yè)領(lǐng)域問(wèn)句的特點(diǎn)，提出了一種基于類(lèi)間概率分布的互信息特征選擇方法，通過(guò)計(jì)算每個(gè)詞在各個(gè)類(lèi)中的頻率既可以解決類(lèi)間數(shù)據(jù)分布不均衡的問(wèn)題，還可以降低那些出現(xiàn)頻次低的詞的權(quán)重。論文提到三種類(lèi)間概率分布，分別為方差、極差，最大值與次大值的差，通過(guò)設(shè)置對(duì)比實(shí)驗(yàn)選出三種類(lèi)間詞頻分布中最合適的分布，然后將之與互信息結(jié)合作為新的特征選

3、擇方法。
　　(2)在相似度計(jì)算方面，論文主要根據(jù)常用的一些算法存在的問(wèn)題，提出了一種以word2vec-LSI模型為基礎(chǔ)的相似度計(jì)算方法。該方法在相似度計(jì)算之前先將文本中的特征詞進(jìn)行聚類(lèi)，并計(jì)算每個(gè)特征詞類(lèi)的中心詞，然后利用計(jì)算出的中心詞將原文本轉(zhuǎn)換成詞-問(wèn)題矩陣，矩陣中的元素為對(duì)應(yīng)位置的中心詞的TF-IDF值，最后將問(wèn)題中的詞轉(zhuǎn)換成向量并疊加求均值后與詞-文檔矩陣首尾相接作為新的文本表示。在構(gòu)建好新的文本表示之后，使用LSI模