農(nóng)業(yè)數(shù)據(jù)異常檢驗(yàn)?zāi)Ｐ蜆?gòu)建及實(shí)證分析.pdf

1、數(shù)據(jù)是提取有效信息、制定科學(xué)決策、驅(qū)動(dòng)農(nóng)業(yè)現(xiàn)代化發(fā)展的重要力量。我國(guó)是農(nóng)業(yè)大國(guó)，農(nóng)業(yè)在國(guó)民經(jīng)濟(jì)中處于基礎(chǔ)地位，悠久的農(nóng)業(yè)歷史使我國(guó)在生產(chǎn)、流通、消費(fèi)等各個(gè)環(huán)節(jié)中都積累了豐富的數(shù)據(jù)。近年來(lái)，隨著農(nóng)業(yè)現(xiàn)代化進(jìn)程加快及鄉(xiāng)村振興戰(zhàn)略的提出，各種信息技術(shù)快速涌入農(nóng)業(yè)領(lǐng)域，農(nóng)業(yè)數(shù)據(jù)量呈現(xiàn)爆炸性增長(zhǎng)態(tài)勢(shì)。我國(guó)農(nóng)業(yè)目前因信息技術(shù)滯后、數(shù)據(jù)涵蓋面廣、數(shù)據(jù)源復(fù)雜、與時(shí)空密切相關(guān)、生產(chǎn)周期長(zhǎng)的特點(diǎn)，數(shù)據(jù)質(zhì)量問(wèn)題層出不窮，數(shù)據(jù)集中不僅存在許多一般的異常數(shù)據(jù)，還

2、存在許多看似正常，實(shí)則產(chǎn)生于完全不同機(jī)制的異常數(shù)據(jù)，數(shù)據(jù)分析工作面臨著“數(shù)據(jù)豐富、信息貧乏”的困境。在大數(shù)據(jù)時(shí)代，既無(wú)法杜絕異常數(shù)據(jù)的產(chǎn)生，也難以通過(guò)技術(shù)手段將其消除。因此，構(gòu)建異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ?，從?shù)據(jù)集中挖掘出看似正常實(shí)則異常的數(shù)據(jù)，找出其背后隱含的信息，并加以利用，力求制定出更多科學(xué)決策具有重要意義。本文以兩個(gè)異常數(shù)據(jù)檢驗(yàn)工具——Benford定律、SVR為基礎(chǔ)，構(gòu)建了Benford-SVR異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ停治隽宿r(nóng)業(yè)自然領(lǐng)域的降水

3、量數(shù)據(jù)集和社會(huì)領(lǐng)域生產(chǎn)數(shù)據(jù)集，豐富了我國(guó)農(nóng)業(yè)數(shù)據(jù)異常檢驗(yàn)的理論和技術(shù)手段，展望了異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ臀磥?lái)的發(fā)展方向。
　　首先，本文從研究背景和意義展開(kāi)，以提高異常檢驗(yàn)的效率和準(zhǔn)確率為目的進(jìn)行了相關(guān)方法研究，選擇了Benford定律和SVR兩個(gè)異常數(shù)據(jù)挖掘有效工具，闡述了Benford定律以數(shù)據(jù)集首位數(shù)為1-9的概率滿足的一個(gè)固定對(duì)數(shù)分布的特點(diǎn)篩選異常數(shù)據(jù)池的基本原理，以及SVR有強(qiáng)大的非線性映射能力，能從整體上考慮回歸曲線的平滑性，

4、不傾向于消除個(gè)別大的回歸誤差的異常點(diǎn)挖掘的方法，其次，針對(duì)Benford定律篩選異常數(shù)據(jù)集效率高，但范圍略大，而SVR挖掘異常數(shù)據(jù)點(diǎn)精度高、魯棒性高，但主要面向小樣本的特點(diǎn)，借助于組合模型的思想，構(gòu)建了Benford-SVR異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ停撃Ｐ驮贐enford定律篩選出異常數(shù)據(jù)池的基礎(chǔ)上，選定高質(zhì)量數(shù)據(jù)集作為SVR的訓(xùn)練樣本，異常數(shù)據(jù)池中的數(shù)據(jù)作為預(yù)測(cè)樣本，從中挖掘異常數(shù)據(jù)，再次，用Benford-SVR異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ蛯?duì)我國(guó)65年

5、降水量數(shù)據(jù)集、河北省7個(gè)市4年生產(chǎn)數(shù)據(jù)集進(jìn)行實(shí)證分析，得出我國(guó)降水量數(shù)據(jù)集整體及局部質(zhì)量都較高，而河北省滄州、邯鄲、邢臺(tái)數(shù)據(jù)集質(zhì)量較好，而保定、石家莊、唐山、張家口數(shù)據(jù)集可疑，并從中挖掘出異常較大的數(shù)據(jù)點(diǎn)，最后，根據(jù)實(shí)證分析結(jié)果，指出了Benford-SVR異常數(shù)據(jù)檢驗(yàn)?zāi)Ｐ褪菣z驗(yàn)農(nóng)業(yè)自然科學(xué)領(lǐng)域及社會(huì)科學(xué)領(lǐng)域的有效方法，快速準(zhǔn)確的挖掘出數(shù)據(jù)集中的異常數(shù)據(jù)點(diǎn)，但無(wú)監(jiān)督學(xué)習(xí)模式會(huì)存在偶然性誤差，后續(xù)工作中要對(duì)異常數(shù)據(jù)點(diǎn)加以識(shí)別，力求能挖掘其