基于Hadoop的農(nóng)產(chǎn)品質(zhì)量監(jiān)控平臺及資源調(diào)度算法的研究.pdf

1、近年來，農(nóng)產(chǎn)品質(zhì)量安全問題屢見不鮮，已經(jīng)引起了社會廣泛關注，農(nóng)產(chǎn)品質(zhì)量安全監(jiān)控體系的構(gòu)建迫在眉睫。通過農(nóng)村信息化監(jiān)管平臺的建設可以有效地對農(nóng)產(chǎn)品質(zhì)量安全進行監(jiān)管，傳統(tǒng)的相關技術在后端采用單節(jié)點數(shù)據(jù)庫的方式對監(jiān)管數(shù)據(jù)進行采集與處理，遇到海量數(shù)據(jù)時處理和響應速度都變得非常慢，很難突破當前對農(nóng)產(chǎn)品質(zhì)量監(jiān)管過程中遇到的性能瓶頸，在實際中并不可行。因此，將當下云計算的相關技術應用于農(nóng)產(chǎn)品監(jiān)管平臺之上并系統(tǒng)地提出構(gòu)建基于云計算的農(nóng)產(chǎn)品安全監(jiān)管平臺的

2、整體框架及其資源調(diào)度策略成了文本需要重點研究的問題。
　　為了構(gòu)建農(nóng)產(chǎn)品安全監(jiān)控平臺的整體框架，本文分層介紹了平臺在各層的功能以及相關技術實現(xiàn)手段，對平臺的數(shù)據(jù)存儲和分布式處理作了詳細設計，同時，設計了用于監(jiān)測農(nóng)產(chǎn)品的超標屬性指標的函數(shù)。緊接著，針對農(nóng)產(chǎn)品數(shù)據(jù)的存儲與處理，將Hadoop并行處理框架與分布式存儲系統(tǒng)應用于農(nóng)產(chǎn)品監(jiān)管平臺之上，系統(tǒng)地研究比較了先入先出、公平調(diào)度以及計算能力調(diào)度策略的各自優(yōu)缺點，基于農(nóng)產(chǎn)品安全監(jiān)管平臺的

3、實際運行環(huán)境，在三大調(diào)度策略的改進之上提出一種在運行時自適應調(diào)整(RDA)調(diào)度策略，并針對該調(diào)度策略作了具體的實現(xiàn)。對比Hadoop的三大調(diào)度算法，它改進了原先對于落后任務的判定方式，使得推測式執(zhí)行更加精準，并且針對多作業(yè)多任務的環(huán)境之下，在運行時自動調(diào)整作業(yè)隊列的大小，動態(tài)調(diào)整整個集群的負載水平，將集群的工作節(jié)點分成適于處理Map任務以及適于處理Reduce任務的兩大類，使得任務執(zhí)行更加高效。仿真測試結(jié)果表明，在多作業(yè)多任務以及異構(gòu)的

4、集群環(huán)境下，自適應資源調(diào)度算法的性能要大幅領先于其它三種資源調(diào)度策略，針對農(nóng)產(chǎn)品安全監(jiān)控平臺具有很強的適用性和先進性。
　　本文提出了將云計算技術應用于農(nóng)產(chǎn)品安全監(jiān)控平臺之上的構(gòu)建方案，使得對于農(nóng)產(chǎn)品質(zhì)量的監(jiān)控反饋更加及時與精準。提出了用于Map-Reduce對農(nóng)產(chǎn)品質(zhì)量數(shù)據(jù)進行監(jiān)測預警的處理函數(shù)，使得監(jiān)測更加高效。同時，在Hadoop自身調(diào)度算法的基礎之上進行了改進，設計了應用于平臺監(jiān)測過程中RDA運行時動態(tài)調(diào)整的調(diào)度策略，使得