食品追溯系統(tǒng)中海量數(shù)據(jù)存儲模型與重復數(shù)據(jù)檢測方法的研究.pdf

1、追溯系統(tǒng)是為保證產(chǎn)品質(zhì)量而建立的有效質(zhì)量監(jiān)督體系。近年來隨著食品安全問題日益突出，以追溯系統(tǒng)為核心的質(zhì)量監(jiān)督體系得到了廣泛發(fā)展。通過食品追溯系統(tǒng)建立有效的食品追溯體制，做到食品從生產(chǎn)、加工到銷售各環(huán)節(jié)的全方位透明監(jiān)督可以有效地消除食品安全隱患保證食品安全。然而食品是大眾消費品，很多食品公司的食品年產(chǎn)量往往達到百萬乃至千萬級，要做到對這些食品的信息追溯需要處理大量的生產(chǎn)細節(jié)數(shù)據(jù)，而這些數(shù)據(jù)往往因為數(shù)據(jù)量大、結構復雜等特點而成為處理難題。因

2、此，如何穩(wěn)定而高效的處理追溯數(shù)據(jù)成為解決追溯問題的關鍵。
　　基于以上所述背景，本文對食品追溯系統(tǒng)中海量數(shù)據(jù)處理問題進行了研究，主要內(nèi)容集中在海量數(shù)據(jù)環(huán)境下的數(shù)據(jù)存儲模型設計與重復數(shù)據(jù)檢測兩個方面。在數(shù)據(jù)的存儲方面，針對追溯數(shù)據(jù)特點，設計了采用關系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并用的數(shù)據(jù)存儲模型來滿足多樣的數(shù)據(jù)存取需求。關系數(shù)據(jù)庫存儲企業(yè)信息化管理數(shù)據(jù)并響應系統(tǒng)企業(yè)信息管理請求，為保證追溯信息完整，企業(yè)信息化管理數(shù)據(jù)存儲在關系型數(shù)據(jù)庫的

3、同時也存儲在NoSQL中，NoSQL數(shù)據(jù)庫一方面作為關系數(shù)據(jù)庫的鏡像數(shù)據(jù)庫存儲關系數(shù)據(jù)庫中的企業(yè)信息化管理數(shù)據(jù)，一方面存儲產(chǎn)品的追溯數(shù)據(jù)，追溯數(shù)據(jù)的查詢請求通過NoSQL響應。這種模型下當企業(yè)信息化管理數(shù)據(jù)變化時，變化的數(shù)據(jù)需要從關系數(shù)據(jù)庫同步到NoSQL數(shù)據(jù)庫中。為此我們對關系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫的同步問題進行了研究，提出了基于中間件緩存的數(shù)據(jù)同步方法。該方法的主要過程是數(shù)據(jù)中間件通過維護一個數(shù)據(jù)緩存模塊，將關系數(shù)據(jù)庫中的數(shù)據(jù)變化

4、存入緩存，并通過設定一定的同步條件，使緩存數(shù)據(jù)在滿足同步條件時同步到輔助鏡像數(shù)據(jù)庫中，同步條件根據(jù)系統(tǒng)條件計算得來。另外，當讀取NoSQL數(shù)據(jù)庫數(shù)據(jù)時，中間件通過讀取緩存中的更新數(shù)據(jù)，對數(shù)據(jù)庫的查詢結果進行修正，保證查詢結果數(shù)據(jù)的實時一致性。與傳統(tǒng)同步方法相比，基于中間件緩存的數(shù)據(jù)同步方法具有較好地解決了異構數(shù)據(jù)庫同步時數(shù)據(jù)模型的變化問題，并具有數(shù)據(jù)查詢實時一致、過程安全、數(shù)據(jù)同步適應性強等特點。
　　重復數(shù)據(jù)檢測方面，依據(jù)傳統(tǒng)的

5、數(shù)據(jù)清洗手段，對追溯領域較為嚴重的重復數(shù)據(jù)問題進行了分析，提出適應海量數(shù)據(jù)環(huán)境的重復數(shù)據(jù)檢測方法。方法分為存量數(shù)據(jù)重復數(shù)據(jù)檢測與增量數(shù)據(jù)的重復值檢測兩個方面。存量數(shù)據(jù)檢測上，對傳統(tǒng)近鄰排序算法進行了改進，并結合MapReduce模型通過檢測任務的并行執(zhí)行方式實現(xiàn)算法的高效檢測；增量數(shù)據(jù)的檢測上，改變近鄰排序算法的窗口比較方式，提出適應增量數(shù)據(jù)檢測的跳動窗口比較形式，并結合MapReduce對算法進一步改進，避免了大量無效的檢測比較，加快

6、了數(shù)據(jù)檢測效率。總體而言，改進后的算法更適應海量數(shù)據(jù)環(huán)境，在保證算法檢測準確度的基礎上，大大提高了算法的執(zhí)行效率。
　　本文通過對海量數(shù)據(jù)環(huán)境下追溯數(shù)據(jù)處理問題的研究，設計了關系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并用，通過數(shù)據(jù)中間件解決異構數(shù)據(jù)庫數(shù)據(jù)同步問題的數(shù)據(jù)存儲模型，解決了追溯領域數(shù)據(jù)的數(shù)據(jù)變化問題，并為該領域問題提供了創(chuàng)造性的數(shù)據(jù)存儲模型參考。除此之外，通過對重復數(shù)據(jù)檢測方法的研究保證了數(shù)據(jù)的質(zhì)量，在很大程度上解決了海量數(shù)據(jù)環(huán)境中數(shù)