版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、追溯系統(tǒng)是為保證產(chǎn)品質(zhì)量而建立的有效質(zhì)量監(jiān)督體系。近年來隨著食品安全問題日益突出,以追溯系統(tǒng)為核心的質(zhì)量監(jiān)督體系得到了廣泛發(fā)展。通過食品追溯系統(tǒng)建立有效的食品追溯體制,做到食品從生產(chǎn)、加工到銷售各環(huán)節(jié)的全方位透明監(jiān)督可以有效地消除食品安全隱患保證食品安全。然而食品是大眾消費(fèi)品,很多食品公司的食品年產(chǎn)量往往達(dá)到百萬乃至千萬級,要做到對這些食品的信息追溯需要處理大量的生產(chǎn)細(xì)節(jié)數(shù)據(jù),而這些數(shù)據(jù)往往因?yàn)閿?shù)據(jù)量大、結(jié)構(gòu)復(fù)雜等特點(diǎn)而成為處理難題。因
2、此,如何穩(wěn)定而高效的處理追溯數(shù)據(jù)成為解決追溯問題的關(guān)鍵。
基于以上所述背景,本文對食品追溯系統(tǒng)中海量數(shù)據(jù)處理問題進(jìn)行了研究,主要內(nèi)容集中在海量數(shù)據(jù)環(huán)境下的數(shù)據(jù)存儲模型設(shè)計(jì)與重復(fù)數(shù)據(jù)檢測兩個方面。在數(shù)據(jù)的存儲方面,針對追溯數(shù)據(jù)特點(diǎn),設(shè)計(jì)了采用關(guān)系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并用的數(shù)據(jù)存儲模型來滿足多樣的數(shù)據(jù)存取需求。關(guān)系數(shù)據(jù)庫存儲企業(yè)信息化管理數(shù)據(jù)并響應(yīng)系統(tǒng)企業(yè)信息管理請求,為保證追溯信息完整,企業(yè)信息化管理數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫的
3、同時也存儲在NoSQL中,NoSQL數(shù)據(jù)庫一方面作為關(guān)系數(shù)據(jù)庫的鏡像數(shù)據(jù)庫存儲關(guān)系數(shù)據(jù)庫中的企業(yè)信息化管理數(shù)據(jù),一方面存儲產(chǎn)品的追溯數(shù)據(jù),追溯數(shù)據(jù)的查詢請求通過NoSQL響應(yīng)。這種模型下當(dāng)企業(yè)信息化管理數(shù)據(jù)變化時,變化的數(shù)據(jù)需要從關(guān)系數(shù)據(jù)庫同步到NoSQL數(shù)據(jù)庫中。為此我們對關(guān)系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫的同步問題進(jìn)行了研究,提出了基于中間件緩存的數(shù)據(jù)同步方法。該方法的主要過程是數(shù)據(jù)中間件通過維護(hù)一個數(shù)據(jù)緩存模塊,將關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)變化
4、存入緩存,并通過設(shè)定一定的同步條件,使緩存數(shù)據(jù)在滿足同步條件時同步到輔助鏡像數(shù)據(jù)庫中,同步條件根據(jù)系統(tǒng)條件計(jì)算得來。另外,當(dāng)讀取NoSQL數(shù)據(jù)庫數(shù)據(jù)時,中間件通過讀取緩存中的更新數(shù)據(jù),對數(shù)據(jù)庫的查詢結(jié)果進(jìn)行修正,保證查詢結(jié)果數(shù)據(jù)的實(shí)時一致性。與傳統(tǒng)同步方法相比,基于中間件緩存的數(shù)據(jù)同步方法具有較好地解決了異構(gòu)數(shù)據(jù)庫同步時數(shù)據(jù)模型的變化問題,并具有數(shù)據(jù)查詢實(shí)時一致、過程安全、數(shù)據(jù)同步適應(yīng)性強(qiáng)等特點(diǎn)。
重復(fù)數(shù)據(jù)檢測方面,依據(jù)傳統(tǒng)的
5、數(shù)據(jù)清洗手段,對追溯領(lǐng)域較為嚴(yán)重的重復(fù)數(shù)據(jù)問題進(jìn)行了分析,提出適應(yīng)海量數(shù)據(jù)環(huán)境的重復(fù)數(shù)據(jù)檢測方法。方法分為存量數(shù)據(jù)重復(fù)數(shù)據(jù)檢測與增量數(shù)據(jù)的重復(fù)值檢測兩個方面。存量數(shù)據(jù)檢測上,對傳統(tǒng)近鄰排序算法進(jìn)行了改進(jìn),并結(jié)合MapReduce模型通過檢測任務(wù)的并行執(zhí)行方式實(shí)現(xiàn)算法的高效檢測;增量數(shù)據(jù)的檢測上,改變近鄰排序算法的窗口比較方式,提出適應(yīng)增量數(shù)據(jù)檢測的跳動窗口比較形式,并結(jié)合MapReduce對算法進(jìn)一步改進(jìn),避免了大量無效的檢測比較,加快
6、了數(shù)據(jù)檢測效率。總體而言,改進(jìn)后的算法更適應(yīng)海量數(shù)據(jù)環(huán)境,在保證算法檢測準(zhǔn)確度的基礎(chǔ)上,大大提高了算法的執(zhí)行效率。
本文通過對海量數(shù)據(jù)環(huán)境下追溯數(shù)據(jù)處理問題的研究,設(shè)計(jì)了關(guān)系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并用,通過數(shù)據(jù)中間件解決異構(gòu)數(shù)據(jù)庫數(shù)據(jù)同步問題的數(shù)據(jù)存儲模型,解決了追溯領(lǐng)域數(shù)據(jù)的數(shù)據(jù)變化問題,并為該領(lǐng)域問題提供了創(chuàng)造性的數(shù)據(jù)存儲模型參考。除此之外,通過對重復(fù)數(shù)據(jù)檢測方法的研究保證了數(shù)據(jù)的質(zhì)量,在很大程度上解決了海量數(shù)據(jù)環(huán)境中數(shù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 高速攝影系統(tǒng)中海量數(shù)據(jù)存儲器研究.pdf
- 面向歸檔存儲的重復(fù)數(shù)據(jù)刪除優(yōu)化方法研究.pdf
- 基于重復(fù)數(shù)據(jù)檢測的數(shù)據(jù)備份.pdf
- 基于重復(fù)數(shù)據(jù)檢測的數(shù)據(jù)備份
- 云存儲中集群重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計(jì).pdf
- 信息存儲系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究.pdf
- 基于存儲系統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)的研究.pdf
- 云存儲系統(tǒng)中重復(fù)數(shù)據(jù)刪除機(jī)制的研究.pdf
- Hdfs云存儲副本策略與重復(fù)數(shù)據(jù)刪除的研究.pdf
- 數(shù)字圖書館中海量數(shù)據(jù)存儲組織的研究與實(shí)現(xiàn).pdf
- 重復(fù)數(shù)據(jù)刪除系統(tǒng)的存儲管理及其可靠性研究.pdf
- 面向云存儲的重復(fù)數(shù)據(jù)刪除技術(shù)研究與應(yīng)用.pdf
- 基于Hadoop的重復(fù)數(shù)據(jù)清理模型研究與實(shí)現(xiàn).pdf
- 安全云存儲中重復(fù)數(shù)據(jù)刪除機(jī)制研究.pdf
- 數(shù)據(jù)倉庫中海量數(shù)據(jù)存儲與管理的若干關(guān)鍵技術(shù)研究.pdf
- 重復(fù)數(shù)據(jù)刪除
- 基于云存儲的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf
- 電子政務(wù)系統(tǒng)中海量數(shù)據(jù)清洗方法研究與應(yīng)用.pdf
- 指紋支付系統(tǒng)中海量指紋數(shù)據(jù)云存儲平臺的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn).pdf
評論
0/150
提交評論