基于HBase的工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)策略研究.pdf

1、隨著物聯(lián)網(wǎng)技術(shù)的進(jìn)步，大量傳感器和智能終端被應(yīng)用于傳統(tǒng)工業(yè)領(lǐng)域，從而會(huì)帶來數(shù)據(jù)的海量增長(zhǎng)。如何有效的管理海量數(shù)據(jù)以提高工業(yè)生產(chǎn)效率成為一個(gè)亟待解決的問題。而目前針對(duì)于海量工業(yè)實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)與處理，傳統(tǒng)常規(guī)的解決辦法是采用集中式存儲(chǔ)系統(tǒng)，但集中式存儲(chǔ)系統(tǒng)當(dāng)面對(duì)工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)持續(xù)增長(zhǎng)時(shí)，容量有限同時(shí)擴(kuò)展性不足；而傳統(tǒng)的分布式數(shù)據(jù)庫在容錯(cuò)性以及數(shù)據(jù)一致性等方面又很難滿足工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)的需求。
　　經(jīng)過對(duì)大量存儲(chǔ)系統(tǒng)調(diào)研后，本文提出了

2、一種針對(duì)于海量工業(yè)實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)管理辦法。依據(jù)工業(yè)數(shù)據(jù)相關(guān)特點(diǎn)，選取工業(yè)系統(tǒng)中常用的數(shù)據(jù)處理辦法實(shí)時(shí)庫作為適配層，實(shí)時(shí)庫能夠?qū)I(yè)采集數(shù)據(jù)執(zhí)行過濾、監(jiān)控以及緩存操作，同時(shí)保證工業(yè)數(shù)據(jù)能夠平滑地寫入HBase；選取開源HBase系統(tǒng)作為數(shù)據(jù)持久層來存儲(chǔ)工業(yè)系統(tǒng)中最終歸檔歷史數(shù)據(jù)，HBase的可擴(kuò)展性，容錯(cuò)性，數(shù)據(jù)一致性，支持高并發(fā)查詢等性能能夠保證工業(yè)數(shù)據(jù)的高效管理；最后提出了存儲(chǔ)后再離線壓縮的方案，使得工業(yè)系統(tǒng)能夠更加靈活的實(shí)現(xiàn)動(dòng)態(tài)可控