制造物聯(lián)海量數(shù)據(jù)流處理方法研究.pdf

1、制造物聯(lián)技術(shù)是當(dāng)代制造業(yè)中出現(xiàn)的一種新型的制造和服務(wù)模式，它可以極大提高我國(guó)制造業(yè)信息服務(wù)化水平，提升我國(guó)制造企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力和影響力。在制造物聯(lián)環(huán)境中，由于制造過(guò)程復(fù)雜，大量的感知設(shè)備被部署到制造現(xiàn)場(chǎng)去監(jiān)測(cè)生產(chǎn)情況，產(chǎn)生海量制造數(shù)據(jù)流。然而由于這些產(chǎn)生海量制造數(shù)據(jù)流存在如下特征:巨大的數(shù)據(jù)容量，多源的數(shù)據(jù)內(nèi)容、復(fù)雜的數(shù)據(jù)結(jié)構(gòu)、大的數(shù)據(jù)亂序排列、強(qiáng)的不確定數(shù)據(jù)值、多樣化的數(shù)據(jù)表現(xiàn)形式、小價(jià)值數(shù)據(jù)信息值、高的響應(yīng)需求等，使得現(xiàn)有的海量數(shù)據(jù)

2、流處理方法難于直接支撐上述海量制造數(shù)據(jù)流的完全處理，導(dǎo)致現(xiàn)有的制造企業(yè)難于直接從上述產(chǎn)生海量信息流中去獲取自己所需信息，從而嚴(yán)重影響企業(yè)的生產(chǎn)管理與控制水平。
　　本論文在分析制造物聯(lián)海量數(shù)據(jù)流存在的數(shù)據(jù)特征，當(dāng)前處理面臨挑戰(zhàn)和現(xiàn)有研究成果基礎(chǔ)上，對(duì)制造物聯(lián)環(huán)境下海量數(shù)據(jù)流處理關(guān)鍵技術(shù)進(jìn)行了深入研究，提出并設(shè)計(jì)出一系列面向制造物聯(lián)這個(gè)特定環(huán)境下海量數(shù)據(jù)流高效檢測(cè)和處理方法。總結(jié)本文開展相關(guān)工作并取得主要成果有如下:
　　1)

3、針對(duì)制造物聯(lián)海量數(shù)據(jù)流因具有大的海量數(shù)據(jù)量而難于及時(shí)處理問題，提出并設(shè)計(jì)了一種面向制造物聯(lián)海量多源數(shù)據(jù)流哈希結(jié)構(gòu)復(fù)雜事件檢測(cè)方法。解決了當(dāng)前復(fù)雜事件檢測(cè)方法在檢測(cè)海量多源數(shù)據(jù)流時(shí)因存在大量的回溯操作和重復(fù)查找操作而導(dǎo)致的難于及時(shí)處理問題，為解決制造物聯(lián)海量多源數(shù)據(jù)流高效檢測(cè)問題提供了新方法。仿真結(jié)果表明，相比現(xiàn)有的檢測(cè)方法，在檢測(cè)相同海量數(shù)據(jù)流條件本文所提方法在檢測(cè)時(shí)間，內(nèi)存消耗和吞吐量方面有著顯著提高。
　　2)針對(duì)制造物聯(lián)海量

4、數(shù)據(jù)流因具有高的亂序性而難于及時(shí)判定的問題，提出并設(shè)計(jì)了一種面向制造物聯(lián)海量亂序數(shù)據(jù)流改進(jìn)自動(dòng)機(jī)與哈希結(jié)構(gòu)的復(fù)雜事件檢測(cè)方法。解決了當(dāng)前的復(fù)雜事件檢測(cè)方法在檢測(cè)亂序數(shù)據(jù)流時(shí)因存在亂序事件間內(nèi)在關(guān)聯(lián)關(guān)系難于確定和內(nèi)在組成結(jié)構(gòu)難于構(gòu)成而導(dǎo)致的難于及時(shí)判定的問題，為解決制造物聯(lián)海量亂序數(shù)據(jù)流高效檢測(cè)問題提供了新途徑。仿真結(jié)果表明，所提方法能夠比較高效地在制造物聯(lián)海量亂序數(shù)據(jù)流上完成事件的檢測(cè)。
　　3)針對(duì)制造物聯(lián)海量數(shù)據(jù)流因具有強(qiáng)不確

5、定性難于及時(shí)檢測(cè)問題，發(fā)明了一種面向制造物聯(lián)海量不確定性數(shù)據(jù)流有向無(wú)環(huán)圖結(jié)構(gòu)復(fù)雜事件檢測(cè)方法?？梢杂行Ц纳飘?dāng)前復(fù)雜事件檢測(cè)方在檢測(cè)不確定數(shù)據(jù)流時(shí)因組合數(shù)量太大而難于及時(shí)檢測(cè)問題，為解決制造物聯(lián)海量不確定性數(shù)據(jù)流高效檢測(cè)問題提供了新思路。仿真結(jié)果表明，所提方法在減少海量不確定性數(shù)據(jù)流時(shí)檢測(cè)時(shí)間，降低消耗內(nèi)存和提高事件吞吐量方面比現(xiàn)有方法有效。
　　4)針對(duì)現(xiàn)有方法在解碼制造物聯(lián)中大容量和小價(jià)值密度海量視頻數(shù)據(jù)流過(guò)程中由于需要頻繁地查

6、找可變長(zhǎng)碼表而導(dǎo)致視頻解碼性能不高問題，首次提出并設(shè)計(jì)了一種面向制造物聯(lián)海量視頻數(shù)據(jù)哈希表和索引查找處理方法。通過(guò)在視頻解碼CAVLC查表中引進(jìn)哈希表和索引查找技術(shù)，利用哈希表和索引查找技術(shù)減少CAVLC碼表查找過(guò)程中碼長(zhǎng)，碼字后綴長(zhǎng)度和碼字的查找和判斷次數(shù)，進(jìn)而減少訪問查找可變長(zhǎng)碼表次數(shù)，從而提高海量視流整體解碼性能。實(shí)驗(yàn)結(jié)果表明，我們建議的基于哈希表和索引查找方法由于減少訪問查找可變長(zhǎng)碼表次數(shù)可以分別可以節(jié)約25％、35％查表內(nèi)存消

7、耗，約20％、40％查找時(shí)間和1056、923節(jié)字碼字存儲(chǔ)空間，可以極大提高了制造物聯(lián)海量視頻數(shù)據(jù)流解碼性能。
　　5)針對(duì)上一章改進(jìn)的基于哈希表和索引查找方法由于仍舊采用有碼表查找方式而占用一定的內(nèi)存，查表時(shí)間和碼表存儲(chǔ)空間，從而限制了CAVLC解碼性能完全提高問題，首次提出并設(shè)計(jì)了一種基于程序代碼執(zhí)行CAVLC無(wú)碼表查找處理方法。通過(guò)采用程序代碼執(zhí)行代替了改進(jìn)的基于哈希表和索引查找中查表方式，實(shí)現(xiàn)了CAVLC無(wú)碼表高效查找處理