制造物聯(lián)海量實時數(shù)據(jù)處理方法研究.pdf

1、制造技術(shù)與迅猛發(fā)展的互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)等新一代信息技術(shù)相融合，不斷形成制造業(yè)信息化新的核心技術(shù)，推動著制造業(yè)的進步和發(fā)展，也為我國制造業(yè)的跨越式發(fā)展提供了難得的歷史機遇。應(yīng)用物聯(lián)網(wǎng)技術(shù)提升傳統(tǒng)制造業(yè)，形成推動制造業(yè)信息化發(fā)展的制造物聯(lián)技術(shù)，是先進制造技術(shù)、信息技術(shù)和智能技術(shù)的集成和深度融合，體現(xiàn)了制造技術(shù)從機械化、自動化、數(shù)字化走向智能化的發(fā)展趨勢。大力推進制造物聯(lián)技術(shù)與生產(chǎn)過程的融合，促進制造過程的智能化提升和改造，催生高端制造先

2、進的生產(chǎn)模式，形成我國制造業(yè)的“智慧制造”，是當(dāng)前制造行業(yè)研究的一個重點領(lǐng)域。在制造物聯(lián)關(guān)鍵技術(shù)中，研究制造過程產(chǎn)生的海量數(shù)據(jù)的實時感知、實時傳輸與分發(fā)、實時處理與融合等，對制造過程的實時決策及實時控制，確保企業(yè)生產(chǎn)安全有序進行、及時決策、提高效率、減少損失非常重要，也為我國制造業(yè)改變當(dāng)前過于依賴國外實時數(shù)據(jù)處理產(chǎn)品打下基礎(chǔ)。
　　本文對現(xiàn)有信息技術(shù)、制造業(yè)信息化及物聯(lián)網(wǎng)等相關(guān)領(lǐng)域研究進展進行分析，研究制造物聯(lián)海量實時感知數(shù)據(jù)的建

3、模及處理方法，針對制造系統(tǒng)的特性、制造物聯(lián)關(guān)鍵技術(shù)及制造環(huán)節(jié)實時監(jiān)控需求等方面的特點，深入分析所涉及到的若干關(guān)鍵問題，研究新的或改進的方法，并將這些方法應(yīng)用到具體的制造環(huán)境中。論文主要研究工作及成果如下：
　?、偬岢隽酥圃煳锫?lián)實時數(shù)據(jù)的定義，對實時數(shù)據(jù)進行基礎(chǔ)理論建模。對實時數(shù)據(jù)的采集過程進行了研究，分析探討了實時數(shù)據(jù)獲取和存儲的關(guān)鍵技術(shù)，提出了制造物聯(lián)實時數(shù)據(jù)的獲取模型。分析了實時數(shù)據(jù)傳輸和分發(fā)中的挑戰(zhàn)，提出了海量實時數(shù)據(jù)連續(xù)查

4、詢模型，并通過優(yōu)化訪問方法，給出了自適應(yīng)分布式制造物聯(lián)實時數(shù)據(jù)的訪問模型，以解決突發(fā)數(shù)據(jù)和非勻速實時數(shù)據(jù)的傳輸訪問問題。
　　②基于內(nèi)存的實時數(shù)據(jù)庫的存儲機制研究。分析了內(nèi)存數(shù)據(jù)庫的特點、相關(guān)概念及技術(shù)，針對內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)組織、查詢技術(shù)與優(yōu)化、并發(fā)控制和恢復(fù)機制等方面進行研究，采用基于CSB+樹的索引方法，以快速定位索引實時數(shù)據(jù)；提出了一種新型的基于虛擬單元可智能增長的內(nèi)存池技術(shù)，滿足內(nèi)存數(shù)據(jù)庫系統(tǒng)對空間利用率和系統(tǒng)健壯性要求；

5、基于智能算法，提出了海量連續(xù)實時數(shù)據(jù)的查詢技術(shù)與優(yōu)化算法；為解決實時事務(wù)在并發(fā)執(zhí)行過程中所發(fā)生的各種沖突，采用了并行實時事務(wù)標(biāo)記排序法，并利用定義優(yōu)先級算法對排序算法進行優(yōu)化，解決排序算法中的優(yōu)先級顛倒的問題。論文提出了一種基于元數(shù)據(jù)層次化結(jié)構(gòu)的實時系統(tǒng)數(shù)據(jù)模型，以便更快捷地訪問實時數(shù)據(jù)對象。該模型對制造物聯(lián)實時感知數(shù)據(jù)進行層次劃分，通過元數(shù)據(jù)映射，完成實時數(shù)據(jù)的有效組織，有效實現(xiàn)實時數(shù)據(jù)檢索，提高效率。基于元數(shù)據(jù)的層次結(jié)構(gòu)，制定了實時

6、感知數(shù)據(jù)與超過時限的歷史數(shù)據(jù)之間互相遷移的策略，并對該策略進行性能評估。各種仿真及測試運行結(jié)果表明，基于內(nèi)存的實時數(shù)據(jù)庫分層存儲機制能有效進行數(shù)據(jù)組織，滿足制造物聯(lián)中海量實時數(shù)據(jù)的存儲需求。
　?、墼O(shè)計并實現(xiàn)一種新的實時數(shù)據(jù)訪問協(xié)議，以提高制造物聯(lián)實時數(shù)據(jù)系統(tǒng)的相關(guān)性能。設(shè)計了基于雙緩沖區(qū)和推進發(fā)送數(shù)據(jù)的數(shù)據(jù)存儲和發(fā)送模型。雙緩沖區(qū)模型中的兩個緩沖區(qū)交替接收感知數(shù)據(jù)，將實時數(shù)據(jù)并發(fā)進行處理，有效利用內(nèi)存接收處理海量數(shù)據(jù)。數(shù)據(jù)的連續(xù)

7、推進發(fā)送模式，同雙緩沖區(qū)結(jié)合，可以在不同網(wǎng)絡(luò)阻塞環(huán)境下保證數(shù)據(jù)的完整性。建立性能模型驗證實時數(shù)據(jù)分發(fā)模型的性能，并實現(xiàn)了實時數(shù)據(jù)檢測與處理系統(tǒng)的原型系統(tǒng)。仿真實驗結(jié)果證明模型在保證數(shù)據(jù)完整性方面有著非常出色的表現(xiàn)。基于雙緩沖區(qū)和推進發(fā)送數(shù)據(jù)的模型解決了數(shù)據(jù)在采集和發(fā)送過程中出現(xiàn)的數(shù)據(jù)丟失問題，有效地保證了數(shù)據(jù)傳輸處理的完整性。為了優(yōu)化制造物聯(lián)海量實時數(shù)據(jù)分發(fā)效率，研究并提出了一種基于智能多代理模型和優(yōu)先級排序算法的實時數(shù)據(jù)分發(fā)策略，性能

8、分析證明該方法能進一步提高海量實時數(shù)據(jù)分發(fā)效率。
　?、芊治隽酥圃煳锫?lián)海量實時數(shù)據(jù)融合的功能模型和通用處理結(jié)構(gòu)，提出了在資源受限網(wǎng)絡(luò)環(huán)境下對實時感知數(shù)據(jù)進行融合的方法，研究了基于u檢驗法的剔除冗余無效數(shù)據(jù)的融合系統(tǒng)，并將融合算法應(yīng)用在分布式檢測環(huán)境下，對融合模型進行優(yōu)化。基于形態(tài)-小波濾波融合方法，對旋轉(zhuǎn)機械的振動信號檢測過程中產(chǎn)生的脈沖噪聲和白噪聲進行去噪研究，實驗證明該方法有很好的去噪效果，在實際振動信號處理中取得了滿意的效果

9、。
　　⑤提出了制造物聯(lián)海量實時數(shù)據(jù)處理方法在石化行業(yè)運營管理及安全監(jiān)控系統(tǒng)中的應(yīng)用方案。對實時感知的海量數(shù)據(jù)，以分層的實時數(shù)據(jù)模型進行組織和管理，并以雙緩沖區(qū)數(shù)據(jù)持續(xù)推送模型對實時數(shù)據(jù)傳輸分發(fā)，對本地感知數(shù)據(jù)實時融合處理，形成石化企業(yè)加氣站生產(chǎn)運營實時監(jiān)管物聯(lián)平臺，實現(xiàn)了對監(jiān)管平臺的性能優(yōu)化和改進。
　　綜上，本文分析并研究了當(dāng)前制造物聯(lián)海量實時數(shù)據(jù)處理中面臨的若干關(guān)鍵問題，設(shè)計并改進了一系列模型和算法。理論分析、實驗及應(yīng)