基于并行計算的流程對象知識發(fā)現(xiàn)系統(tǒng)的研究與實現(xiàn).pdf

1、流程工業(yè)在生產(chǎn)的過程中會積累大量的檢測數(shù)據(jù)，對這些數(shù)據(jù)進行知識發(fā)現(xiàn)將對工業(yè)生產(chǎn)和控制過程產(chǎn)生有意義的指導。在分析了流程工業(yè)生產(chǎn)過程的幾大特點之后，課題組提出了流程對象抽象模型，并基于此提出了名為Time series-Clustering-Association-Chain/Tree Flow（簡稱為T-C-A-C/T Flow）的知識發(fā)現(xiàn)模型，本文的研究正是基于該已有的原始算法模型。
　　T-C-A-C/T Flow模型首先對生

2、產(chǎn)過程的環(huán)節(jié)數(shù)據(jù)進行預處理并對各環(huán)節(jié)的時序進行發(fā)現(xiàn)和調(diào)整，接著對環(huán)節(jié)數(shù)據(jù)進行聚類以減少離散狀態(tài)數(shù)，在聚類基礎上對不同環(huán)節(jié)數(shù)據(jù)進行二項關聯(lián)規(guī)則生成，二項關聯(lián)規(guī)則通過關聯(lián)度合并為關聯(lián)鏈/關聯(lián)樹，并最終統(tǒng)計生成環(huán)節(jié)狀態(tài)之間的關聯(lián)鏈，以此作為知識發(fā)現(xiàn)的最終結(jié)果以用于輔助人們決策。時序發(fā)現(xiàn)在整個算法模型中的作用是至關重要的，原始算法模型中采用了基于統(tǒng)計極值的時序發(fā)現(xiàn)方法，該方法具有較高的計算效率，但由于極值易受噪音和采樣影響，該方法的準確度并不理

3、想。同時，由于實際生產(chǎn)中的數(shù)據(jù)量巨大并且該知識發(fā)現(xiàn)模型包含了比較耗時的迭代型數(shù)據(jù)挖掘算法，串行化計算方案將導致系統(tǒng)運行緩慢，從而大大降低系統(tǒng)的實用性。為此，本文在對原始算法流程進行了針對性改進之后，對整個算法流程進行了并行化設計與實現(xiàn)，以提升知識發(fā)現(xiàn)的準確性與實時性。
　　針對原始算法流程的若干不足，本文對其進行了有針對性的改進。首先，針對環(huán)節(jié)數(shù)據(jù)之間度量單位以及數(shù)據(jù)波動范圍的不同，本文對環(huán)節(jié)數(shù)據(jù)進行了基于Z-score的數(shù)據(jù)歸一

4、化處理，歸一化之后的數(shù)據(jù)也方便了后續(xù)的可視化分析。其次，本文提出了基于Pearson相關系數(shù)曲線的環(huán)節(jié)時序發(fā)現(xiàn)方法，該方法針對每一個時間延遲計算兩環(huán)節(jié)數(shù)據(jù)的Pearson相關系數(shù)，并將其中最大相關系數(shù)對應的時間延遲作為兩環(huán)節(jié)的相對時間延遲，經(jīng)實驗分析該方法具有很高的準確度。這些有針對性的算法改進有效地提升了知識發(fā)現(xiàn)結(jié)果的準確性和有效性，這對流程工業(yè)知識發(fā)現(xiàn)理論和實際生產(chǎn)應用都將具有重大意義。
　　接下來本文針對改進之后的算法模型，

5、進行了基于Spark的并行化設計。針對并行計算中的瓶頸環(huán)節(jié)——數(shù)據(jù)通信，提出了邊界數(shù)據(jù)處理方法，有效地減少了并行計算中不同計算節(jié)點之間的數(shù)據(jù)通信量，該方法在系統(tǒng)的多個并行化算法中被使用到。整個系統(tǒng)的并行化設計包含了數(shù)據(jù)預處理、時序發(fā)現(xiàn)與調(diào)整、環(huán)節(jié)聚類、關聯(lián)分析以及狀態(tài)關聯(lián)這幾大步驟。最終，本文基于Spark框架以編程的方式實現(xiàn)了該知識發(fā)現(xiàn)模型的并行化系統(tǒng)，經(jīng)過測試對比和分析得出該并行化設計與實現(xiàn)較串行化有了較大的效率提升。并行化的設計與