制造物聯(lián)海量數(shù)據(jù)流模式挖掘算法研究.pdf

1、制造物聯(lián)(Internet of Manufacturing Things，IOMT)是一種新型的制造與信息融合的生態(tài)系統(tǒng)，將嵌入式、RFID、網(wǎng)絡(luò)、傳感器及執(zhí)行器等制造技術(shù)與電子信息技術(shù)相融合，實(shí)現(xiàn)對(duì)產(chǎn)品設(shè)計(jì)、制造與服務(wù)過(guò)程中信息資源與制造資源的動(dòng)態(tài)感知、智能處理、海量挖掘、與優(yōu)化控制的一種新型的信息服務(wù)模式與制造模式。IOMT部署了大量的感知節(jié)點(diǎn)在現(xiàn)場(chǎng)來(lái)實(shí)時(shí)監(jiān)控生產(chǎn)環(huán)境情況等，產(chǎn)生了海量的分布式制造數(shù)據(jù)流以及海量制造數(shù)據(jù)。傳統(tǒng)的頻繁

2、模式挖掘算法無(wú)法滿(mǎn)足當(dāng)前制造物聯(lián)的應(yīng)用要求，因此設(shè)計(jì)高效可行的頻繁模式挖掘算法挖掘出有用知識(shí)就成為了新的挑戰(zhàn)。
　　本文著重分析了IOMT內(nèi)產(chǎn)生的制造數(shù)據(jù)數(shù)量巨大和實(shí)時(shí)數(shù)據(jù)流海量分布的特點(diǎn)，在對(duì)現(xiàn)有的數(shù)據(jù)流頻繁模式挖掘算法進(jìn)行深入研究的基礎(chǔ)上，提出并設(shè)計(jì)了面向IOMT這個(gè)特定環(huán)境下的海量數(shù)據(jù)流頻繁模式挖掘的高效算法，并通過(guò)實(shí)驗(yàn)仿真驗(yàn)證其高效性。本文的主要工作概括如下:
　　(1)分析了傳統(tǒng)的頻繁項(xiàng)集挖掘算法以及數(shù)據(jù)流頻繁模式

3、挖掘算法，并結(jié)合制造物聯(lián)中產(chǎn)生的數(shù)據(jù)特性，綜合分析它們的優(yōu)缺點(diǎn)。
　　(2)針對(duì)制造物聯(lián)制造數(shù)據(jù)海量的特點(diǎn)，而傳統(tǒng)的Aprioir算法面向海量數(shù)據(jù)挖掘效率低的問(wèn)題，本文提出了一種基于MapReduce的高效頻繁模式挖掘算法。該算法首先采用AprioriTid算法來(lái)對(duì)原始的數(shù)據(jù)進(jìn)行預(yù)處理，刪除所有的低頻1-項(xiàng)集，然后計(jì)算出每次處理集（L）和最小支持度(N)的長(zhǎng)度來(lái)確定Map操作結(jié)束后的最大合并項(xiàng)候選集。算法減少了Map任務(wù)中低頻項(xiàng)集

4、的生成以及分散主機(jī)間的通信量，通過(guò)與已存算法進(jìn)行實(shí)驗(yàn)仿真對(duì)比表明:該算法大大的減少了內(nèi)存的占用，提高了挖掘效率。
　　(3)針對(duì)制造物聯(lián)實(shí)時(shí)產(chǎn)生海量分布式制造流的特點(diǎn)，以及感知節(jié)點(diǎn)計(jì)算能力不足和資源有限的問(wèn)題。本文提出了一種基于MapReduce的數(shù)據(jù)流閉頻繁模式挖掘算法。該算法提出一種改進(jìn)的FP-Tree數(shù)據(jù)結(jié)構(gòu)，通過(guò)對(duì)分布式節(jié)點(diǎn)構(gòu)建窗口樹(shù)IFP-Tree，然后動(dòng)態(tài)的對(duì)IFP-Tree進(jìn)行更新、減枝及挖掘，能夠迅速響應(yīng)查詢(xún)請(qǐng)求，