大規(guī)模數(shù)據(jù)流的頻繁模式挖掘方法的研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的興起，大規(guī)模的數(shù)據(jù)流正在以前所未有的速度和體量在很多不同的應(yīng)用場(chǎng)景中產(chǎn)生，如電子商務(wù)，社交網(wǎng)絡(luò)，智慧交通，傳感器網(wǎng)絡(luò)等。相較于傳統(tǒng)的離線數(shù)據(jù)挖掘方法，因?yàn)閿?shù)據(jù)流的特征，處理模型的擴(kuò)展性，狀態(tài)管理效率，以及負(fù)載均衡等問(wèn)題均對(duì)大規(guī)模數(shù)據(jù)流挖掘算法提出了新的要求:1.擴(kuò)展性:算法需要能夠適應(yīng)數(shù)據(jù)流量的波動(dòng)而自動(dòng)擴(kuò)展;2.狀態(tài)管理:流信息需要高效的方法來(lái)保存和更新?tīng)顟B(tài);3.負(fù)載均衡:針對(duì)分布式的環(huán)境下需要一個(gè)動(dòng)態(tài)的負(fù)載均衡來(lái)保證

2、算法性能的穩(wěn)定。本文以大規(guī)模數(shù)據(jù)流的頻繁模式挖掘?yàn)橹饕芯繉?duì)象，對(duì)數(shù)據(jù)流場(chǎng)景下頻繁模式挖掘方法等若干問(wèn)題展開(kāi)了調(diào)研和研究，提出了針對(duì)大規(guī)模數(shù)據(jù)流場(chǎng)景下的頻繁模式挖掘算法BPFPMS(Balanced Parallel Frequent Pattern Mining over Massive Data Stream)，其主要包括以下幾個(gè)方面的內(nèi)容:
　　1.針對(duì)數(shù)據(jù)流的狀態(tài)管理問(wèn)題，提出了一種DPTS-Tree的結(jié)構(gòu)，這種結(jié)構(gòu)能夠針

3、對(duì)大規(guī)模數(shù)據(jù)流進(jìn)行高效的狀態(tài)維護(hù)和更新。相較于傳統(tǒng)的方法，其能夠充分利用歷史狀態(tài)信息來(lái)縮減流信息的存儲(chǔ)和更新所產(chǎn)生的負(fù)擔(dān)。實(shí)驗(yàn)證明其在內(nèi)存占用，狀態(tài)更新，狀態(tài)壓縮等方面都有明顯的優(yōu)勢(shì)。
　　2.針對(duì)傳統(tǒng)的并行頻繁模式挖掘算法常常出現(xiàn)的負(fù)載失衡問(wèn)題，我們通過(guò)調(diào)研數(shù)據(jù)流以及挖掘算法的特征，提出了一種新的動(dòng)態(tài)負(fù)載均衡策略。該策略利用子任務(wù)的負(fù)載等信息進(jìn)行均勻負(fù)載分配，在大規(guī)模數(shù)據(jù)流處理上具有更好的性能表現(xiàn)，同時(shí)也避免了數(shù)據(jù)流狀態(tài)實(shí)時(shí)變化