面向數(shù)據(jù)流的ToP-k頻繁閉項(xiàng)集挖掘算法研究.pdf

1、現(xiàn)實(shí)生活中的信息，有很多都是以流數(shù)據(jù)的形式產(chǎn)生的，如傳感器網(wǎng)絡(luò)監(jiān)控信息、網(wǎng)絡(luò)安全監(jiān)控、web用戶(hù)點(diǎn)擊流、氣象監(jiān)控及分析，有著廣泛的應(yīng)用背景。又因數(shù)據(jù)流具有連續(xù)性、未知性、潛在無(wú)限性，傳統(tǒng)的數(shù)據(jù)挖掘算法不能直接應(yīng)用在數(shù)據(jù)流之上。因此,如何有效地挖掘和管理數(shù)據(jù)流吸引了大批研究人員的目光，成為了一個(gè)新的研究熱點(diǎn)，其中頻繁項(xiàng)集挖掘是數(shù)據(jù)流處理技術(shù)中的一個(gè)重要組成部分。
　　本文首先對(duì)數(shù)據(jù)挖掘技術(shù)進(jìn)行了簡(jiǎn)要介紹，并對(duì)經(jīng)典算法進(jìn)行了介紹及分析

2、。為了避免用戶(hù)在每次挖掘時(shí)都要設(shè)置一個(gè)恰當(dāng)?shù)淖钚≈С侄乳撝?，且更好地理解挖掘到的頻繁項(xiàng)集，提出了挖掘數(shù)據(jù)流中Top-k頻繁閉項(xiàng)集的挖掘算法。該算法采用分段挖掘的思想挖掘基本窗口中的頻繁閉合模式，以實(shí)現(xiàn)挖掘滑動(dòng)窗口中的k個(gè)最頻繁的閉合項(xiàng)集。并且通過(guò)對(duì)挖掘項(xiàng)集長(zhǎng)度的限制，更好的滿(mǎn)足用戶(hù)的需求，同時(shí)由于算法對(duì)不符合用戶(hù)指定長(zhǎng)度的項(xiàng)集不進(jìn)行處理，勢(shì)必會(huì)使精度有一定的損失，但也可以提高算法的挖掘速度。用戶(hù)需要做的就是根據(jù)實(shí)際應(yīng)用的需要，在速度和精

3、度之間找到平衡。為了驗(yàn)證算法的有效性，對(duì)算法進(jìn)行了仿真實(shí)驗(yàn)，結(jié)果表明算法擁有良好的時(shí)空效率，對(duì)項(xiàng)集長(zhǎng)度的限制所帶來(lái)的精度下降也可以由用戶(hù)來(lái)控制，可以較好地完成相關(guān)的數(shù)據(jù)流挖掘任務(wù)。
　　為了能夠同時(shí)處理多條數(shù)據(jù)流，提高算法的整體效率，在挖掘基本窗口頻繁閉合模式算法的基礎(chǔ)上，引入了諸如輪詢(xún)，預(yù)處理以及對(duì)數(shù)據(jù)流的加入和退出等處理方案，形成了一個(gè)可以處理多數(shù)據(jù)流的策略。最后，按照MapReduce編程框架對(duì)算法進(jìn)行了實(shí)現(xiàn)，構(gòu)成了一個(gè)多數(shù)