流數(shù)據(jù)的層次聚類和頻繁模式的挖掘算法研究.pdf

1、流數(shù)據(jù)的聚類或頻繁模式挖掘要求僅掃描數(shù)據(jù)集一次，就得到聚類或者頻繁模式挖掘的結(jié)果。本文主要研究如何提高流數(shù)據(jù)的聚類和頻繁模式挖掘算法的精度，在文中我們提出了兩個(gè)新的算法：基于密度的高精度流聚類算法Density-based HighPrecision Streaming-data Clustering(DHPSC)和FP-tree單遍掃描算法Single-Pass ScanFP(SPSFP)。在本文提出的DHPSC算法中，我們使用基于密

2、度的凝聚層次聚類法。該方法使用凝聚層次聚類法作為算法框架，在這種框架下，核心問(wèn)題就是如何合并兩個(gè)簇。目前，許多的流數(shù)據(jù)聚類算法僅僅使用簇的中心點(diǎn)去代表整個(gè)簇，這種做法會(huì)導(dǎo)致不好的結(jié)果。通過(guò)細(xì)致的分析我們發(fā)現(xiàn)，在數(shù)據(jù)的單遍掃描過(guò)程中，簇內(nèi)距離、簇間距離和方差都是可以精確計(jì)算的，從而保證聚類結(jié)果的精度。這樣，我們可以使用新的基于密度的公式，做為簇間是否合并的標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，新算法會(huì)節(jié)省時(shí)間和空間方面的開(kāi)銷，并取得較好結(jié)果。流數(shù)據(jù)的頻繁模

3、式挖掘方面，F(xiàn)P-growth算法是頻繁模式挖掘中用于靜態(tài)數(shù)據(jù)集的經(jīng)典算法。但是FP-tree的創(chuàng)建需要掃描數(shù)據(jù)庫(kù)兩遍，在處理流數(shù)據(jù)方面收到了很大的限制，使用滑動(dòng)窗口雖然能在一定程度上解決這一問(wèn)題，但是依然會(huì)造成FP-tree生成時(shí)的不準(zhǔn)確，影響到后續(xù)的挖掘。本文提出的SFSFP算法，單遍掃描數(shù)據(jù)集即可準(zhǔn)確創(chuàng)建出FP-tree。與傳統(tǒng)的FP-tree創(chuàng)建算法相比，本文算法僅掃描數(shù)據(jù)庫(kù)一遍，并且不需要將整個(gè)數(shù)據(jù)集調(diào)入內(nèi)存。該方法不僅節(jié)省了