基于相關(guān)性的數(shù)據(jù)流聚類及其應(yīng)用研究.pdf

1、上世紀(jì)末,為適應(yīng)網(wǎng)絡(luò)監(jiān)控、入侵檢測(cè)、情報(bào)分析、商業(yè)交易管理和分析等應(yīng)用的要求,數(shù)據(jù)流技術(shù)應(yīng)運(yùn)而生.數(shù)據(jù)流是以連續(xù)的、有序的"流"的形式輸入數(shù)據(jù),有時(shí)效性、實(shí)時(shí)性、無限性和瞬時(shí)性等特點(diǎn).典型的數(shù)據(jù)流有網(wǎng)絡(luò)點(diǎn)擊流、實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)流、股票數(shù)據(jù)流、超市的銷售數(shù)據(jù)流等.對(duì)數(shù)據(jù)流的分析主要包括分類、聚類和頻繁模式挖掘三個(gè)方面,其中都用到了一些新的技術(shù)和方法,如滑動(dòng)窗口、一次性掃描算法等.本文在介紹數(shù)據(jù)流及數(shù)據(jù)流挖掘關(guān)鍵算法的基礎(chǔ)上,針對(duì)超市的銷售數(shù)據(jù)

2、流進(jìn)行分析,提出了一種度量商品之間相關(guān)性的算法,進(jìn)而提出了一種基于相關(guān)性的數(shù)據(jù)流聚類算法,對(duì)商品進(jìn)行聚類分析. 本文的研究主要集中在以下幾個(gè)方面: (1)概述了數(shù)據(jù)挖掘及數(shù)據(jù)流的概念、數(shù)據(jù)流挖掘的關(guān)鍵技術(shù)及典型算法,重點(diǎn)分析了數(shù)據(jù)流分類算法VFDT和CVFDT、數(shù)據(jù)流聚類算法STREAM和CluStream、數(shù)據(jù)流頻繁模式挖掘算法FP-Stream等. (2)針對(duì)超市中商品之間的相關(guān)性問題,提出一種基于數(shù)據(jù)流的相

3、關(guān)性度量算法,以計(jì)算出商品間相關(guān)性的大小,利用數(shù)據(jù)流的一些方法,在有限的時(shí)間和空間里動(dòng)態(tài)計(jì)算出基于持續(xù)到來的銷售數(shù)據(jù)流的商品之間的相關(guān)性.實(shí)驗(yàn)顯示,該算法能以較小的代價(jià)有效地度量超市中商品之間的相關(guān)性. (3)針對(duì)超市中商品之間的聚類問題,提出一種基于相關(guān)性的數(shù)據(jù)流聚類算法,在前面計(jì)算出的商品之間相關(guān)性的基礎(chǔ)上對(duì)商品進(jìn)行聚類.該算法是一個(gè)動(dòng)態(tài)更新的算法,實(shí)驗(yàn)顯示,該算法能有效地對(duì)超市的商品進(jìn)行聚類,得到了非常有價(jià)值的聚類結(jié)果.