數(shù)據(jù)流中top-k項頻繁閉合模式挖掘研究.pdf

1、數(shù)據(jù)流模型的出現(xiàn)給傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)帶來的巨大的挑戰(zhàn)。由于數(shù)據(jù)流連續(xù)不斷的到來，已有的數(shù)據(jù)處理技術(shù)難以對這些潛在無限的、變化的數(shù)據(jù)進行有效的管理和挖掘，因此，必須對數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理技術(shù)進行研究。目前數(shù)據(jù)流管理和挖掘技術(shù)已經(jīng)引起了國內(nèi)外研究人員的廣泛關(guān)注，成為了當前的一個研究熱點。對于這兩方面技術(shù)研究不僅具有重要的理論價值，而且在很多應(yīng)用領(lǐng)域，如傳感器網(wǎng)絡(luò)、氣象的監(jiān)測與分析，網(wǎng)絡(luò)監(jiān)控與安全，Web日志分析等，有著巨大應(yīng)用前景。本文在對

2、數(shù)據(jù)流挖掘領(lǐng)域若干問題進行探討的同時，主要研究了數(shù)據(jù)流中top k項頻繁閉合項集問題，提出了相應(yīng)的解決算法并結(jié)合實驗結(jié)果做了必要的分析。概括地說，本文主要涉及到如下幾方面內(nèi)容： （1）對比傳統(tǒng)挖掘中使用的大小固定的數(shù)據(jù)集，分析了數(shù)據(jù)流的特點。介紹了目前存在的幾種數(shù)據(jù)流模型以及常用的數(shù)據(jù)流處理技術(shù)。數(shù)據(jù)流本身的特點也對數(shù)據(jù)流挖掘算法提出了一些要求。 （2）分析和總結(jié)幾個傳統(tǒng)的頻繁模式挖掘算法和數(shù)據(jù)流中的頻繁模式挖掘算法，了

3、解挖掘過程中涉及到的數(shù)據(jù)集的壓縮方法，歷史信息的存儲結(jié)構(gòu)和存儲方法，新數(shù)據(jù)到來時數(shù)據(jù)結(jié)構(gòu)的維護與更新，剪枝策略，結(jié)果集輸出等方面內(nèi)容； （3）頻繁閉合模式包含頻繁項集的完整信息，由它能夠得到所有的頻繁模式及其支持度信息，并且數(shù)量往往比頻繁模式小幾個數(shù)量級，在實際應(yīng)用中更容易理解和應(yīng)用。本文研究了動態(tài)數(shù)據(jù)流環(huán)境下top k項長度不小于給定值的頻繁閉合模式挖掘問題，提出了基于滑動窗口技術(shù)挖掘算法，來挖掘晟近一段時間內(nèi)用戶感興趣的數(shù)據(jù)