數(shù)據(jù)流挖掘若干技術(shù)研究及其在電信行業(yè)的應用.pdf

1、隨著計算機技術(shù)的發(fā)展、網(wǎng)絡應用的普及、數(shù)字化通信技術(shù)的廣泛應用，數(shù)據(jù)流逐漸成為電信行業(yè)中的主要數(shù)據(jù)類型之一。與傳統(tǒng)數(shù)據(jù)類型相比，數(shù)據(jù)流具有有序、高頻更新以及潛在無邊界等特性，難以使用傳統(tǒng)的數(shù)據(jù)挖掘方法進行分析，這給數(shù)據(jù)挖掘技術(shù)及其在電信行業(yè)的應用帶來了挑戰(zhàn)。
　　 本文以電信行業(yè)實際應用為背景，以基于數(shù)據(jù)流全局數(shù)據(jù)特征的建模分析方法取代目前被廣泛采用的以局部數(shù)據(jù)為樣本的數(shù)據(jù)流挖掘算法，以提高時間效率與預測精度。針對數(shù)據(jù)流頻繁項集

2、挖掘主題，提出基于最大頻率時間窗模型的GGACFI-MFW算法，實現(xiàn)對數(shù)據(jù)流全局頻繁項集的在線挖掘；針對數(shù)據(jù)流分類預測問題，提出基于數(shù)據(jù)流頻繁模式的CBMP算法，實現(xiàn)對帶有概念漂移的數(shù)據(jù)流進行在線分類預測；針對數(shù)據(jù)流趨勢預測問題，提出最大最小頻率時間窗模型的MM-FTP算法，實現(xiàn)對數(shù)據(jù)流數(shù)據(jù)對象頻繁度變化趨勢的實時監(jiān)控及預測；結(jié)合電信企業(yè)工程實踐經(jīng)驗，設(shè)計一套電信業(yè)數(shù)據(jù)流商業(yè)智能管理系統(tǒng)，實現(xiàn)對電信數(shù)據(jù)流的實時監(jiān)控與在線分析。
　

3、　 本文的主要研究內(nèi)容和貢獻包括：
　　 Ⅰ.針對數(shù)據(jù)流頻繁項集挖掘問題，提出GGACFI-MFW(Generating GlobalApproximate Frequent Itemsets on Max-Frequency Window model)算法，實現(xiàn)準確、高效地挖掘全局頻繁項集；設(shè)計一種新的最大頻率模式樹MFP-Tree(Max-Frequency Pattern Tree)結(jié)構(gòu)存儲概要信息，采用自適應的方法為每

4、個數(shù)據(jù)項集單獨劃分時間窗口；提出一種新的選擇性更新機制，只對最新到達的事務子集進行更新，通過候選集控制對頻繁模式樹的橫向遍歷，提高算法更新效率。與現(xiàn)有頻繁項集挖掘算法相比，GGACFI-MFW算法不僅時間效率高，且能夠根據(jù)數(shù)據(jù)自身特性，找到更多的頻繁項集。
　　 Ⅱ.針對帶有概念漂移的數(shù)據(jù)流在線分類問題，提出一種基于全局頻繁模式的數(shù)據(jù)流分類算法CBMP(Classification Based on Max-frequency

5、Pattern)，將概要數(shù)據(jù)存儲于一種新的最大頻率模式分類樹CMFP-Tree(Classification on Max-Frequency Pattern Tree)中，使用模糊的方法構(gòu)建分類器，在線更新概要信息與分類器，實現(xiàn)對數(shù)據(jù)流數(shù)據(jù)的實時分類預測。在概念漂移特征顯著的情況下，CBMP算法的預測精度與時間效率均高于現(xiàn)有其他數(shù)據(jù)流分類算法。
　　 Ⅲ.針對數(shù)據(jù)流數(shù)據(jù)對象的頻繁度變化趨勢預測問題，在最大頻率模式樹MFP-Tr

6、ee的基礎(chǔ)上設(shè)計一種新的最大最小頻率模式樹MMFP-Tree(Max-Min-Frequency Pattern Tree)，存儲數(shù)據(jù)流頻繁趨勢預測算法中所需要的概要信息；提出一種新的數(shù)據(jù)對象頻繁度變化趨勢衡量指標--頻繁度變化率，對數(shù)據(jù)對象的頻繁度變化趨勢進行定量描述；提出一種預測數(shù)據(jù)對象頻繁度變化趨勢的最大最小頻繁趨勢預測算法MM-FTP(Max-Min-Frequency Tendency Prediction)，能夠在有限的空間

7、內(nèi)高效、準確地找到數(shù)據(jù)對象的頻繁度變化趨勢；將連續(xù)屬性離散化，MM-FTP算法同樣能夠預測傳統(tǒng)的指數(shù)型數(shù)據(jù)流的變化趨勢；與基于頻繁模式的分類預測算法CBMP結(jié)合，該算法能夠?qū)Ψ诸惼髦眯哦茸兓厔葸M行預測。
　　 Ⅳ.針對電信行業(yè)數(shù)據(jù)流在線分析處理需求，結(jié)合靜態(tài)數(shù)據(jù)挖掘在電信行業(yè)的應用實例及電信業(yè)數(shù)據(jù)挖掘方法論，設(shè)計實現(xiàn)了一套針對電信行業(yè)的數(shù)據(jù)流商業(yè)智能管理系統(tǒng)，將數(shù)據(jù)流頻繁項集挖掘技術(shù)、數(shù)據(jù)流在線分類預測技術(shù)、數(shù)據(jù)流趨勢預測技術(shù)