數(shù)據(jù)流挖掘若干技術(shù)研究及其在電信行業(yè)的應(yīng)用.pdf

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展、網(wǎng)絡(luò)應(yīng)用的普及、數(shù)字化通信技術(shù)的廣泛應(yīng)用，數(shù)據(jù)流逐漸成為電信行業(yè)中的主要數(shù)據(jù)類型之一。與傳統(tǒng)數(shù)據(jù)類型相比，數(shù)據(jù)流具有有序、高頻更新以及潛在無(wú)邊界等特性，難以使用傳統(tǒng)的數(shù)據(jù)挖掘方法進(jìn)行分析，這給數(shù)據(jù)挖掘技術(shù)及其在電信行業(yè)的應(yīng)用帶來(lái)了挑戰(zhàn)。
　　 本文以電信行業(yè)實(shí)際應(yīng)用為背景，以基于數(shù)據(jù)流全局?jǐn)?shù)據(jù)特征的建模分析方法取代目前被廣泛采用的以局部數(shù)據(jù)為樣本的數(shù)據(jù)流挖掘算法，以提高時(shí)間效率與預(yù)測(cè)精度。針對(duì)數(shù)據(jù)流頻繁項(xiàng)集

2、挖掘主題，提出基于最大頻率時(shí)間窗模型的GGACFI-MFW算法，實(shí)現(xiàn)對(duì)數(shù)據(jù)流全局頻繁項(xiàng)集的在線挖掘；針對(duì)數(shù)據(jù)流分類預(yù)測(cè)問(wèn)題，提出基于數(shù)據(jù)流頻繁模式的CBMP算法，實(shí)現(xiàn)對(duì)帶有概念漂移的數(shù)據(jù)流進(jìn)行在線分類預(yù)測(cè)；針對(duì)數(shù)據(jù)流趨勢(shì)預(yù)測(cè)問(wèn)題，提出最大最小頻率時(shí)間窗模型的MM-FTP算法，實(shí)現(xiàn)對(duì)數(shù)據(jù)流數(shù)據(jù)對(duì)象頻繁度變化趨勢(shì)的實(shí)時(shí)監(jiān)控及預(yù)測(cè)；結(jié)合電信企業(yè)工程實(shí)踐經(jīng)驗(yàn)，設(shè)計(jì)一套電信業(yè)數(shù)據(jù)流商業(yè)智能管理系統(tǒng)，實(shí)現(xiàn)對(duì)電信數(shù)據(jù)流的實(shí)時(shí)監(jiān)控與在線分析。
　

3、　 本文的主要研究?jī)?nèi)容和貢獻(xiàn)包括：
　　 Ⅰ.針對(duì)數(shù)據(jù)流頻繁項(xiàng)集挖掘問(wèn)題，提出GGACFI-MFW(Generating GlobalApproximate Frequent Itemsets on Max-Frequency Window model)算法，實(shí)現(xiàn)準(zhǔn)確、高效地挖掘全局頻繁項(xiàng)集；設(shè)計(jì)一種新的最大頻率模式樹(shù)MFP-Tree(Max-Frequency Pattern Tree)結(jié)構(gòu)存儲(chǔ)概要信息，采用自適應(yīng)的方法為每

4、個(gè)數(shù)據(jù)項(xiàng)集單獨(dú)劃分時(shí)間窗口；提出一種新的選擇性更新機(jī)制，只對(duì)最新到達(dá)的事務(wù)子集進(jìn)行更新，通過(guò)候選集控制對(duì)頻繁模式樹(shù)的橫向遍歷，提高算法更新效率。與現(xiàn)有頻繁項(xiàng)集挖掘算法相比，GGACFI-MFW算法不僅時(shí)間效率高，且能夠根據(jù)數(shù)據(jù)自身特性，找到更多的頻繁項(xiàng)集。
　　 Ⅱ.針對(duì)帶有概念漂移的數(shù)據(jù)流在線分類問(wèn)題，提出一種基于全局頻繁模式的數(shù)據(jù)流分類算法CBMP(Classification Based on Max-frequency

5、Pattern)，將概要數(shù)據(jù)存儲(chǔ)于一種新的最大頻率模式分類樹(shù)CMFP-Tree(Classification on Max-Frequency Pattern Tree)中，使用模糊的方法構(gòu)建分類器，在線更新概要信息與分類器，實(shí)現(xiàn)對(duì)數(shù)據(jù)流數(shù)據(jù)的實(shí)時(shí)分類預(yù)測(cè)。在概念漂移特征顯著的情況下，CBMP算法的預(yù)測(cè)精度與時(shí)間效率均高于現(xiàn)有其他數(shù)據(jù)流分類算法。
　　 Ⅲ.針對(duì)數(shù)據(jù)流數(shù)據(jù)對(duì)象的頻繁度變化趨勢(shì)預(yù)測(cè)問(wèn)題，在最大頻率模式樹(shù)MFP-Tr

6、ee的基礎(chǔ)上設(shè)計(jì)一種新的最大最小頻率模式樹(shù)MMFP-Tree(Max-Min-Frequency Pattern Tree)，存儲(chǔ)數(shù)據(jù)流頻繁趨勢(shì)預(yù)測(cè)算法中所需要的概要信息；提出一種新的數(shù)據(jù)對(duì)象頻繁度變化趨勢(shì)衡量指標(biāo)--頻繁度變化率，對(duì)數(shù)據(jù)對(duì)象的頻繁度變化趨勢(shì)進(jìn)行定量描述；提出一種預(yù)測(cè)數(shù)據(jù)對(duì)象頻繁度變化趨勢(shì)的最大最小頻繁趨勢(shì)預(yù)測(cè)算法MM-FTP(Max-Min-Frequency Tendency Prediction)，能夠在有限的空間

7、內(nèi)高效、準(zhǔn)確地找到數(shù)據(jù)對(duì)象的頻繁度變化趨勢(shì)；將連續(xù)屬性離散化，MM-FTP算法同樣能夠預(yù)測(cè)傳統(tǒng)的指數(shù)型數(shù)據(jù)流的變化趨勢(shì)；與基于頻繁模式的分類預(yù)測(cè)算法CBMP結(jié)合，該算法能夠?qū)Ψ诸惼髦眯哦茸兓厔?shì)進(jìn)行預(yù)測(cè)。
　　 Ⅳ.針對(duì)電信行業(yè)數(shù)據(jù)流在線分析處理需求，結(jié)合靜態(tài)數(shù)據(jù)挖掘在電信行業(yè)的應(yīng)用實(shí)例及電信業(yè)數(shù)據(jù)挖掘方法論，設(shè)計(jì)實(shí)現(xiàn)了一套針對(duì)電信行業(yè)的數(shù)據(jù)流商業(yè)智能管理系統(tǒng)，將數(shù)據(jù)流頻繁項(xiàng)集挖掘技術(shù)、數(shù)據(jù)流在線分類預(yù)測(cè)技術(shù)、數(shù)據(jù)流趨勢(shì)預(yù)測(cè)技術(shù)