流數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf

1、流數(shù)據(jù)挖掘是對到達的數(shù)據(jù)流按照一定的序列進行挖掘，它和靜態(tài)數(shù)據(jù)關(guān)聯(lián)規(guī)則的挖掘的不同在于流數(shù)據(jù)具有高速、連續(xù)和無邊界等特性。流數(shù)據(jù)具有的獨特特性給數(shù)據(jù)挖掘和分析帶來一系列問題，比如如何快速高效的識別挖掘周期內(nèi)的有效模式，模式以何種方式呈現(xiàn)能使使用者容易理解，高速數(shù)據(jù)挖掘中采用何種數(shù)據(jù)結(jié)構(gòu)能有效的對數(shù)據(jù)模式進行維護、保存和刪除，如何選擇合適的挖掘周期，對于連續(xù)的流數(shù)據(jù)采用何種方式進行噪音處理等。
　　 論文在對以上問題研究的基礎上，

2、進一步對流數(shù)據(jù)指標的聚合在網(wǎng)絡中的應用進行了研究，多個指標如何反映到一個指標從而有利于業(yè)務管理者對業(yè)務進行有效的監(jiān)控和管理。同時，通過對流數(shù)據(jù)指標的動態(tài)學習，深度挖掘流數(shù)據(jù)的特性，使得業(yè)務提供者可以在更高層次上評估用戶使用業(yè)務的體驗。
　　 論文的主要工作和創(chuàng)新點簡要歸納如下：
　　 1）針對如何高效快速的識別挖掘周期內(nèi)的有效模式，論文提出了一種大規(guī)模網(wǎng)絡中流數(shù)據(jù)事件關(guān)聯(lián)分析的算法EARA（Events Associat

3、ion Rules Analysis），通過EARA可以發(fā)現(xiàn)未知結(jié)構(gòu)大規(guī)模網(wǎng)絡中的異常事件，并且可以使得用戶選擇置信度門限值以達到僅僅提取有效模式的目的。同時提出了一種可視化模式壓縮算法VPC（Visual Pattern Compress），解決了流數(shù)據(jù)挖掘中模式以何種方式呈現(xiàn)能使用戶容易理解的問題。實驗結(jié)果顯示EARA算法可以發(fā)現(xiàn)重要事件之間的關(guān)聯(lián)關(guān)系，而VPC算法進一步壓縮事件，使得使用者可以很容易從數(shù)以千計的關(guān)聯(lián)事件中發(fā)現(xiàn)有用的

4、模式。
　　 2）針對高速數(shù)據(jù)挖掘中采用何種數(shù)據(jù)結(jié)構(gòu)能有效的對數(shù)據(jù)模式進行維護、保存和刪除問題，論文提出了一種在智能建筑中對于傳感網(wǎng)絡中的流數(shù)據(jù)進行增量知識挖掘的算法IKMM（Incremental Knowledge Mining Model），IKMM算法采用樹狀結(jié)構(gòu)來提高挖掘效率，通過滑動窗口時間參數(shù)來控制樹狀結(jié)構(gòu)的變化速度。另外，通過啟發(fā)式規(guī)則提高關(guān)聯(lián)規(guī)則的提取效率。通過同傳統(tǒng)的FUP2（Fast Update Patt

5、erns2）和AFPIM（Adjusting FP-Tree forIncremental Mining）算法進行對比，在高維情況下，IKMM算法是其他兩種算法效率的10倍以上。
　　 3）數(shù)據(jù)挖掘時機的確定是目前流數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘算法的研究熱點之一，就是在什么條件下需要重新運行挖掘算法提取關(guān)聯(lián)規(guī)則，并且在有限的系統(tǒng)資源下盡可能提高挖掘效率和減少挖掘成本。論文提出了一種在流數(shù)據(jù)挖掘算法中關(guān)聯(lián)規(guī)則提取時機的確定算法KRPB（Key

6、 Runtime Point Boundary），KRPB只對原始數(shù)據(jù)集進行一次掃描，在后續(xù)周期掃描中利用前次掃描的保存結(jié)果進行增量更新即可，在相鄰兩次原始數(shù)據(jù)集上取得支撐度附近的頻繁項集參與兩次數(shù)據(jù)集的變化差異程度的估計計算，從而確定是否需要運行挖掘算法進行數(shù)據(jù)模式的提取。
　　 4）為了對流數(shù)據(jù)特性進行有效監(jiān)控，即如何可視化流數(shù)據(jù)指標之間的內(nèi)在本質(zhì)聯(lián)系，論文對流數(shù)據(jù)的可視化數(shù)據(jù)挖掘進行了研究，即如何用可視化的方式來動態(tài)展示流

7、數(shù)據(jù)之間的內(nèi)在關(guān)系，在這個基礎上提出了一種流數(shù)據(jù)增量式多維可擴展可視化挖掘算法IMDS（Incremental Multi-dimension Scaling）。IMDS通過數(shù)據(jù)表現(xiàn)的特征形狀進行聚類，并且聚類結(jié)果會隨著時間的推移用動態(tài)可視化的方式實時展現(xiàn)。通過仿真實驗表明，IMDS算法相比傳統(tǒng)的MDS（Multi-dimension Scaling）算法和簡易型SIMPLEX優(yōu)化算法在流數(shù)據(jù)挖掘中可以明顯地提高可視化挖掘效率和可視化效

8、果。
　　 5）針對流數(shù)據(jù)指標的聚合在網(wǎng)絡中的應用，論文對網(wǎng)絡底層數(shù)據(jù)流如何映射到業(yè)務層進行了研究，通過研究發(fā)現(xiàn)，如果能對底層數(shù)據(jù)流進行實時的聚合和分析，就能使得業(yè)務提供者實時觀察當前網(wǎng)絡和系統(tǒng)的健康狀況，進一步能覺察到用戶對當前業(yè)務的體驗狀況。論文參考TMF（Telecommunication Management Forum）規(guī)范的基礎上，提出了K2K（KPI toKQI）算法，使得不同量綱的流數(shù)據(jù)指標可以平滑聚合到同一指標

9、。但是在以上的聚合中存在如何分配流數(shù)據(jù)指標權(quán)重關(guān)系的問題，對此論文進一步提出了一種針對SLA（ServiceLevel Agreement）數(shù)據(jù)特性的模式提取算法SLAEP（SLA Extract Patterns）。本算法主要抽取出網(wǎng)絡數(shù)據(jù)流中關(guān)鍵性能指標和關(guān)鍵質(zhì)量指標，根據(jù)用戶的體驗進行機器學習發(fā)現(xiàn)模式，利用將多維數(shù)據(jù)轉(zhuǎn)化成多維空間的映射點，有效的避免了求多個指標之間關(guān)聯(lián)度的問題，制定出一種實際運行中可以自動歸納總結(jié)滿足業(yè)務SLA策