復雜數(shù)據(jù)流分析關鍵技術研究.pdf

1、近些年，在傳感器網(wǎng)絡、互聯(lián)網(wǎng)監(jiān)控、金融交易等領域，出現(xiàn)了數(shù)據(jù)流分析的應用需求。然而，傳統(tǒng)的數(shù)據(jù)處理方式不能很好地解決這種數(shù)據(jù)流分析應用，針對這些應用的數(shù)據(jù)流分析技術在學術上和工業(yè)上都受到了高度關注。隨著復雜數(shù)據(jù)流分析的需求增加，研究復雜數(shù)據(jù)流分析的關鍵技術也越來越重要。在進行復雜數(shù)據(jù)流分析時，現(xiàn)有的解決方法通常是設計特定的復雜概要數(shù)據(jù)分析算法來解決。但對于越來越多的各種復雜數(shù)據(jù)流分析應用，每次都開發(fā)相應的分析算法來解決的方式顯然不能很好

2、地滿足需求，一種更好的方式是重復利用一些比較通用的分析算法，通過與其他算法的組合來完成復雜數(shù)據(jù)流分析。然而，在組合分析時一個分析算子的輸出數(shù)據(jù)如何很好地傳給后續(xù)分析算子的問題需要得到解決，也就是兩個算子之間的數(shù)據(jù)交換問題。
　　結合數(shù)據(jù)流分析要求的高效的時間空間性能，設計了較為高效和通用的數(shù)據(jù)交換方式。數(shù)據(jù)交換采用了基于模式匹配的星狀交換方式，該方式中需要解決中間數(shù)據(jù)模型，數(shù)據(jù)模式的描述，模式匹配過程和模式轉(zhuǎn)換描述幾個關鍵問題。結

3、合數(shù)據(jù)流分析中關系數(shù)據(jù)和復雜數(shù)據(jù)的不同特點，設計了中間數(shù)據(jù)的元數(shù)據(jù)模型；同時設計了基于XML標簽對該數(shù)據(jù)模型中的數(shù)據(jù)模式進行描述；給出了模式匹配的兩個要點：結構匹配與類型匹配，同時為了最佳匹配考慮了名稱匹配的問題；最后利用可根據(jù)數(shù)據(jù)模式預分配實際數(shù)據(jù)的特點，設計了簡單高效的模式轉(zhuǎn)換描述。
　　介紹了研究中實現(xiàn)的數(shù)據(jù)流實時分析平臺系統(tǒng)，同時介紹了其中數(shù)據(jù)交換的測試分析。對于復雜數(shù)據(jù)流分析中數(shù)據(jù)交換的設計能夠比較高效和通用地解決組合數(shù)