數(shù)據(jù)流概要與數(shù)據(jù)流分析若干關(guān)鍵問(wèn)題研究.pdf

1、傳感器數(shù)據(jù)處理、金融證券管理、Intemet流量監(jiān)控、Web使用日志及電話呼叫記錄的在線分析等新型應(yīng)用領(lǐng)域?qū)?shù)據(jù)的管理與分析提出了新的要求，如直接反映數(shù)據(jù)的本來(lái)面目、可以處理連續(xù)查詢、能夠處理異種數(shù)據(jù)、快速響應(yīng)用戶查詢等，其本質(zhì)是對(duì)數(shù)據(jù)流的管理和分析。數(shù)據(jù)流是連續(xù)的、輸入速率隨時(shí)間變化的、有序項(xiàng)的序列，數(shù)據(jù)流上的查詢通常連續(xù)運(yùn)行，當(dāng)新數(shù)據(jù)到達(dá)時(shí)增量式地返回結(jié)果，即所謂的長(zhǎng)時(shí)間運(yùn)行的、連續(xù)的、持久的查詢。數(shù)據(jù)流及其相關(guān)技術(shù)已經(jīng)成為當(dāng)前數(shù)據(jù)

2、處理領(lǐng)域的研究熱點(diǎn)之一，管理和分析這些連續(xù)數(shù)據(jù)流為傳統(tǒng)的數(shù)據(jù)庫(kù)領(lǐng)域帶來(lái)許多新的機(jī)會(huì)和挑戰(zhàn)。 隨著傳感器、數(shù)據(jù)通信、普式計(jì)算等相關(guān)技術(shù)的發(fā)展，工業(yè)領(lǐng)域中以數(shù)據(jù)流方式獲取的數(shù)據(jù)量急劇增加，一些典型工業(yè)應(yīng)用領(lǐng)域如電力系統(tǒng)對(duì)數(shù)據(jù)流處理速度和分析結(jié)果精度的要求越來(lái)越高。高精度、快速的數(shù)據(jù)流分析與高效的具有自適應(yīng)性數(shù)據(jù)流管理技術(shù)是數(shù)據(jù)流相關(guān)技術(shù)走向?qū)嵱没?、產(chǎn)業(yè)化的一個(gè)重要突破口。 典型的工業(yè)數(shù)據(jù)流管理與分析包括數(shù)據(jù)流采集與預(yù)處理、數(shù)

3、據(jù)的特征抽取、數(shù)據(jù)聚集等基本連續(xù)查詢的分析與執(zhí)行、相關(guān)性檢測(cè)或預(yù)測(cè)與分類等復(fù)雜的分析操作。本文針對(duì)上述應(yīng)用需求展開(kāi)的主要研究工作及取得的創(chuàng)新性成果概述如下： (1)在數(shù)據(jù)流清洗方面，提出了帶有遺忘因子的 Kalman 濾波預(yù)測(cè)算法，能夠有效地檢測(cè)出未來(lái)時(shí)刻的異常數(shù)據(jù)；提出了一種新穎的數(shù)據(jù)流上的異常數(shù)據(jù)修正方法，應(yīng)用插值小波根據(jù)連續(xù)異常數(shù)據(jù)數(shù)量的不同，實(shí)現(xiàn)了可變插值尺度的異常數(shù)據(jù)修補(bǔ)，能夠自適應(yīng)修正精度。在實(shí)際電力負(fù)荷數(shù)據(jù)上的仿真

4、實(shí)驗(yàn)證明這種方法可以在線準(zhǔn)確地檢測(cè)到異常數(shù)據(jù)，并能提供精確的異常數(shù)據(jù)修正。 (2)在流數(shù)據(jù)特征近似抽取方面，對(duì)采樣、直方圖、流矩陣不等概行列采樣等概要生成方法進(jìn)行了深入研究，針對(duì)不同概要在某些方面的缺陷提出相應(yīng)的改進(jìn)算法，進(jìn)一步在各種數(shù)據(jù)流概要基礎(chǔ)上，提出一種基于概要的數(shù)據(jù)流管理系統(tǒng)框架，作為此框架的實(shí)現(xiàn)，設(shè)計(jì)了一種適用于工業(yè)控制的協(xié)調(diào)者．工作者數(shù)據(jù)流聚集模型，基于概要產(chǎn)生可變長(zhǎng)數(shù)據(jù)劃分粒度的動(dòng)態(tài)負(fù)載均衡方法，解決分布式環(huán)境下

5、工業(yè)數(shù)據(jù)流的聚集處理問(wèn)題，通過(guò)對(duì)不同分布仿真數(shù)據(jù)的實(shí)驗(yàn)分析證明提出的模型能夠獲得較高的加速比。 (3)在高維數(shù)據(jù)流相關(guān)性分析方面，將統(tǒng)計(jì)理論中經(jīng)典的典型相關(guān)性分析方法(cCA)應(yīng)用于數(shù)據(jù)流領(lǐng)域，從理論上證明了基于不等概采樣的低階近似技術(shù)應(yīng)用于高維數(shù)據(jù)流復(fù)雜計(jì)算的可行性，提出適于數(shù)據(jù)流處理的一過(guò)性(one-pass scanning)多變量相關(guān)性分析的增量算法StreamCCA，理論分析和合成及真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)證明StreamCC

6、A能夠在線計(jì)算多維數(shù)據(jù)流之間的典型相關(guān)系數(shù)。 (4)在數(shù)據(jù)流值預(yù)測(cè)方面，提出帶有“尺度導(dǎo)引”的插值小波算法，在確定性預(yù)測(cè)信息的基礎(chǔ)上，實(shí)現(xiàn)可變預(yù)測(cè)時(shí)間間隔的數(shù)據(jù)流值預(yù)測(cè)。構(gòu)造不連續(xù)測(cè)量值的特殊卡爾曼濾波模型和誤差預(yù)測(cè)算法，體現(xiàn)時(shí)間序列數(shù)據(jù)流的動(dòng)態(tài)變化，滿足高速數(shù)據(jù)流只能一遍掃描的限制。為了在計(jì)算資源受限的前提下，協(xié)調(diào)預(yù)測(cè)精度與計(jì)算復(fù)雜度，根據(jù)流值變化的快慢程度自適應(yīng)地確定預(yù)測(cè)步長(zhǎng)：在流值平穩(wěn)時(shí)縮短預(yù)測(cè)步長(zhǎng)提高預(yù)測(cè)精度，在流值快

7、速變化時(shí)使用較長(zhǎng)的預(yù)測(cè)步長(zhǎng)降低計(jì)算代價(jià)，同時(shí)仍然能夠保證要求的預(yù)測(cè)精度，形成最佳預(yù)測(cè)點(diǎn)軌跡。 (5)多數(shù)分類方法基于數(shù)據(jù)服從靜態(tài)分布的假設(shè)，然而真實(shí)世界中數(shù)據(jù)的采集通?？缭揭欢螘r(shí)間，從幾秒到幾年，如果忽略潛在概念的變化(即概念漂移)將會(huì)嚴(yán)重降低分類模式的預(yù)測(cè)性能。提出一種在線分類系統(tǒng)StreamSPRINT，可以動(dòng)態(tài)調(diào)整訓(xùn)練窗口的尺寸和分類模型重建期間允許接受的新樣本的個(gè)數(shù)，以適應(yīng)當(dāng)前概念漂移發(fā)生的速度；可以對(duì)每個(gè)數(shù)據(jù)流樣本至多