高性能數(shù)據(jù)流模式發(fā)現(xiàn)算法及其應(yīng)用研究.pdf

1、隨著傳感器技術(shù)和網(wǎng)絡(luò)計(jì)算的發(fā)展，數(shù)據(jù)流作為一種廣泛存在的數(shù)據(jù)，在網(wǎng)絡(luò)監(jiān)控、環(huán)境監(jiān)測(cè)、工業(yè)控制及財(cái)經(jīng)分析得到廣泛應(yīng)用，這些應(yīng)用具有如下共同特點(diǎn)：要求實(shí)時(shí)或近實(shí)時(shí)連續(xù)分析這些數(shù)據(jù)，數(shù)據(jù)量特別大并且以流的形式高速到達(dá)。傳統(tǒng)“先存儲(chǔ)然后處理”的數(shù)據(jù)挖掘模型難于處理這種高速率、瞬息即逝的數(shù)據(jù)流，挖捌數(shù)據(jù)流對(duì)數(shù)據(jù)挖掘提出了全新挑戰(zhàn)。 數(shù)據(jù)流數(shù)據(jù)中隱含多種模式，如何快速有效發(fā)現(xiàn)這些模式，是很多實(shí)際應(yīng)用的核心問(wèn)題。近年來(lái)，數(shù)據(jù)流模式發(fā)現(xiàn)已經(jīng)成為

2、數(shù)據(jù)挖掘領(lǐng)域最具挑戰(zhàn)性研究課題之一。本文旨在通過(guò)引入魯棒機(jī)制及增量遺忘機(jī)制提高模式發(fā)現(xiàn)算法性能，并將這些算法用于分析工業(yè)生產(chǎn)過(guò)程，提高產(chǎn)品質(zhì)量。取得的主要研究成果包括： 1）提出一種基于系統(tǒng)辨識(shí)領(lǐng)域中的增量遞推最小二乘回歸參數(shù)估計(jì)方法與廣義似然比檢驗(yàn)方法有機(jī)結(jié)合的數(shù)據(jù)流實(shí)時(shí)趨勢(shì)提取算法。該算法對(duì)不斷到達(dá)的數(shù)據(jù)流元素，采用增量方法確定線(xiàn)性回歸模型參數(shù)，利用廣義似然比檢驗(yàn)判斷分段邊界點(diǎn)，自動(dòng)分段給出數(shù)據(jù)流趨勢(shì)。與現(xiàn)有趨勢(shì)提取算法相比

3、，該算法不但計(jì)算速度快且精度高； 2）提出一種基于數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)流在線(xiàn)模式變化魯棒檢測(cè)算法。該算法首先以給定長(zhǎng)度的兩相鄰時(shí)間窗口對(duì)數(shù)據(jù)流取樣，然后以支持向量數(shù)據(jù)描述方法將這兩相鄰時(shí)間窗口取樣的數(shù)據(jù)流子集映射到規(guī)范化的高維特征空間，并分別建立描述這兩相鄰時(shí)間窗口取樣數(shù)據(jù)流子集映像的最小超球模型（排除了其中的離群點(diǎn)），最后通過(guò)計(jì)算兩超球之間的球心矢量的夾角的余弦，度量該兩相鄰時(shí)間窗口取樣數(shù)據(jù)流子集的相似性檢測(cè)模式變化。該算法不需要先

4、驗(yàn)知識(shí)，不受離群點(diǎn)影響，具有較強(qiáng)魯棒性； 3）提出一種基于偏向最近動(dòng)態(tài)最小二乘支持向量回歸（RBDLS—SVR）的離群點(diǎn)檢測(cè)算法。該算法由于采用了基于RBDLS—SVR方法建模，將SVM的學(xué)習(xí)問(wèn)題轉(zhuǎn)化為解線(xiàn)性方程組問(wèn)題，并采用了增量遺忘機(jī)制高精度跟蹤數(shù)據(jù)流動(dòng)態(tài)。因此避免了采用一般SVR建模方法應(yīng)用于數(shù)據(jù)流回歸建模時(shí)，每增加或減少一個(gè)樣本就需要完全重新進(jìn)行一次求解計(jì)算的缺陷，不但計(jì)算速度快而且精度高，能有效檢測(cè)數(shù)據(jù)流中的離群點(diǎn)；

5、 4）提出一種基于傾斜時(shí)間窗口的數(shù)據(jù)流偏向最近聚類(lèi)算法。該算法首先通過(guò)將滑動(dòng)窗口中數(shù)據(jù)等長(zhǎng)分割形成不重疊的數(shù)據(jù)塊—基本窗口，然后對(duì)每一基木窗口以Haar小波變換提取窗口數(shù)據(jù)的特征，通過(guò)改變所取各基本窗口小波變換系數(shù)個(gè)數(shù)達(dá)到保留較多最近數(shù)據(jù)細(xì)節(jié)特征的目的，即對(duì)于越近的基本窗口保留越多的小波系數(shù)而越舊的基本窗口保留越少的小波系數(shù)，最后通過(guò)定義數(shù)據(jù)流偏向最近距離，完成基于傾斜時(shí)間窗口的偏向最近聚類(lèi)算法。該算法計(jì)算速度快，能高效地實(shí)現(xiàn)數(shù)據(jù)

6、流偏向最近聚類(lèi)分析； 5）闡述了數(shù)據(jù)流模式發(fā)現(xiàn)在實(shí)際生產(chǎn)過(guò)程中的應(yīng)用。針對(duì)復(fù)雜的鋼鐵生產(chǎn)過(guò)程數(shù)據(jù)，應(yīng)用本文提出的數(shù)據(jù)流模式發(fā)現(xiàn)算法完成兩個(gè)挖掘任務(wù)：離群點(diǎn)檢測(cè)及突變發(fā)現(xiàn)。理論與實(shí)踐表明，本文提出的算法在大規(guī)模工業(yè)生產(chǎn)過(guò)程數(shù)據(jù)分析方面有廣闊前景。 總之，本文主要研究了高性能數(shù)據(jù)流模式發(fā)現(xiàn)算法及其在工業(yè)生產(chǎn)過(guò)程的應(yīng)用，這些算法是對(duì)現(xiàn)有數(shù)據(jù)流模式發(fā)現(xiàn)的有益補(bǔ)充或改進(jìn)。理論和實(shí)驗(yàn)都表明，與現(xiàn)有算法相比，本文提出的算法在性能（處理