異常數(shù)據(jù)的修正算法

1、1異常數(shù)據(jù)處理方法研究1異常數(shù)據(jù)處理概述1.1研究背景近年來(lái)，隨著海上風(fēng)力發(fā)電技術(shù)的日益成熟和陸上風(fēng)電可開(kāi)發(fā)資源的不斷減少，海上風(fēng)電尤其是近海風(fēng)電的開(kāi)發(fā)開(kāi)始加速。風(fēng)機(jī)是海上風(fēng)電開(kāi)發(fā)的主要形式，而風(fēng)機(jī)基礎(chǔ)結(jié)構(gòu)承擔(dān)著抵抗海上風(fēng)機(jī)結(jié)構(gòu)的豎向、水平荷載和傾覆力矩的作用，其質(zhì)量關(guān)系到海上風(fēng)機(jī)結(jié)構(gòu)的運(yùn)行安全。作為隱蔽工程，其健康狀況受到了社會(huì)各界的高度重視，如何對(duì)風(fēng)機(jī)基礎(chǔ)特別是MW級(jí)風(fēng)機(jī)基礎(chǔ)的安全運(yùn)行狀況監(jiān)測(cè)成為研究領(lǐng)域的熱點(diǎn)?，F(xiàn)有的監(jiān)測(cè)技術(shù)需要通

2、過(guò)設(shè)置在風(fēng)機(jī)基礎(chǔ)中的數(shù)據(jù)采集系統(tǒng)自動(dòng)獲取基礎(chǔ)的各狀態(tài)的大量參數(shù)，如應(yīng)力、應(yīng)變、振動(dòng)、變形等，采集到的海量原始數(shù)據(jù)通過(guò)通信網(wǎng)絡(luò)傳輸?shù)奖O(jiān)控中心，經(jīng)過(guò)數(shù)據(jù)存儲(chǔ)，分析處理得到基礎(chǔ)的安全運(yùn)行狀況和維修決策等結(jié)論。風(fēng)機(jī)基礎(chǔ)監(jiān)測(cè)系統(tǒng)是集結(jié)構(gòu)監(jiān)測(cè)、系統(tǒng)識(shí)別及結(jié)構(gòu)評(píng)估于一體的綜合監(jiān)測(cè)系統(tǒng)，其內(nèi)容包括幾何變形監(jiān)測(cè)、結(jié)構(gòu)響應(yīng)（應(yīng)力、應(yīng)變及振動(dòng)）監(jiān)測(cè)等。監(jiān)測(cè)系統(tǒng)的質(zhì)量主要取決于三方面因素:(1)傳感器的靈敏性和精度以及數(shù)據(jù)傳輸和采集設(shè)備的性能；(2)測(cè)點(diǎn)的空間

3、分布，即傳感器的最優(yōu)布置問(wèn)題；(3)異常數(shù)據(jù)的分析處理。從目前電子技術(shù)的發(fā)展來(lái)看，成熟、穩(wěn)定、高性能的傳感器已經(jīng)被應(yīng)用與監(jiān)測(cè)系統(tǒng)中，而且合理安排傳感器位置，以達(dá)到信息采集的最優(yōu)化，也已經(jīng)有很多研究成果。但由于監(jiān)測(cè)信息格式復(fù)雜、信息量大，每天數(shù)據(jù)量甚至能達(dá)到十幾GB，如果不能有效地對(duì)這些數(shù)據(jù)進(jìn)行處理，很多異常數(shù)據(jù)將不能有效辨識(shí)，缺失信息將不能有效彌補(bǔ)，而且監(jiān)測(cè)數(shù)據(jù)的分析必須建立在準(zhǔn)確有效的監(jiān)測(cè)數(shù)據(jù)之上，低精度和異常的監(jiān)測(cè)數(shù)據(jù)常常影響數(shù)值分

4、析的結(jié)果，會(huì)影響到系統(tǒng)的功能與特性分析，給后續(xù)數(shù)據(jù)處理帶來(lái)很大的誤差，正常信息不能得到有效利用，故有必要對(duì)原始采集數(shù)據(jù)進(jìn)行處理。因此監(jiān)測(cè)異常數(shù)據(jù)處理是三方面中至關(guān)重要的一點(diǎn)。監(jiān)測(cè)系統(tǒng)異常數(shù)據(jù)處理包含兩個(gè)方面的內(nèi)容：(1)異常數(shù)據(jù)檢測(cè)，即找出異常信息并確定異常信息所在位置，根據(jù)需要將異常數(shù)據(jù)保存入專門(mén)數(shù)據(jù)庫(kù)中或直接進(jìn)行剔除；(2)異常數(shù)據(jù)修正，即通過(guò)插值等方法，參考數(shù)據(jù)異常點(diǎn)前后的數(shù)據(jù)，完成該異常數(shù)據(jù)點(diǎn)的修正，確保采集信息不缺失，保持原始

5、采集數(shù)據(jù)的連續(xù)性。異常是一個(gè)復(fù)雜的概念，迄今為止還沒(méi)有一個(gè)統(tǒng)一定義。Hawkins提出的異常定義被大多數(shù)人所接受，其定義為：異常是在數(shù)據(jù)集中與眾不同的數(shù)據(jù)，使人們懷疑這些數(shù)據(jù)并非隨機(jī)產(chǎn)生的，而是產(chǎn)生于完全不同的機(jī)制。異常數(shù)據(jù)往往代表一種偏差或者新模式的開(kāi)始，因此對(duì)異常數(shù)據(jù)的識(shí)別有時(shí)會(huì)比正常數(shù)據(jù)更有價(jià)值。傳感器異常數(shù)據(jù)是指在數(shù)據(jù)集中與大部分?jǐn)?shù)據(jù)不一致或者偏離正常行為模式的數(shù)據(jù)。異常數(shù)據(jù)的產(chǎn)生主要是因?yàn)橐韵聨追N情況而發(fā)生的：(1)數(shù)據(jù)來(lái)源中

6、的異常，這類異常中可能隱藏著重要的知識(shí)或規(guī)律。對(duì)這類異常分析可以獲取常規(guī)數(shù)據(jù)不能得到的新的信息，如基礎(chǔ)結(jié)構(gòu)損壞等；(2)數(shù)據(jù)固有變化異常，這類異常通常是自然發(fā)生的，如風(fēng)速的變化、波浪波動(dòng)等；(3)數(shù)據(jù)測(cè)量誤差，這類異常的產(chǎn)生往往是因?yàn)闇y(cè)量?jī)x器故障或者網(wǎng)絡(luò)傳輸錯(cuò)誤，以及噪音的存在引起的，這類異常通常作為噪聲而被刪除。與其他工程相比，風(fēng)機(jī)基礎(chǔ)安全狀況監(jiān)測(cè)發(fā)展較為滯后，尚未發(fā)現(xiàn)關(guān)于風(fēng)機(jī)基礎(chǔ)監(jiān)測(cè)數(shù)據(jù)處理的相關(guān)研究成果，其監(jiān)測(cè)異常數(shù)據(jù)的處理缺乏相

7、應(yīng)的經(jīng)驗(yàn)?？梢越梃b類似工程監(jiān)測(cè)數(shù)據(jù)處理的方法進(jìn)行研究。而針對(duì)監(jiān)測(cè)數(shù)據(jù)的種類多、數(shù)據(jù)海量、頻幅分布廣等特點(diǎn)，國(guó)內(nèi)學(xué)者已經(jīng)研究了很多處理辦法。其中研究較多的如小波分析、數(shù)據(jù)挖掘、數(shù)據(jù)流理論等。然而，目前的類似工程監(jiān)測(cè)數(shù)據(jù)處理的方法主要是在離線數(shù)據(jù)的基礎(chǔ)上，在實(shí)時(shí)監(jiān)控上還缺乏相應(yīng)的準(zhǔn)確率和智能化。結(jié)合風(fēng)機(jī)基礎(chǔ)特點(diǎn)，尋找一種有效的適用于風(fēng)機(jī)基礎(chǔ)監(jiān)測(cè)實(shí)時(shí)數(shù)據(jù)處理的方法具有十分重要的研究意義和實(shí)用價(jià)值。3異常因子，計(jì)算時(shí)間復(fù)雜度較高，所以這些算法在

8、動(dòng)態(tài)環(huán)境中不易實(shí)現(xiàn)。因此，如何在動(dòng)態(tài)環(huán)境中提高基于密度的異常數(shù)據(jù)挖掘算法的時(shí)間效率避免大量的重復(fù)計(jì)算顯得尤為重要。1.3研究目的和意義本項(xiàng)研究的目的在于結(jié)合風(fēng)機(jī)基礎(chǔ)特點(diǎn)，在傳統(tǒng)異常數(shù)據(jù)處理方法基礎(chǔ)上，研究一種有效的適用于風(fēng)機(jī)基礎(chǔ)監(jiān)測(cè)實(shí)時(shí)數(shù)據(jù)處理的方法，該方法能夠在線辨識(shí)異常監(jiān)測(cè)數(shù)據(jù)并保存，且能夠自動(dòng)修復(fù)原數(shù)據(jù)集，保持器連續(xù)性。本研究的意義在于：(1)實(shí)現(xiàn)異常數(shù)據(jù)在線檢測(cè)與修正。目前的監(jiān)測(cè)數(shù)據(jù)處理方法主要是在離線數(shù)據(jù)的基礎(chǔ)上，在實(shí)時(shí)監(jiān)控上

9、還缺乏相應(yīng)的準(zhǔn)確率和智能化。本研究實(shí)現(xiàn)了異常數(shù)據(jù)在線檢測(cè)與修正，與傳統(tǒng)的異常數(shù)據(jù)識(shí)別方法相比，具有更快的計(jì)算時(shí)間和更高的還原精度，能夠滿足數(shù)據(jù)的在線異常檢測(cè)與修正要求(2)實(shí)時(shí)發(fā)現(xiàn)異常狀況并采取必要處理措施。對(duì)于實(shí)時(shí)檢測(cè)出的異常數(shù)據(jù)進(jìn)行分析，尋找異常事件原因，并根據(jù)產(chǎn)生原因采取應(yīng)有的處理方式。對(duì)于傳感器故障或執(zhí)行錯(cuò)誤導(dǎo)致數(shù)據(jù)異常情況，應(yīng)進(jìn)行剔除處理；有些異常數(shù)據(jù)是數(shù)據(jù)變異產(chǎn)生的結(jié)果，如對(duì)于基礎(chǔ)結(jié)構(gòu)監(jiān)測(cè)，發(fā)生異常工況或結(jié)構(gòu)損壞在一段時(shí)間往

10、往會(huì)出現(xiàn)前兆，導(dǎo)致數(shù)據(jù)異常，如果能夠及時(shí)捕捉到異常狀況的發(fā)生并采取相應(yīng)措施，則能防患于未然，保證結(jié)構(gòu)安全。(3)提高和完善監(jiān)測(cè)結(jié)果準(zhǔn)確性，為后續(xù)研究奠定基礎(chǔ)。監(jiān)測(cè)結(jié)果的準(zhǔn)確性建立在高質(zhì)量的監(jiān)測(cè)數(shù)據(jù)之上，如果不能有效地辨識(shí)與處理異常數(shù)據(jù)，低精度和異常的監(jiān)測(cè)數(shù)據(jù)混入正常數(shù)據(jù)集中，會(huì)對(duì)監(jiān)測(cè)系統(tǒng)的功能與特性分析產(chǎn)生重大影響，給后續(xù)數(shù)據(jù)處理帶來(lái)很大的誤差，正常數(shù)據(jù)信息不能有效用于后續(xù)的相關(guān)研究，利用數(shù)據(jù)研究得到的結(jié)論與實(shí)際可能存在較大誤差。1.4

11、主要研究?jī)?nèi)容本研究主要包括以下3部分內(nèi)容：(1)對(duì)常用異常數(shù)據(jù)檢測(cè)與修正方法簡(jiǎn)要介紹，介紹了常用的數(shù)據(jù)預(yù)處理技術(shù)及異常數(shù)據(jù)檢測(cè)問(wèn)題的重要特征，對(duì)常用異常數(shù)據(jù)檢測(cè)及修正算法進(jìn)行了描述和討論，分析了各種算法的優(yōu)缺點(diǎn)和適用場(chǎng)景。(2)幾種典型改進(jìn)算法及其工程應(yīng)用實(shí)例進(jìn)行分析，。(3)風(fēng)機(jī)基礎(chǔ)監(jiān)測(cè)異常數(shù)據(jù)的檢測(cè)和修正。2異常數(shù)據(jù)檢測(cè)與修正方法異常數(shù)據(jù)檢測(cè)問(wèn)題通常包括四個(gè)過(guò)程：第一是數(shù)據(jù)的預(yù)處理，即通過(guò)數(shù)字濾波方法去除一些干擾；第二是異常數(shù)據(jù)的定

12、義，即在數(shù)據(jù)集中表現(xiàn)出怎樣的行為或者模式的數(shù)據(jù)稱為異常數(shù)據(jù)；第三是選擇合適的能夠有效發(fā)現(xiàn)異常數(shù)據(jù)的算法，異常數(shù)據(jù)表現(xiàn)行為不同，異常數(shù)據(jù)挖掘算法結(jié)果也會(huì)有所差異；第四是異常數(shù)據(jù)的修正，即通過(guò)異常挖掘?qū)惓?shù)據(jù)挖掘出來(lái)后，對(duì)這部分?jǐn)?shù)據(jù)按照原有模式規(guī)則進(jìn)行修正，確保采集信息不缺失，保持采集數(shù)據(jù)時(shí)間序列上的連續(xù)性。本章介紹了常用的數(shù)據(jù)預(yù)處理技術(shù)及異常數(shù)據(jù)檢測(cè)問(wèn)題的重要特征，對(duì)常用異常數(shù)據(jù)檢測(cè)及修正算法進(jìn)行了描述和討論，分析了各種算法的優(yōu)缺點(diǎn)和適

13、用場(chǎng)景。2.1數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)是通過(guò)各種類型的監(jiān)測(cè)傳感器獲取的，數(shù)據(jù)是一種通過(guò)間接方法取得事物狀態(tài)的技術(shù)，如將結(jié)構(gòu)相應(yīng)等參數(shù)通過(guò)一定的轉(zhuǎn)換技術(shù)轉(zhuǎn)變?yōu)殡娦盘?hào)，然后再將電信號(hào)轉(zhuǎn)換為數(shù)字化的數(shù)據(jù)。由于傳感器安裝環(huán)境的不穩(wěn)定和數(shù)據(jù)轉(zhuǎn)換過(guò)程摻雜少量的噪聲數(shù)據(jù)等各方面因素的影響，得到的數(shù)據(jù)會(huì)受到一定干擾，影響了最終數(shù)據(jù)的準(zhǔn)確性。為了減小噪聲對(duì)數(shù)據(jù)結(jié)果的影響，除了采用更加科學(xué)的采樣技術(shù)外，還需要采用一些必要的技術(shù)手段對(duì)原始數(shù)據(jù)進(jìn)行整理、統(tǒng)計(jì)，數(shù)字濾