氣象領域事件挖掘相關問題的研究.pdf

1、數據挖掘是從海量數據中發(fā)現有價值的規(guī)律和信息的一門學科，結合了統(tǒng)計學、數據庫、機器學習、優(yōu)化理論等各個領域的算法和知識。近年來，隨著信息化技術的高速發(fā)展，大量原始數據被采集，數據挖掘及其在各類交叉學科的應用研究已經越來越受到研究界以及企業(yè)界的重視。其中，空間數據與時間序列數據均為常見的數據類型，廣泛存在于地理信息系統(tǒng)，傳感器網絡，股票市場，和氣象領域等等。針對空間數據、時間序列數據的基礎算法研究，以及與其它學科領域相結合的應用研究一直以

2、來都是數據挖掘的熱點問題。
　　氣象領域是數據挖掘技術應用研究的一個新興的領域，而氣象事件挖掘是其中一個重點研究方向。氣象事件的挖掘研究可以為人們生產生活的各種行為決策提供及時且堅實的數據支持，具有極其重要的現實意義。因此，本文以氣象領域為研究背景，以常見的氣象數據如時間序列、空間數據、時空數據等為研究的數據對象，就氣象事件挖掘的相關問題展開研究。具體來說，本文主要專注于空間數據聚類分析、時間序列符號化表示等基礎算法研究，并針對氣

3、象領域特定事件挖掘等具體需求做算法和框架的設計。本文主要的研究成果如下:
　　(1)提出了一個空間數據聚類分析算法Yupc。受自然界粒子在勢能場下相互吸引的動態(tài)過程的啟發(fā)，本文提出一種全新的基于湯川勢的動態(tài)聚類算法Yupc。該算法既不需要事先假設數據初始分布，也不需要用戶指定簇的個數，可以檢測出不同形狀、大小、密度、數量、以及分布的簇，反映出原始數據集本質內在結構特點。同時，為了解決聚類算法的參數設置問題，本文還提出一個自動搜尋最

4、佳參數的框架，以做到自動聚類分析。在人造數據集和真實數據集上的實驗表明，Yupc的聚類效果優(yōu)于現有算法，尤其擅于處理同時包含了多種簇的數據集。
　　(2)設計了一個時間序列符號化表示算法rSAX。時間序列符號化表示是處理高維時間序列的一種常用方法，可以在保留時間序列特征的前提下大大降低數據的維度，以便后續(xù)的分析挖掘。SAX是一個經典的符號化表示算法，被廣泛用于時間序列分析的各個領域。但是SAX總是使用確定的分割點來映射時間序列，這

5、使得鄰近分割點的相似對象難以被合適的表達出來，還會影響TLB下界的緊度。為了解決這個問題，本文提出了一種基于隨機偏移的符號化表示算法rSAX。該算法通過隨機偏移算法生成“軟邊界”而非傳統(tǒng)算法的“硬邊界”，使得越為相似的對象點將有越高的概率被映射成同一個符號，進而做到更好TLB界而無需加大表達粒度。同時，本文從理論證明了rSAX與經典算法SAX相比，可以做到更好的映射效果和更緊的TLB界。最后，在真實數據集上的實驗驗證了rSAX的有效性和

6、效率。
　　(3)為氣象領域協同異常事件挖掘提出了一個挖掘框架。氣象領域的溫度序列是時間序列的一種。歷史多維溫度序列記錄了多年來各地氣溫隨時間變化的趨勢和細節(jié)，同時隱含了很多重要的事件信息。其中，協同異常(co-anomaly)事件便是重要的氣象現象之一，表現為相似異常模式同時刻發(fā)生在不同的溫度序列上。這類協同異常事件在理解氣象行業(yè)異常氣象行為以及自然災害方面扮演了非常重要的角色。然而，由于溫度序列自身獨特性質，自動挖掘氣象領域協

7、同異常事件是一個尚待解決的問題。為此，本文提出一個全新的算法框架Sevent來從多維溫度序列中自動檢測協同異常氣象事件。具體的思想如下，首先把原始溫度序列投影成符號式表達;然后，通過統(tǒng)計顯著性檢驗從中檢測協同異常模式;最后從協同異常模式中生成可覆蓋不同子維度以及不同子序列的協同異常事件。在真實數據集上的實驗結果清楚地驗證了Sevent的有效性。
　　(4)為氣象領域高溫熱浪事件設計了一個基于時空聚類的挖掘算法。氣象領域的事件挖掘面

8、臨著各種各樣的氣象場景和需求。高溫熱浪便是其中一類重要的事件。對時空溫度數據進行自動高溫事件挖掘，可以幫助氣象專家們對歷史上各起高溫熱浪覆蓋的時間和空間范圍做界定，從而對高溫熱浪的起因及演化做進一步的研究。事件時空區(qū)域挖掘同時也是數據挖掘領域一類重要的問題，在各種自然、社會學科中有著廣泛的應用。傳統(tǒng)的事件時空區(qū)域挖掘算法多基于時空聚類分析，當事件覆蓋的區(qū)域不規(guī)則，且隨著時間推移而呈現出各種演變時難以準確對其進行捕獲和挖掘;同時各項參數的