海洋環(huán)境數(shù)據(jù)倉庫與數(shù)據(jù)挖掘應用研究.pdf

1、“數(shù)字海洋”是由海量、多分辨率、多時相、多類型海洋立體監(jiān)測數(shù)據(jù)及其分析算法和模型構建而成的總體海洋系統(tǒng)。海洋環(huán)境數(shù)據(jù)倉庫是國家“數(shù)字海洋”基礎數(shù)據(jù)平臺的一部分,它將多源、異構、分散的海量海洋環(huán)境數(shù)據(jù)集成到一起,從而更好地為海洋研究與管理、實現(xiàn)海洋的可持續(xù)發(fā)展服務。課題的研究將為構建我國近海“數(shù)字海洋”奠定堅實的數(shù)據(jù)框架及理論基礎。
　　本文對海洋環(huán)境數(shù)據(jù)體系規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)倉庫構建技術,以及對集成后的數(shù)據(jù)倉庫進行OLAP及數(shù)據(jù)

2、挖掘技術等進行了深入的研究,系統(tǒng)化地提出了一個海洋環(huán)境數(shù)據(jù)從集成、應用、分析的完整框架。
　　針對海洋環(huán)境數(shù)據(jù)集成與應用的需求,設計了一個包括數(shù)據(jù)源、數(shù)據(jù)加載、數(shù)據(jù)倉庫層、前端應用等四層的海洋環(huán)境數(shù)據(jù)倉庫集成與應用框架。其中為滿足終端用戶對原始數(shù)據(jù)的需求、部門級用戶決策支持需求將數(shù)據(jù)倉庫劃分為海洋環(huán)境基礎數(shù)據(jù)倉庫、海洋環(huán)境數(shù)據(jù)倉庫(集成)、數(shù)據(jù)集市等層次。另外還包括數(shù)據(jù)倉庫管理工具以對整個數(shù)據(jù)倉庫體系進行數(shù)據(jù)訪問、安全等方面的管理

3、。
　　總結了海洋環(huán)境數(shù)據(jù)的類型及特征,在研究和分析海洋環(huán)境數(shù)據(jù)倉庫的構建方法及關鍵模型的基礎上,提出海洋環(huán)境數(shù)據(jù)倉庫的體系結構,并對其進行詳細的結構設計、主題設計及多維模型設計。海洋環(huán)境基礎數(shù)據(jù)倉庫存儲原始格式的數(shù)據(jù),它全面整合歷次海洋專項調(diào)查、常規(guī)海洋調(diào)查、業(yè)務化海洋環(huán)境監(jiān)測以及國際合作等資料,以滿足終端用戶對原始數(shù)據(jù)的需求?；A數(shù)據(jù)倉庫的數(shù)據(jù)經(jīng)同構、轉換、集成處理后,保持原始粒度(不做統(tǒng)計計算)加載到按多維數(shù)據(jù)模型組織的海洋

4、環(huán)境數(shù)據(jù)倉庫。數(shù)據(jù)集市根據(jù)用戶需求創(chuàng)建,它將海洋環(huán)境數(shù)據(jù)倉庫的原始粒度數(shù)據(jù)進行篩選、統(tǒng)計或插值計算后形成多維數(shù)據(jù)立方體,為OLAP、數(shù)據(jù)挖掘等應用提供數(shù)據(jù)支持。
　　研究了海洋環(huán)境數(shù)據(jù)倉庫的性能優(yōu)化方法并提出了詳細優(yōu)化策略,基于索引優(yōu)化、分片管理的并發(fā)數(shù)據(jù)訪問會大大提高海量海洋環(huán)境數(shù)據(jù)倉庫的性能。ETL是數(shù)據(jù)倉庫建設的關鍵,本文根據(jù)海洋環(huán)境數(shù)據(jù)的特點,研究其數(shù)據(jù)清洗、轉換、集成規(guī)則,設計并開發(fā)了海洋環(huán)境數(shù)據(jù)倉庫ETL原型系統(tǒng)。海洋

5、環(huán)境數(shù)據(jù)倉庫ETL系統(tǒng)提供了多種數(shù)據(jù)訪問接口,包括:Oracle、DB2、MS Sq1 Server、Access、JDBC、ODBC等數(shù)據(jù)庫來源,格式文本、Excel、XML等平面文件來源。為了保證進入數(shù)據(jù)倉庫中數(shù)據(jù)的質量,還必須進行嚴格的數(shù)據(jù)清洗,根據(jù)清洗規(guī)則可以過濾掉和修正不符合要求的數(shù)據(jù),從而保證了數(shù)據(jù)質量和未來海洋環(huán)境數(shù)據(jù)分析與決策的正確性。針對海洋環(huán)境數(shù)據(jù)倉庫數(shù)據(jù)量大、歷史數(shù)據(jù)多、更新頻度小的特點,研究提出了一套完整的海洋環(huán)

6、境數(shù)據(jù)倉庫增量更新的機制,極大提高了海洋環(huán)境數(shù)據(jù)倉庫的運行效率。
　　為了讓用戶可以從多個角度觀察和分析海洋環(huán)境數(shù)據(jù),研究了海洋環(huán)境時空數(shù)據(jù)立方體的構建方法,通過空間插值及時空插值算法可以按各種粒度將不規(guī)則的海洋環(huán)境數(shù)據(jù)格網(wǎng)化,以構建規(guī)則的具有時間和空間維的數(shù)據(jù)立方體。同時可通過各種內(nèi)置或自定義統(tǒng)計分析函數(shù)來計算度量值,從而建立不同度量(或多度量)的海洋環(huán)境數(shù)據(jù)立方體。以海洋水文、氣象等領域的數(shù)據(jù)分析為例,研究如何利用OLAP分析

7、操作來實現(xiàn)海洋環(huán)境數(shù)據(jù)倉庫的各種應用需求。
　　為了發(fā)現(xiàn)隱藏在海量海洋環(huán)境數(shù)據(jù)中有用的模式或規(guī)律,研究了海洋環(huán)境數(shù)據(jù)倉庫的數(shù)據(jù)挖掘方法及內(nèi)容,并進行了初步的應用?；貧w預測通過建立一個回歸方程可以用來預測未來的數(shù)據(jù)趨勢,本文利用回歸分析建立懸浮體中濃度與濁度的預測模型。利用聚類方法對長江口表層沉積物的元素地球化學進行了分類,將研究區(qū)沉積物中的組成元素大體分為3種類型:“親碎屑元素”、“親生物元素”和“氧化還原敏感性元素”,并結合地質