海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘應(yīng)用研究.pdf

1、“數(shù)字海洋”是由海量、多分辨率、多時(shí)相、多類(lèi)型海洋立體監(jiān)測(cè)數(shù)據(jù)及其分析算法和模型構(gòu)建而成的總體海洋系統(tǒng)。海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)是國(guó)家“數(shù)字海洋”基礎(chǔ)數(shù)據(jù)平臺(tái)的一部分,它將多源、異構(gòu)、分散的海量海洋環(huán)境數(shù)據(jù)集成到一起,從而更好地為海洋研究與管理、實(shí)現(xiàn)海洋的可持續(xù)發(fā)展服務(wù)。課題的研究將為構(gòu)建我國(guó)近?！皵?shù)字海洋”奠定堅(jiān)實(shí)的數(shù)據(jù)框架及理論基礎(chǔ)。
　　本文對(duì)海洋環(huán)境數(shù)據(jù)體系規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建技術(shù),以及對(duì)集成后的數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行OLAP及數(shù)據(jù)

2、挖掘技術(shù)等進(jìn)行了深入的研究,系統(tǒng)化地提出了一個(gè)海洋環(huán)境數(shù)據(jù)從集成、應(yīng)用、分析的完整框架。
　　針對(duì)海洋環(huán)境數(shù)據(jù)集成與應(yīng)用的需求,設(shè)計(jì)了一個(gè)包括數(shù)據(jù)源、數(shù)據(jù)加載、數(shù)據(jù)倉(cāng)庫(kù)層、前端應(yīng)用等四層的海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)集成與應(yīng)用框架。其中為滿(mǎn)足終端用戶(hù)對(duì)原始數(shù)據(jù)的需求、部門(mén)級(jí)用戶(hù)決策支持需求將數(shù)據(jù)倉(cāng)庫(kù)劃分為海洋環(huán)境基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)、海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)(集成)、數(shù)據(jù)集市等層次。另外還包括數(shù)據(jù)倉(cāng)庫(kù)管理工具以對(duì)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)體系進(jìn)行數(shù)據(jù)訪(fǎng)問(wèn)、安全等方面的管理

3、。
　　總結(jié)了海洋環(huán)境數(shù)據(jù)的類(lèi)型及特征,在研究和分析海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建方法及關(guān)鍵模型的基礎(chǔ)上,提出海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu),并對(duì)其進(jìn)行詳細(xì)的結(jié)構(gòu)設(shè)計(jì)、主題設(shè)計(jì)及多維模型設(shè)計(jì)。海洋環(huán)境基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)原始格式的數(shù)據(jù),它全面整合歷次海洋專(zhuān)項(xiàng)調(diào)查、常規(guī)海洋調(diào)查、業(yè)務(wù)化海洋環(huán)境監(jiān)測(cè)以及國(guó)際合作等資料,以滿(mǎn)足終端用戶(hù)對(duì)原始數(shù)據(jù)的需求。基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)經(jīng)同構(gòu)、轉(zhuǎn)換、集成處理后,保持原始粒度(不做統(tǒng)計(jì)計(jì)算)加載到按多維數(shù)據(jù)模型組織的海洋

4、環(huán)境數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)集市根據(jù)用戶(hù)需求創(chuàng)建,它將海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的原始粒度數(shù)據(jù)進(jìn)行篩選、統(tǒng)計(jì)或插值計(jì)算后形成多維數(shù)據(jù)立方體,為OLAP、數(shù)據(jù)挖掘等應(yīng)用提供數(shù)據(jù)支持。
　　研究了海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的性能優(yōu)化方法并提出了詳細(xì)優(yōu)化策略,基于索引優(yōu)化、分片管理的并發(fā)數(shù)據(jù)訪(fǎng)問(wèn)會(huì)大大提高海量海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的性能。ETL是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的關(guān)鍵,本文根據(jù)海洋環(huán)境數(shù)據(jù)的特點(diǎn),研究其數(shù)據(jù)清洗、轉(zhuǎn)換、集成規(guī)則,設(shè)計(jì)并開(kāi)發(fā)了海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)ETL原型系統(tǒng)。海洋

5、環(huán)境數(shù)據(jù)倉(cāng)庫(kù)ETL系統(tǒng)提供了多種數(shù)據(jù)訪(fǎng)問(wèn)接口,包括:Oracle、DB2、MS Sq1 Server、Access、JDBC、ODBC等數(shù)據(jù)庫(kù)來(lái)源,格式文本、Excel、XML等平面文件來(lái)源。為了保證進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的質(zhì)量,還必須進(jìn)行嚴(yán)格的數(shù)據(jù)清洗,根據(jù)清洗規(guī)則可以過(guò)濾掉和修正不符合要求的數(shù)據(jù),從而保證了數(shù)據(jù)質(zhì)量和未來(lái)海洋環(huán)境數(shù)據(jù)分析與決策的正確性。針對(duì)海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)量大、歷史數(shù)據(jù)多、更新頻度小的特點(diǎn),研究提出了一套完整的海洋環(huán)

6、境數(shù)據(jù)倉(cāng)庫(kù)增量更新的機(jī)制,極大提高了海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行效率。
　　為了讓用戶(hù)可以從多個(gè)角度觀察和分析海洋環(huán)境數(shù)據(jù),研究了海洋環(huán)境時(shí)空數(shù)據(jù)立方體的構(gòu)建方法,通過(guò)空間插值及時(shí)空插值算法可以按各種粒度將不規(guī)則的海洋環(huán)境數(shù)據(jù)格網(wǎng)化,以構(gòu)建規(guī)則的具有時(shí)間和空間維的數(shù)據(jù)立方體。同時(shí)可通過(guò)各種內(nèi)置或自定義統(tǒng)計(jì)分析函數(shù)來(lái)計(jì)算度量值,從而建立不同度量(或多度量)的海洋環(huán)境數(shù)據(jù)立方體。以海洋水文、氣象等領(lǐng)域的數(shù)據(jù)分析為例,研究如何利用OLAP分析

7、操作來(lái)實(shí)現(xiàn)海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的各種應(yīng)用需求。
　　為了發(fā)現(xiàn)隱藏在海量海洋環(huán)境數(shù)據(jù)中有用的模式或規(guī)律,研究了海洋環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘方法及內(nèi)容,并進(jìn)行了初步的應(yīng)用?；貧w預(yù)測(cè)通過(guò)建立一個(gè)回歸方程可以用來(lái)預(yù)測(cè)未來(lái)的數(shù)據(jù)趨勢(shì),本文利用回歸分析建立懸浮體中濃度與濁度的預(yù)測(cè)模型。利用聚類(lèi)方法對(duì)長(zhǎng)江口表層沉積物的元素地球化學(xué)進(jìn)行了分類(lèi),將研究區(qū)沉積物中的組成元素大體分為3種類(lèi)型:“親碎屑元素”、“親生物元素”和“氧化還原敏感性元素”,并結(jié)合地質(zhì)