多源海洋觀測數(shù)據(jù)有效性與一致性校驗方法研究與數(shù)據(jù)庫架構(gòu)的實現(xiàn).pdf

1、國家海洋局東海預(yù)報中心作為東海區(qū)的海區(qū)預(yù)報機構(gòu)，同時承擔(dān)了東海區(qū)海洋觀測數(shù)據(jù)傳輸系統(tǒng)的海區(qū)節(jié)點任務(wù)，是東海區(qū)預(yù)報的網(wǎng)絡(luò)中心與數(shù)據(jù)中心。隨著計算機的大量應(yīng)用，海洋觀測數(shù)據(jù)的記錄從原先的紙質(zhì)報表逐漸電子化，觀測手段從原先的人工觀測逐漸實現(xiàn)儀器自動化觀測。
　　目前，由于新老海洋觀測數(shù)據(jù)采集儀器并存、各類通訊方式并存、數(shù)據(jù)的儀器自動化與人工觀測采集方式并存、采集或編報軟件存在缺陷、人工數(shù)據(jù)補缺存在疏忽等原因，造成匯集的文件及數(shù)據(jù)物理意義

2、混亂、相同數(shù)據(jù)的文件格式和采集時間定義不同、不同通訊方式傳輸?shù)竭_的數(shù)據(jù)文件重復(fù)等問題，導(dǎo)致數(shù)據(jù)處理和管理極其復(fù)雜。
　　本文在對東海區(qū)業(yè)務(wù)化觀測數(shù)據(jù)傳輸網(wǎng)傳輸匯集的多種來源的各類海洋觀測數(shù)據(jù)進行了大量調(diào)研與分析的基礎(chǔ)上，對東海區(qū)實時觀測數(shù)據(jù)處理和數(shù)據(jù)庫系統(tǒng)集成與管理現(xiàn)狀進行了全面的分析和研究。目前東海區(qū)海洋觀測數(shù)據(jù)的處理和管理、數(shù)據(jù)庫建設(shè)方面存在數(shù)據(jù)多源性、多樣性、數(shù)據(jù)庫存儲結(jié)構(gòu)單一和數(shù)據(jù)管理方式的落后——缺乏管理平臺等幾方面問題

3、。
　　針對數(shù)據(jù)處理、存儲與管理中遇到的有效性與一致性問題，從優(yōu)化數(shù)據(jù)管理架構(gòu)的角度進行海洋數(shù)據(jù)校驗與處理標(biāo)準(zhǔn)的制定、數(shù)據(jù)庫“三層架構(gòu)”的構(gòu)建和數(shù)據(jù)管理平臺的設(shè)計與實現(xiàn)。（1）海洋數(shù)據(jù)校驗與處理標(biāo)準(zhǔn)的制定：旨在對不同格式、類型的文件和數(shù)據(jù)制定統(tǒng)一的數(shù)據(jù)有效性判斷及入庫處理標(biāo)準(zhǔn)，保留數(shù)據(jù)的原始信息，保障數(shù)據(jù)的完整性。（2）“三層架構(gòu)”設(shè)計與實現(xiàn)：通過建立原始庫（包括原始文件庫和原始數(shù)據(jù)庫）、基礎(chǔ)庫、專題應(yīng)用庫的三層數(shù)據(jù)庫架構(gòu)體系，根

4、據(jù)制訂的校驗與處理標(biāo)準(zhǔn)進行數(shù)據(jù)處理，實現(xiàn)處理過程中的信息保留，以利于對數(shù)據(jù)的統(tǒng)計、分析與管理。
　　本文的最終研究成果包括三部分。1）制定了一套適用于東海區(qū)海洋觀測數(shù)據(jù)校驗與入庫處理的標(biāo)準(zhǔn)。針對目前海洋觀測數(shù)據(jù)傳輸中有效性與一致性存在的問題，在無法從根本上解決前端設(shè)備或軟件所存在問題的情況下，以保證數(shù)據(jù)完
　　整性為前提，以海洋觀測業(yè)務(wù)相關(guān)規(guī)范為依據(jù)，制定了觀測數(shù)據(jù)校驗與入庫處理標(biāo)準(zhǔn)，適用于東海區(qū)海洋觀測數(shù)據(jù)的入庫管理流程。

5、
　　2）構(gòu)建了一套具有“三層架構(gòu)”的數(shù)據(jù)庫管理系統(tǒng)。通過改進原有的單一數(shù)據(jù)庫架構(gòu)，建立了具有“三層架構(gòu)”——原始庫、基礎(chǔ)庫、專題庫的數(shù)據(jù)庫管理系統(tǒng)，解決了多源、多樣、多類型數(shù)據(jù)的原始保存，集約利用及專題集成需求，即通過原始庫零處理保存各類數(shù)據(jù)，保證數(shù)據(jù)的完整性；通過基礎(chǔ)庫消除多源數(shù)據(jù)獲取中的冗余，達到數(shù)據(jù)集成最簡化；通過專題庫建立面向應(yīng)用的專題數(shù)據(jù)集，提供快速便捷的訪問接口。
　　3）創(chuàng)建了一套東海區(qū)海洋實時觀測數(shù)據(jù)可視化

6、管理平臺。利用可視化編程技術(shù)開發(fā)設(shè)計了該管理平臺，解決了目前過于依賴 oracle數(shù)據(jù)庫管理工具，缺乏定制化的海洋觀測數(shù)據(jù)可視化管理平臺等問題，初步實現(xiàn)了對海洋臺站數(shù)據(jù)的可視化管理，包括數(shù)據(jù)的增刪改查、數(shù)據(jù)庫用戶管理及簡單的報表統(tǒng)計分析功能等。
　　本文提出且實現(xiàn)了“數(shù)據(jù)處理——數(shù)據(jù)存儲——數(shù)據(jù)管理三位一體”的研究思路。本研究在總結(jié)海洋觀測業(yè)務(wù)經(jīng)驗的基礎(chǔ)上，通過不斷的探索與設(shè)計實現(xiàn)，將數(shù)據(jù)的有效性與一致性校驗、數(shù)據(jù)庫的結(jié)構(gòu)優(yōu)化、數(shù)

7、據(jù)管理手段的提升等工作有機地結(jié)合起來，使得數(shù)據(jù)管理人員更加明確東海區(qū)的數(shù)據(jù)現(xiàn)狀，數(shù)據(jù)庫架構(gòu)以及管理方法，同時也為海洋數(shù)據(jù)研究分析、海洋預(yù)警報等工作提供實時準(zhǔn)確的基礎(chǔ)數(shù)據(jù)奠定了基礎(chǔ)。
　　本文基于海洋學(xué)相關(guān)知識，針對多源的海洋觀測數(shù)據(jù)制訂相應(yīng)的優(yōu)先和有效級別，對其進行了標(biāo)準(zhǔn)化和統(tǒng)一化處理和數(shù)據(jù)的規(guī)范化管理。同時，設(shè)計了“三層架構(gòu)”數(shù)據(jù)庫系統(tǒng)，以及在“三層架構(gòu)”基礎(chǔ)上，以海洋臺站實時數(shù)據(jù)為例，初步構(gòu)建海洋臺站實時觀測數(shù)據(jù)管理平臺，實現(xiàn)