數(shù)據(jù)挖掘在氣象數(shù)據(jù)收發(fā)監(jiān)控系統(tǒng)中的應(yīng)用.pdf

1、本論文的研究基于甘肅省氣象局重點(diǎn)研發(fā)項(xiàng)目“氣象數(shù)據(jù)收發(fā)全網(wǎng)監(jiān)控系統(tǒng)”完成。開發(fā)的《全網(wǎng)監(jiān)控系統(tǒng)》綜合應(yīng)用了計(jì)算機(jī)技術(shù)的最新研究成果，結(jié)合我省氣象實(shí)時(shí)業(yè)務(wù)的特點(diǎn)，實(shí)現(xiàn)了對所有實(shí)時(shí)氣象數(shù)據(jù)收發(fā)的全程、多視角、自動化監(jiān)控，最大限度地提高了數(shù)據(jù)傳輸?shù)目煽啃约皩?shí)時(shí)性，減輕業(yè)務(wù)人員的工作量。同時(shí)，系統(tǒng)實(shí)現(xiàn)了任意時(shí)段、任意類別資料傳輸質(zhì)量的統(tǒng)計(jì)分析及內(nèi)部一致性分析，并且根據(jù)分析結(jié)果找出了實(shí)時(shí)業(yè)務(wù)存在的問題，提出了改進(jìn)建議，為傳輸質(zhì)量評估和業(yè)務(wù)診斷分析

2、提供了依據(jù)。本文的主要工作以及創(chuàng)新點(diǎn)有以下幾方面： 本文在查閱大量資料的基礎(chǔ)上，詳細(xì)介紹了我國氣象數(shù)據(jù)收發(fā)全網(wǎng)絡(luò)監(jiān)控系統(tǒng)的研究現(xiàn)狀、研究內(nèi)容、相關(guān)技術(shù)方案；介紹了數(shù)據(jù)挖掘技術(shù)在全網(wǎng)監(jiān)控系統(tǒng)中的研究現(xiàn)狀、應(yīng)用方法、過程及步驟。通過分析氣象領(lǐng)域數(shù)據(jù)傳輸現(xiàn)狀及用戶需求，確定了本項(xiàng)目的研究內(nèi)容及解決的技術(shù)難題，確定數(shù)據(jù)挖掘技術(shù)擬解決的問題(氣象數(shù)據(jù)傳輸異常點(diǎn)的分析；溫度和區(qū)域自動站數(shù)據(jù)采集之間的關(guān)聯(lián)關(guān)系；信息傳輸質(zhì)量和業(yè)務(wù)流程或系統(tǒng)穩(wěn)定

3、性之間的關(guān)系)，并提出解決此任務(wù)的數(shù)據(jù)挖掘算法。 本文從信息傳輸?shù)慕嵌龋治隽烁黝悮庀筚Y料的多種異構(gòu)數(shù)據(jù)源的特點(diǎn)(觀測頻次、文件命名方式、內(nèi)容格式、內(nèi)容標(biāo)識、時(shí)空特點(diǎn)及收發(fā)平臺等)，提出了采用元數(shù)據(jù)技術(shù)實(shí)現(xiàn)復(fù)雜氣象數(shù)據(jù)的統(tǒng)一管理，本文采用ETL技術(shù)，實(shí)現(xiàn)不同平臺下所有收發(fā)數(shù)據(jù)的抽取、清理、轉(zhuǎn)換、集成和入庫存儲等工作，為實(shí)時(shí)監(jiān)控和主題挖掘奠定了基礎(chǔ)。在此基礎(chǔ)上，實(shí)現(xiàn)統(tǒng)一平臺所有收發(fā)資料可視化的監(jiān)控和預(yù)警。保證了氣象數(shù)據(jù)收發(fā)的及時(shí)性

4、，提高了傳輸質(zhì)量。 本文嘗試通過數(shù)據(jù)挖掘的方法，解決氣象數(shù)據(jù)的特定問題。提出了“元數(shù)據(jù)模型下的分類算法”，較好地解決了原有分類算法處理氣象數(shù)據(jù)方面的不足，結(jié)合行業(yè)領(lǐng)域知識，在模型已知的情況下，重點(diǎn)考慮了數(shù)據(jù)的動態(tài)變化，即數(shù)據(jù)隨業(yè)務(wù)的變化而變化、隨時(shí)間、季節(jié)的變化而變化。同時(shí)減少了原有分類算法繁瑣的重復(fù)訓(xùn)練過程，極大提高了算法的效率，能夠滿足現(xiàn)有業(yè)務(wù)和今后業(yè)務(wù)拓展的需求。另外，通過孤立點(diǎn)分析和關(guān)聯(lián)分析，發(fā)現(xiàn)了很多現(xiàn)有業(yè)務(wù)系統(tǒng)BUG