數(shù)據(jù)流查詢和數(shù)據(jù)流挖掘在油田中應(yīng)用的研究.pdf

1、在數(shù)據(jù)挖掘和數(shù)據(jù)分析研究領(lǐng)域中，最近出現(xiàn)了一個(gè)新的研究方向，即數(shù)據(jù)流的挖掘與分析。在網(wǎng)絡(luò)監(jiān)控、入侵檢測(cè)、情報(bào)分析、金融服務(wù)、股票交易、電子商務(wù)、電信、Web頁面訪問和科學(xué)研究等眾多領(lǐng)域中，數(shù)據(jù)以流的形式出現(xiàn)。由于數(shù)據(jù)流的特殊性，短時(shí)間內(nèi)有大量數(shù)據(jù)連續(xù)到達(dá)，這些數(shù)據(jù)具有隨時(shí)間動(dòng)態(tài)變化的趨勢(shì)，怎樣對(duì)這些數(shù)據(jù)流使用有限存儲(chǔ)空間進(jìn)行快速處理以獲取有用信息，為數(shù)據(jù)挖掘及其應(yīng)用研究帶來了新的機(jī)遇和挑戰(zhàn)，也具有很重要的意義。 油田計(jì)算機(jī)網(wǎng)絡(luò)建

2、設(shè)正日趨完善，油田開發(fā)和生產(chǎn)科研工作中的大量信息已經(jīng)實(shí)現(xiàn)網(wǎng)上傳輸，信息共享的數(shù)量和質(zhì)量得到大幅度提高，開發(fā)基于多服務(wù)器、大信息量的數(shù)據(jù)庫信息網(wǎng)絡(luò)監(jiān)控系統(tǒng)，提供多方位監(jiān)控信息建設(shè)質(zhì)量和管理過程的手段，及時(shí)全面準(zhǔn)確地了解掌握每天用戶對(duì)數(shù)據(jù)庫的使用情況，使網(wǎng)上服務(wù)器中的數(shù)據(jù)信息管理變得可視和透明，通過計(jì)算機(jī)程序運(yùn)行取代傳統(tǒng)的人工信息管理模式，是迫切需要解決的問題。 本論文主要研究了以下幾個(gè)方面的內(nèi)容： (1)通過對(duì)國內(nèi)外數(shù)據(jù)流

3、技術(shù)系統(tǒng)的研究，總結(jié)出關(guān)于數(shù)據(jù)流、數(shù)據(jù)流查詢、數(shù)據(jù)流挖掘以及數(shù)據(jù)流管理系統(tǒng)(DSMS)的基本特點(diǎn)、模型以及關(guān)鍵技術(shù)等。 (2)大慶油田采油二廠各生產(chǎn)部門每天用PDPMIS系統(tǒng)連續(xù)的向網(wǎng)絡(luò)中心傳送大量生產(chǎn)數(shù)據(jù)，本論文把流動(dòng)的數(shù)據(jù)集看做一個(gè)特殊的數(shù)據(jù)流，把數(shù)據(jù)流管理系統(tǒng)(DSMS)做為傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的擴(kuò)展。提出了一個(gè)基于數(shù)據(jù)流挖掘的油田網(wǎng)絡(luò)監(jiān)控系統(tǒng)模型，模型添加了用戶接口、數(shù)據(jù)監(jiān)控、查詢處理器、存儲(chǔ)區(qū)等系統(tǒng)模塊，其中在數(shù)據(jù)流挖掘模塊

4、里通過Operators的連接，系統(tǒng)能夠通過過濾、聚集、分類，或者忽略某些特定的數(shù)據(jù)元素。(3)油田生產(chǎn)中，更為感興趣的問題是近來哪些模式反映較為異常，本論文研究了數(shù)據(jù)流異常模式的提取。設(shè)定的域值條件為采油廠多年的經(jīng)驗(yàn)值，采用XML結(jié)合數(shù)據(jù)流系統(tǒng)的方式增強(qiáng)系統(tǒng)的可擴(kuò)展性。同時(shí)介紹了一個(gè)數(shù)據(jù)挖掘環(huán)境-YaLE(YetAnotherLearningEnvironment)和針對(duì)時(shí)間序列數(shù)據(jù)流處理實(shí)時(shí)和模擬的概念漂移的一個(gè)插件工具Concep

5、tdriftplugin。并給出了一個(gè)集成學(xué)習(xí)器KBS-數(shù)據(jù)流(BayesianBoostingforStreams)實(shí)驗(yàn)的樣例以及一個(gè)數(shù)據(jù)流可適應(yīng)的時(shí)間窗口配置文件。 (4)介紹了油田網(wǎng)絡(luò)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，系統(tǒng)將報(bào)警條件設(shè)定的域值保存到XML文件里，采用DOM訪問XML文件；利用了ORACLE的審計(jì)、觸發(fā)器、JOB等功能結(jié)合JAVA程序?qū)W(wǎng)絡(luò)中數(shù)據(jù)庫操作情況、生產(chǎn)數(shù)據(jù)質(zhì)量等進(jìn)行全面的監(jiān)控，并對(duì)異常情況進(jìn)行報(bào)警提示，為兼顧時(shí)