數(shù)據(jù)挖掘管理系統(tǒng)規(guī)范說明

1、數(shù)據(jù)挖掘管理系統(tǒng)規(guī)范說明,現(xiàn)狀簡(jiǎn)介強(qiáng)度挖掘(Intension Mining)I-MIN過程模型(Process Model)I-MIN系統(tǒng)的功能組件(Functional Components)強(qiáng)度挖掘算子(Operators) I-MIN系統(tǒng)的三層體系結(jié)構(gòu)(Architecture)小結(jié),現(xiàn)狀簡(jiǎn)介,傳統(tǒng)的KDD過程模型(CRISP-DM模型),Business Understanding,Data Understandi

2、ng,Data Preparation,Data Exploration,Data Mining,Evaluation,Deployment,,,,,,,現(xiàn)狀簡(jiǎn)介,當(dāng)前的數(shù)據(jù)挖掘系統(tǒng)和數(shù)據(jù)挖掘工具包要求使用者必須是數(shù)據(jù)挖掘?qū)＜曳菍I(yè)用戶需要與數(shù)據(jù)挖掘?qū)＜颐芮信浜喜拍鼙ＷC獲得理想的數(shù)據(jù)挖掘結(jié)果用戶使用極為不方便,強(qiáng)度挖掘(Intension Mining),挖掘目標(biāo)以知識(shí)發(fā)現(xiàn)模式(Knowledge Discovery Schema)

3、的形式存儲(chǔ)強(qiáng)度挖掘模式包含了一般挖掘需求（Generic mining requirements）的規(guī)格說明強(qiáng)度挖掘是基于增量式挖掘概念的，增量數(shù)據(jù)庫按固定的時(shí)間間隔進(jìn)行自動(dòng)處理處理過程由數(shù)據(jù)預(yù)挖掘組成，主要包括初步分析和聚集(Aggregation)強(qiáng)度挖掘主要由計(jì)劃階段(Planning phase)，累積階段(Accumulation phase)和挖掘階段(Mining phase)三個(gè)階段組成,強(qiáng)度挖掘(Intensi

4、on Mining),計(jì)劃階段知識(shí)發(fā)現(xiàn)模式(Knowledge Discovery Schema, KDS)的創(chuàng)建編譯知識(shí)發(fā)現(xiàn)模式得到對(duì)應(yīng)的元數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu),強(qiáng)度挖掘(Intension Mining),累積階段通過元數(shù)據(jù)對(duì)增量數(shù)據(jù)庫進(jìn)行預(yù)挖掘，得到濃縮知識(shí)(Knowledge Concentrate, KC)濃縮知識(shí)作為最終知識(shí)的中間表示形式，以濃縮知識(shí)窗口的形式為進(jìn)一步的數(shù)據(jù)挖掘服務(wù),強(qiáng)度挖掘(Intension Minin

5、g),挖掘階段用戶提交數(shù)據(jù)挖掘查詢或執(zhí)行數(shù)據(jù)挖掘應(yīng)用程序挖掘算法對(duì)濃縮知識(shí)進(jìn)行處理，得到用戶最終所需的知識(shí),強(qiáng)度挖掘(Intension Mining),重要特征將KDD看作一個(gè)連續(xù)的過程，以固定的時(shí)間間隔對(duì)增量數(shù)據(jù)庫進(jìn)行周期性累積產(chǎn)生濃縮知識(shí)濃縮知識(shí)窗口是知識(shí)更新和知識(shí)共享的基礎(chǔ),I-MIN過程模型(Process Model),I-MIN模型基于強(qiáng)度挖掘概念的以用戶為中心的KDD過程模型支持對(duì)KDD過程的交互式探索和試驗(yàn)

6、向下兼容傳統(tǒng)的KDD過程模型處理步驟分別標(biāo)記為IM1, IM2, ……, IM6,I-MIN過程模型(Process Model),I-MIN過程模型(Process Model),IM1對(duì)應(yīng)于強(qiáng)度挖掘中的計(jì)劃階段確定挖掘目標(biāo)以知識(shí)發(fā)現(xiàn)模式的形式表示挖掘目標(biāo)編譯知識(shí)發(fā)現(xiàn)模式得到元數(shù)據(jù),I-MIN過程模型(Process Model),IM2對(duì)應(yīng)于積累階段是一個(gè)復(fù)合過程IM2a, IM2b, IM2c分別對(duì)應(yīng)于傳統(tǒng)KDD

7、過程的數(shù)據(jù)選擇、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換IM2d負(fù)責(zé)對(duì)預(yù)挖掘數(shù)據(jù)進(jìn)行分析和聚集不需人工干預(yù)而以固定的時(shí)間間隔自動(dòng)執(zhí)行輸出濃縮知識(shí)(KC),I-MIN過程模型(Process Model),IM3標(biāo)志著挖掘階段的開始用戶提交挖掘查詢或自己開發(fā)的應(yīng)用程序在IM2中得到的濃縮知識(shí)在本步驟可以共享,I-MIN過程模型(Process Model),IM4真正的數(shù)據(jù)挖掘步驟知識(shí)發(fā)現(xiàn)模式中指定的數(shù)據(jù)挖掘算法被激活用戶期望的知識(shí)是從濃縮知

8、識(shí)中挖掘出來,I-MIN過程模型(Process Model),IM5對(duì)應(yīng)于知識(shí)表示IM6對(duì)應(yīng)于知識(shí)解釋/實(shí)施,I-MIN系統(tǒng)的功能組件,實(shí)現(xiàn)I-MIN模型需要為累積、挖掘、試驗(yàn)和跟蹤開發(fā)相應(yīng)的組件不同類型的知識(shí)對(duì)應(yīng)的組件是不同的每個(gè)組件實(shí)現(xiàn)I-MIN模型的一個(gè)步驟或一個(gè)功能,I-MIN系統(tǒng)的功能組件,I-MIN系統(tǒng)的功能組件,實(shí)現(xiàn)I-MIN模型需要5種組件： K為使用算法A發(fā)現(xiàn)的知識(shí)類型?TM為合并算子，用于指定數(shù)據(jù)庫子集

9、FaccTM為累積組件FminTM為挖掘組件FexpTM為試驗(yàn)組件FmonTM為跟蹤組件,I-MIN系統(tǒng)的功能組件,累積組件對(duì)數(shù)據(jù)進(jìn)行初步分析和局部聚集，實(shí)現(xiàn)IM2d由系統(tǒng)自動(dòng)激活為增量數(shù)據(jù)庫構(gòu)建濃縮知識(shí)窗口對(duì)最終用戶而言是透明的,I-MIN系統(tǒng)的功能組件,合并組件用戶可以動(dòng)態(tài)指定挖掘的數(shù)據(jù)目標(biāo)子集通過指定需要的時(shí)間間隔來達(dá)到合并的目的固定周期內(nèi)的濃縮知識(shí)需要合并產(chǎn)生一個(gè)合并的大窗口,I-MIN系統(tǒng)的功能組件,挖掘

10、組件由實(shí)際的挖掘算法組成用戶提交挖掘查詢或應(yīng)用程序時(shí)激活一個(gè)算法根據(jù)參數(shù)的不同可能對(duì)應(yīng)多個(gè)功能,I-MIN系統(tǒng)的功能組件,試驗(yàn)組件支持以用戶為中心的數(shù)據(jù)探索和試驗(yàn)通過不同的常數(shù)、數(shù)據(jù)子集和參數(shù)進(jìn)行重復(fù)的試驗(yàn)通過用戶應(yīng)用程序的方式設(shè)計(jì)新的試驗(yàn)滿足特別的挖掘需求,I-MIN系統(tǒng)的功能組件,跟蹤組件比較不同窗口中發(fā)現(xiàn)的知識(shí)來達(dá)到對(duì)數(shù)據(jù)特征進(jìn)行審查的目的可以有效發(fā)現(xiàn)模式的變化過程,I-MIN系統(tǒng)的功能組件,最后兩個(gè)組件可以有效體

11、現(xiàn)以用戶為中心的本質(zhì)如果忽略?TM、Fexp,和Fmon，I-MIN模型就還原為傳統(tǒng)的KDD過程模型,強(qiáng)度挖掘算子(Operators),用戶通過算子以強(qiáng)度挖掘查詢語言或API的方式訪問功能組件對(duì)應(yīng)的功能算子可以分為：基本算子累積算子(用戶透明)合并算子(用戶透明)挖掘算子 二級(jí)算子探索和比較多個(gè)數(shù)據(jù)子集知識(shí)的存儲(chǔ)和檢索 關(guān)聯(lián)規(guī)則的基本算子和二級(jí)算子已經(jīng)開發(fā)出來,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),對(duì)整個(gè)KDD過程進(jìn)行抽象

12、，并為知識(shí)管理提供有效的環(huán)境獨(dú)立于數(shù)據(jù)庫系統(tǒng)和相應(yīng)平臺(tái)，支持知識(shí)發(fā)現(xiàn)，知識(shí)保存，知識(shí)更新和知識(shí)共享層次結(jié)構(gòu)包括前后端層、核心層和存儲(chǔ)模式層每層都有一個(gè)引擎，用于維護(hù)該層的數(shù)據(jù)庫，協(xié)調(diào)層內(nèi)不同組件之間的通信元數(shù)據(jù)隊(duì)在三層之間是共享的數(shù)據(jù)交換接口提供了訪問數(shù)據(jù)源的機(jī)制,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),I-MIN系統(tǒng)的三層體系結(jié)構(gòu),知識(shí)抽象存儲(chǔ)模式層描述稠密知識(shí)單元如何通過數(shù)據(jù)結(jié)構(gòu)和文件進(jìn)行保存，對(duì)知識(shí)提供最低層次的抽象中間層的知

13、識(shí)發(fā)現(xiàn)模式將稠密知識(shí)單元抽象為濃縮知識(shí)或窗口使用濃縮知識(shí)的應(yīng)用程序?qū)χR(shí)提供最高層次的抽象修改濃縮知識(shí)的物理數(shù)據(jù)結(jié)構(gòu)而對(duì)映射關(guān)系和應(yīng)用程序沒有影響的能力稱為數(shù)據(jù)的物理獨(dú)立性,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),KDD過程抽象預(yù)挖掘和聚集，存儲(chǔ)結(jié)構(gòu)和濃縮知識(shí)的映射關(guān)系等具體細(xì)節(jié)對(duì)最終用戶而言是看不見的用戶的KDD過程由知識(shí)發(fā)現(xiàn)模式定義的一般KDD過程得到對(duì)最終用戶而言，提交一條挖掘查詢或應(yīng)用程序就定義了用戶自己的KDD過程通過改變預(yù)

14、挖掘功能或挖掘算法修改KDD過程而不影響應(yīng)用程序的能力稱為數(shù)據(jù)的邏輯獨(dú)立性,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),前后端層提供了I-MIN系統(tǒng)的用戶接口主要包括如下組件強(qiáng)度挖掘查詢處理器知識(shí)發(fā)現(xiàn)模式編譯器表示管理器組件管理器庫管理器數(shù)據(jù)接口交換管理器,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),核心層數(shù)據(jù)挖掘引擎激活累積組件對(duì)用戶查詢和應(yīng)用程序進(jìn)行響應(yīng)與數(shù)據(jù)交換接口通信，從目標(biāo)數(shù)據(jù)庫中檢索所需數(shù)據(jù)功能模塊有五個(gè)功能組件組成預(yù)挖掘功

15、能庫用于數(shù)據(jù)選擇、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),存儲(chǔ)模式層支持濃縮知識(shí)的存儲(chǔ)支持濃縮知識(shí)的合并和檢索為用戶應(yīng)用程序提供數(shù)據(jù)的物理獨(dú)立性,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),元數(shù)據(jù)和數(shù)據(jù)交換接口元數(shù)據(jù)用于知識(shí)發(fā)現(xiàn)、知識(shí)重用和知識(shí)共享數(shù)據(jù)交換接口用于實(shí)現(xiàn)KDD過程相對(duì)于數(shù)據(jù)源的獨(dú)立性,小結(jié),提出了針對(duì)KDD過程的以用戶為中心的模型提出基于該模型的數(shù)據(jù)挖掘管理系統(tǒng)體系結(jié)構(gòu)系統(tǒng)提供的操作算子用于開發(fā)數(shù)據(jù)挖掘應(yīng)用程序