數(shù)據(jù)挖掘管理系統(tǒng)規(guī)范說明

1、數(shù)據(jù)挖掘管理系統(tǒng)規(guī)范說明,現(xiàn)狀簡介強度挖掘(Intension Mining)I-MIN過程模型(Process Model)I-MIN系統(tǒng)的功能組件(Functional Components)強度挖掘算子(Operators) I-MIN系統(tǒng)的三層體系結構(Architecture)小結,現(xiàn)狀簡介,傳統(tǒng)的KDD過程模型(CRISP-DM模型),Business Understanding,Data Understandi

2、ng,Data Preparation,Data Exploration,Data Mining,Evaluation,Deployment,,,,,,,現(xiàn)狀簡介,當前的數(shù)據(jù)挖掘系統(tǒng)和數(shù)據(jù)挖掘工具包要求使用者必須是數(shù)據(jù)挖掘?qū)＜曳菍I(yè)用戶需要與數(shù)據(jù)挖掘?qū)＜颐芮信浜喜拍鼙ＷC獲得理想的數(shù)據(jù)挖掘結果用戶使用極為不方便,強度挖掘(Intension Mining),挖掘目標以知識發(fā)現(xiàn)模式(Knowledge Discovery Schema)

3、的形式存儲強度挖掘模式包含了一般挖掘需求（Generic mining requirements）的規(guī)格說明強度挖掘是基于增量式挖掘概念的，增量數(shù)據(jù)庫按固定的時間間隔進行自動處理處理過程由數(shù)據(jù)預挖掘組成，主要包括初步分析和聚集(Aggregation)強度挖掘主要由計劃階段(Planning phase)，累積階段(Accumulation phase)和挖掘階段(Mining phase)三個階段組成,強度挖掘(Intensi

4、on Mining),計劃階段知識發(fā)現(xiàn)模式(Knowledge Discovery Schema, KDS)的創(chuàng)建編譯知識發(fā)現(xiàn)模式得到對應的元數(shù)據(jù)和數(shù)據(jù)結構,強度挖掘(Intension Mining),累積階段通過元數(shù)據(jù)對增量數(shù)據(jù)庫進行預挖掘，得到濃縮知識(Knowledge Concentrate, KC)濃縮知識作為最終知識的中間表示形式，以濃縮知識窗口的形式為進一步的數(shù)據(jù)挖掘服務,強度挖掘(Intension Minin

5、g),挖掘階段用戶提交數(shù)據(jù)挖掘查詢或執(zhí)行數(shù)據(jù)挖掘應用程序挖掘算法對濃縮知識進行處理，得到用戶最終所需的知識,強度挖掘(Intension Mining),重要特征將KDD看作一個連續(xù)的過程，以固定的時間間隔對增量數(shù)據(jù)庫進行周期性累積產(chǎn)生濃縮知識濃縮知識窗口是知識更新和知識共享的基礎,I-MIN過程模型(Process Model),I-MIN模型基于強度挖掘概念的以用戶為中心的KDD過程模型支持對KDD過程的交互式探索和試驗

6、向下兼容傳統(tǒng)的KDD過程模型處理步驟分別標記為IM1, IM2, ……, IM6,I-MIN過程模型(Process Model),I-MIN過程模型(Process Model),IM1對應于強度挖掘中的計劃階段確定挖掘目標以知識發(fā)現(xiàn)模式的形式表示挖掘目標編譯知識發(fā)現(xiàn)模式得到元數(shù)據(jù),I-MIN過程模型(Process Model),IM2對應于積累階段是一個復合過程IM2a, IM2b, IM2c分別對應于傳統(tǒng)KDD

7、過程的數(shù)據(jù)選擇、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換IM2d負責對預挖掘數(shù)據(jù)進行分析和聚集不需人工干預而以固定的時間間隔自動執(zhí)行輸出濃縮知識(KC),I-MIN過程模型(Process Model),IM3標志著挖掘階段的開始用戶提交挖掘查詢或自己開發(fā)的應用程序在IM2中得到的濃縮知識在本步驟可以共享,I-MIN過程模型(Process Model),IM4真正的數(shù)據(jù)挖掘步驟知識發(fā)現(xiàn)模式中指定的數(shù)據(jù)挖掘算法被激活用戶期望的知識是從濃縮知

8、識中挖掘出來,I-MIN過程模型(Process Model),IM5對應于知識表示IM6對應于知識解釋/實施,I-MIN系統(tǒng)的功能組件,實現(xiàn)I-MIN模型需要為累積、挖掘、試驗和跟蹤開發(fā)相應的組件不同類型的知識對應的組件是不同的每個組件實現(xiàn)I-MIN模型的一個步驟或一個功能,I-MIN系統(tǒng)的功能組件,I-MIN系統(tǒng)的功能組件,實現(xiàn)I-MIN模型需要5種組件： K為使用算法A發(fā)現(xiàn)的知識類型?TM為合并算子，用于指定數(shù)據(jù)庫子集

9、FaccTM為累積組件FminTM為挖掘組件FexpTM為試驗組件FmonTM為跟蹤組件,I-MIN系統(tǒng)的功能組件,累積組件對數(shù)據(jù)進行初步分析和局部聚集，實現(xiàn)IM2d由系統(tǒng)自動激活為增量數(shù)據(jù)庫構建濃縮知識窗口對最終用戶而言是透明的,I-MIN系統(tǒng)的功能組件,合并組件用戶可以動態(tài)指定挖掘的數(shù)據(jù)目標子集通過指定需要的時間間隔來達到合并的目的固定周期內(nèi)的濃縮知識需要合并產(chǎn)生一個合并的大窗口,I-MIN系統(tǒng)的功能組件,挖掘

10、組件由實際的挖掘算法組成用戶提交挖掘查詢或應用程序時激活一個算法根據(jù)參數(shù)的不同可能對應多個功能,I-MIN系統(tǒng)的功能組件,試驗組件支持以用戶為中心的數(shù)據(jù)探索和試驗通過不同的常數(shù)、數(shù)據(jù)子集和參數(shù)進行重復的試驗通過用戶應用程序的方式設計新的試驗滿足特別的挖掘需求,I-MIN系統(tǒng)的功能組件,跟蹤組件比較不同窗口中發(fā)現(xiàn)的知識來達到對數(shù)據(jù)特征進行審查的目的可以有效發(fā)現(xiàn)模式的變化過程,I-MIN系統(tǒng)的功能組件,最后兩個組件可以有效體

11、現(xiàn)以用戶為中心的本質(zhì)如果忽略?TM、Fexp,和Fmon，I-MIN模型就還原為傳統(tǒng)的KDD過程模型,強度挖掘算子(Operators),用戶通過算子以強度挖掘查詢語言或API的方式訪問功能組件對應的功能算子可以分為：基本算子累積算子(用戶透明)合并算子(用戶透明)挖掘算子 二級算子探索和比較多個數(shù)據(jù)子集知識的存儲和檢索 關聯(lián)規(guī)則的基本算子和二級算子已經(jīng)開發(fā)出來,I-MIN系統(tǒng)的三層體系結構,對整個KDD過程進行抽象

12、，并為知識管理提供有效的環(huán)境獨立于數(shù)據(jù)庫系統(tǒng)和相應平臺，支持知識發(fā)現(xiàn)，知識保存，知識更新和知識共享層次結構包括前后端層、核心層和存儲模式層每層都有一個引擎，用于維護該層的數(shù)據(jù)庫，協(xié)調(diào)層內(nèi)不同組件之間的通信元數(shù)據(jù)隊在三層之間是共享的數(shù)據(jù)交換接口提供了訪問數(shù)據(jù)源的機制,I-MIN系統(tǒng)的三層體系結構,I-MIN系統(tǒng)的三層體系結構,知識抽象存儲模式層描述稠密知識單元如何通過數(shù)據(jù)結構和文件進行保存，對知識提供最低層次的抽象中間層的知

13、識發(fā)現(xiàn)模式將稠密知識單元抽象為濃縮知識或窗口使用濃縮知識的應用程序?qū)χR提供最高層次的抽象修改濃縮知識的物理數(shù)據(jù)結構而對映射關系和應用程序沒有影響的能力稱為數(shù)據(jù)的物理獨立性,I-MIN系統(tǒng)的三層體系結構,KDD過程抽象預挖掘和聚集，存儲結構和濃縮知識的映射關系等具體細節(jié)對最終用戶而言是看不見的用戶的KDD過程由知識發(fā)現(xiàn)模式定義的一般KDD過程得到對最終用戶而言，提交一條挖掘查詢或應用程序就定義了用戶自己的KDD過程通過改變預

14、挖掘功能或挖掘算法修改KDD過程而不影響應用程序的能力稱為數(shù)據(jù)的邏輯獨立性,I-MIN系統(tǒng)的三層體系結構,前后端層提供了I-MIN系統(tǒng)的用戶接口主要包括如下組件強度挖掘查詢處理器知識發(fā)現(xiàn)模式編譯器表示管理器組件管理器庫管理器數(shù)據(jù)接口交換管理器,I-MIN系統(tǒng)的三層體系結構,核心層數(shù)據(jù)挖掘引擎激活累積組件對用戶查詢和應用程序進行響應與數(shù)據(jù)交換接口通信，從目標數(shù)據(jù)庫中檢索所需數(shù)據(jù)功能模塊有五個功能組件組成預挖掘功

15、能庫用于數(shù)據(jù)選擇、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換,I-MIN系統(tǒng)的三層體系結構,存儲模式層支持濃縮知識的存儲支持濃縮知識的合并和檢索為用戶應用程序提供數(shù)據(jù)的物理獨立性,I-MIN系統(tǒng)的三層體系結構,元數(shù)據(jù)和數(shù)據(jù)交換接口元數(shù)據(jù)用于知識發(fā)現(xiàn)、知識重用和知識共享數(shù)據(jù)交換接口用于實現(xiàn)KDD過程相對于數(shù)據(jù)源的獨立性,小結,提出了針對KDD過程的以用戶為中心的模型提出基于該模型的數(shù)據(jù)挖掘管理系統(tǒng)體系結構系統(tǒng)提供的操作算子用于開發(fā)數(shù)據(jù)挖掘應用程序