基于F-粗糙集的屬性約簡與數據流挖掘的研究.pdf

1、在社會生產和生活實踐中，人們面對的數據規(guī)模往往是巨大的，甚至是無限的。數據挖掘技術的出現很好地解決了人們通過不精確的、模糊的數據發(fā)現潛在的、有價值的信息的問題。但是，隨著計算機網絡技術，特別是數據收集及數據存儲技術的提高，人們面對的數據不僅僅數量規(guī)模巨大，而且往往隨著時間的推移而發(fā)生變化，從而引發(fā)概念漂移現象。有效的概念漂移探測方法可以幫助人們解決數據流挖掘過程中的不確定性問題。
　　粗糙集理論是一種能夠有效處理不精確、不一致、不

2、完備信息與知識的新型數據分析工具，F-粗糙集理論是關于信息系統(tǒng)簇或決策系統(tǒng)簇的粗糙集模型，是Pawlak粗糙集理論的擴展，不僅適合研究并行計算，而且適合研究事物的動態(tài)變化。
　　粗糙集理論與屬性約簡是研究不確定性問題最常用的方法之一。粗糙集與F-粗糙集屬性約簡是在保持決策系統(tǒng)分類能力不發(fā)生變化的前提下，刪除其中不相關或不重要的條件屬性，以達到約簡條件屬性的目的。
　　現有的各種粗糙集屬性約簡方法幾乎都是保持某種約簡準則不發(fā)生

3、變化，在這樣的條件下，屬性約簡方法在處理一些存在異常點的數據時，往往存在泛化能力弱，分類準確率低等問題;概念漂移常用的探測方法有分類準確率、聯(lián)合概率分布以及屬性約簡等，這些方法可以有效地進行概念漂移探測，并得到了廣泛的應用。但是，這些方法在實際應用中存在著一些弊端。例如，分類準確率依賴實驗或實際應用，能夠從總體上把握概念漂移，但是，對于同一訓練集得到的分類器，對于同一測試集，如果特征選擇不同，則實驗結果也可能不同。本文提出基于粗糙集理論

4、提出可變正區(qū)域約簡和基于F-粗糙集的屬性依賴度和條件信息熵探測概念漂移的方法?？勺冋齾^(qū)域約簡允許正區(qū)域發(fā)生一定程度的變化，能有效地將對正區(qū)域影響小的屬性約簡掉，對異常點檢測、提高屬性約簡的分類泛化能力等具有一定的潛力和幫助;基于F-粗糙集的屬性依賴度和條件信息熵探測概念漂移，屬性依賴度和條件信息熵具有聯(lián)合概率分布可進行理論分析的優(yōu)點，又具有分類準確率可進行實驗分析的優(yōu)點。具體研究內容如下:
　　1.提出基于粗糙集的可變正區(qū)域約簡。

5、該方法在屬性約簡時允許正區(qū)域發(fā)生一定程度的變化，從而約簡掉給泛化能力造成一定困難的少部分屬性，提高分類泛化能力和分類準確率。
　　2.對照粗糙屬性約簡準則，分析了概念漂移探測準則的一些缺點和不足，聯(lián)合概率分布準則具有較強的數學理論基礎，適用于理論分析，但是，該標準局限于某些概念，缺乏靈活性;分類準確率準則依賴于實驗或實際應用，能夠從整體上把握概念漂移。但是，對于同一訓練集得到的分類器，對于同一測試集，如果特征選擇不同，則實驗結果可

6、能不同。
　　3.提出基于屬性依賴度和條件信息熵的概念漂移探測準則。從概念漂移的角度研究粗糙集理論的屬性約簡，從粗糙集理論屬性約簡的角度研究概念漂移;將概念漂移和屬性約簡進行分析比較，探究屬性約簡和概念漂移在不確定問題上固有的本質聯(lián)系。
　　4.實驗驗證了基于屬性依賴度和條件信息熵的概念漂移探測準則的有效性。實驗對比分析兩種常用的概念漂移準則（即分類準確率和聯(lián)合概率分布）與基于屬性依賴度、條件信息熵概念漂移探測準則的區(qū)別與聯(lián)