粗糙集理論在數(shù)據(jù)約簡中的應(yīng)用研究.pdf

1、數(shù)據(jù)挖掘面對的是大規(guī)模、超大規(guī)模的數(shù)據(jù)庫或數(shù)據(jù)倉庫,日益增長的海量數(shù)據(jù),給數(shù)據(jù)挖掘提出了新的挑戰(zhàn).隨著數(shù)據(jù)挖掘技術(shù)研究的深入與成熟,在挖掘過程中挖掘算法的效率提高越來越不明顯,但是數(shù)據(jù)挖掘的預(yù)處理工作仍然沒有明顯的提高.于是數(shù)據(jù)預(yù)處理工作就顯得越來越重要. 數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成和變換、數(shù)據(jù)約簡等操作把原始的數(shù)據(jù)庫或者數(shù)據(jù)倉庫變換成適合挖掘的模式,為進(jìn)一步的數(shù)據(jù)挖掘做準(zhǔn)備.已有一些比較成熟的數(shù)據(jù)預(yù)處理技術(shù),但面對日益增

2、長的海量數(shù)據(jù)和日趨復(fù)雜的數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)預(yù)處理還有很多工作要做. 粗糙理論是用來處理模糊和不確定性知識的數(shù)學(xué)工具,是一種有效的軟計(jì)算方法.其主要思想是在保持分類能力不變的前提下,通過知識約簡,導(dǎo)出問題的決策或分類規(guī)則,利用區(qū)分矩陣可以方便地求出數(shù)據(jù)約簡.面對大數(shù)據(jù)集、或復(fù)雜的數(shù)據(jù)結(jié)構(gòu);人們又提出了區(qū)分矩陣的改進(jìn)算法,以及和其他學(xué)科相結(jié)合的算法,來提高數(shù)據(jù)預(yù)處理的效率. 屬性約簡是數(shù)據(jù)預(yù)處理的一個重要環(huán)節(jié),已經(jīng)證明求所有屬性的

3、最小約簡是一個 NP 完全問題,所以,研究也只能從提高求約簡的效率上來著手.本文從基本的粗糙集理論、數(shù)據(jù)預(yù)處理的基本知識入手,詳細(xì)介紹了粗糙集約簡的基本算法、一種改進(jìn)的算法,Jelonek 提出的基于屬性重要性的算法,Hu 提出的基于頻率函數(shù)的算法;以及與遺傳算法相結(jié)合的算法、粗糙集約簡的一種貪心算法,這些算法都在一定程度上改進(jìn)了基本的基于區(qū)分矩陣的屬性約簡算法,也都有其適應(yīng)的特定環(huán)境,合理地運(yùn)用能夠有效地對數(shù)據(jù)進(jìn)行處理,進(jìn)而提高數(shù)據(jù)挖