基于粗糙集的數(shù)據(jù)挖掘算法研究.pdf

1、隨著數(shù)據(jù)庫技術(shù)的廣泛應(yīng)用，數(shù)據(jù)庫中存儲的數(shù)據(jù)量急劇增大，為幫助人們更好地利用這些數(shù)據(jù)進行決策和研究，提出了知識發(fā)現(xiàn)和數(shù)據(jù)挖掘的概念。數(shù)據(jù)挖掘是知識發(fā)現(xiàn)中最關(guān)鍵的步驟，也是知識發(fā)現(xiàn)技術(shù)難點，是目前相當活躍的研究領(lǐng)域。粗糙集理論是波蘭數(shù)學(xué)家Pawlak Z.提出的一種分析模糊和不確定知識的強有力的數(shù)學(xué)工具，能有效地分析和處理不精確、不一致、不完整等各種不完備信息，并從中發(fā)現(xiàn)隱含的知識，揭示潛在的規(guī)律。這個特點使得粗糙集理論非常適用于數(shù)據(jù)挖掘

2、。近年來其有效性已在許多科學(xué)與工程領(lǐng)域的成功應(yīng)用中得到證實。
　　 決策樹是分類應(yīng)用中采用最廣泛的分類器之一。單變量決策樹局限于在每個結(jié)點上只檢驗單個屬性，存在以下問題：忽視了屬性間的關(guān)聯(lián)性；決策樹中某些子樹重復(fù)出現(xiàn)；有些屬性在決策樹的某條路徑上被多次檢測等。為了克服這一缺陷，人們提出了多變量決策樹的歸納學(xué)習(xí)方法，即在決策樹的某一結(jié)點上同時檢驗多個屬性，該方法產(chǎn)生新的、更相關(guān)的屬性，以及修改或去掉不相關(guān)的屬性。多變量決策樹的關(guān)鍵

3、問題是節(jié)點屬性的選擇標準和檢驗標準，對大規(guī)模數(shù)據(jù)的預(yù)處理也是構(gòu)建多變量決策樹的關(guān)鍵技術(shù)。
　　 本文以多變量決策樹為研究對象，主要工作和創(chuàng)新點如下：
　　 1.提出了屬性重要性相似度的概念，將屬性的重要性作為權(quán)重，融入到傳統(tǒng)的求解相似度的公式中，該方法克服了傳統(tǒng)求解相似度時只考慮距離的量的變化問題以及沒有把屬性的重要性這一本質(zhì)的因素考慮進去的不足，且計算簡單，符合實際情況。
　　 2.為了使數(shù)據(jù)挖掘更有效，需要對

4、數(shù)據(jù)進行預(yù)處理。首先，應(yīng)用經(jīng)典的分明矩陣簡化算法進行屬性約簡，從而達到降維的效果。然后，根據(jù)屬性重要性相似度的公式求解同類數(shù)據(jù)對象的相似度，相似度大于某一閾值的對象劃分為一組，同組的數(shù)據(jù)對象滿足兩兩之間的相似度皆大于閾值，從不同組各抽取一個數(shù)據(jù)對象，組成新的數(shù)據(jù)樣本，以減少冗余數(shù)據(jù)對象。
　　 3.提出了基于屬性集重要性的節(jié)點選擇標準，并規(guī)定節(jié)點的屬性個數(shù)最多為兩個，在選擇測試屬性生成決策樹時，克服了傳統(tǒng)決策樹算法選擇測試屬性時