基于粗糙集與云決策樹的數(shù)據(jù)挖掘理論研究與應(yīng)用.pdf

1、隨著信息技術(shù)以及數(shù)據(jù)倉庫技術(shù)的發(fā)展,在商業(yè)企業(yè)、科研機(jī)構(gòu)以及政府部門出現(xiàn)了海量的、不同形式存儲(chǔ)的數(shù)據(jù),對數(shù)據(jù)挖掘方法在智能化和準(zhǔn)確度方面提出了更高的要求。決策樹方法因其具有可理解性高,計(jì)算量相對較小等特點(diǎn)而受到人們的歡迎。經(jīng)過多年的發(fā)展,決策樹方法經(jīng)已經(jīng)取得了很大進(jìn)步,內(nèi)容也得到了很大充實(shí),但實(shí)際中的數(shù)據(jù)大多都具有隨機(jī)性或不確定性,具有精確描述特征的決策樹歸納學(xué)習(xí)已經(jīng)不能適應(yīng)一個(gè)系統(tǒng)中不精確知識(shí)自動(dòng)獲取的要求,而云模型方法在處理模糊性和

2、不確定性的問題方面具有自己的獨(dú)特性。云決策樹的推理使得決策樹這種優(yōu)良方法可以應(yīng)用于更多的數(shù)據(jù)分析中,發(fā)揮更大的作用。另外,決策樹在處理冗余屬性方面還存在許多問題,而粗糙集理論的屬性約簡是處理冗余屬性很好的方法。對屬性進(jìn)行約簡就是去除與決策屬性不相關(guān)的條件屬性,這樣對于不同的數(shù)據(jù)集,尤其是大型數(shù)據(jù)集,可使決策樹的規(guī)模明顯減小,節(jié)點(diǎn)數(shù)量明顯減少,從而使得決策樹方法可理解性高、分類速度相對較快、計(jì)算復(fù)雜度相對較小以及分類準(zhǔn)確率相對較高的特點(diǎn)得

3、到充分體現(xiàn)。
　　 粗糙集理論在處理不確定性問題或知識(shí)獲取時(shí),由于通過確定的數(shù)學(xué)公式描述直接對數(shù)據(jù)進(jìn)行分析與處理,即不需要提供一個(gè)先驗(yàn)知識(shí)(如隸屬函數(shù)),從而避免了主觀性的影響,因此可作為其它理論如模糊集理論的一個(gè)有效補(bǔ)充,但粗糙集理論本身并不包含處理不確定性和不精確原始數(shù)據(jù)的機(jī)制。云決策樹雖然包含處理不確定性和不精確原始數(shù)據(jù)的機(jī)制,但需要給出一個(gè)隸屬度或隸屬函數(shù)(先驗(yàn)知識(shí)),具有相當(dāng)?shù)闹饔^性。因此,如果它們二者能夠有機(jī)結(jié)合,對

4、于組成的新系統(tǒng),不僅符合人類認(rèn)知的表達(dá),而且具有客觀性。
　　 本文首先在粗糙集知識(shí)約簡的基礎(chǔ)上對云決策樹進(jìn)行了推理,說明該方法適用于不確定性數(shù)據(jù)的決策問題；然后,將粗糙集分類器與云決策樹方法有機(jī)結(jié)合,組成了比單獨(dú)的粗糙集分類器或決策樹方法性能更好的系統(tǒng),在仿真結(jié)果中取得了令人滿意的效果；最后,將研究成果應(yīng)用于基于J2EE平臺(tái)的數(shù)據(jù)挖掘系統(tǒng)中。本文工作主要包含以下內(nèi)容:
　　 (1)主要研究粗糙集的擴(kuò)展應(yīng)用。為了對邏輯概

5、念中的概率進(jìn)行分析,引入流向網(wǎng)絡(luò)的確定性流向分析代替概率的思想,并利用一個(gè)簡單實(shí)例來闡明這個(gè)思想。由于實(shí)際中沒有一種普遍的關(guān)于沖突情況的數(shù)學(xué)模型被大家認(rèn)可,本文在另外一種基于粗糙集理論方法的基礎(chǔ)上來進(jìn)行分析,并利用一個(gè)沖突情況下投票分析的簡單實(shí)例來闡明這種方法的有效性。從粗糙隸屬函數(shù)定義出發(fā)研究粗糙整體部分關(guān)系邏輯,給出了粗糙整體部分關(guān)系邏輯的相關(guān)定義及性質(zhì),為整體部分關(guān)系邏輯關(guān)于復(fù)雜結(jié)構(gòu)的推理提供了一種新的思路。
　　 (2)

6、主要研究能夠得到最小約簡的知識(shí)約簡算法。為解決NP-hard問題,引入啟發(fā)式搜索概念,并且指出啟發(fā)式搜索可以使約簡過程中的搜索空間大為減小。從信息論角度對決策系統(tǒng)中的屬性重要度進(jìn)行度量,提出了一種改進(jìn)的知識(shí)約簡啟發(fā)式算法。在此算法中,以互信息作為啟發(fā)式信息,來減小決策系統(tǒng)中知識(shí)約簡過程的搜索空間,將取值較多的屬性化為二值屬性,克服了互信息中易傾向于值域中含有較多屬性值的屬性的缺點(diǎn),并通過人們對汽車評(píng)價(jià)的實(shí)例對提出的算法進(jìn)行了演示和比較分

7、析,說明了其有效性和實(shí)用性。
　　 (3)主要研究在粗糙集屬性約簡基礎(chǔ)上對云決策樹(CDT)的推理,提出了基于屬性約簡的云決策樹方法。分析分類問題涉及的含糊性和不確定性,指出云模型語言值的軟邊界包容了人類思想和感覺的含糊性和模糊性,更符合人類的思維方式和主觀感受,說明對于不確定性數(shù)據(jù)研究云決策樹的必要性和必然性。在研究云模型有效結(jié)合隨機(jī)性和模糊性機(jī)制的基礎(chǔ)上,通過實(shí)例對云決策樹的推理過程進(jìn)行了演示,并在提取分類規(guī)則的基礎(chǔ)上對數(shù)據(jù)

8、集進(jìn)行預(yù)測,驗(yàn)證了其有效性。
　　 (4)研究通過不同分類方法有機(jī)結(jié)合開發(fā)更具優(yōu)勢的混合模型的問題,提出了粗糙集分類器與云決策樹混合算法MCATree。首先,通過理論分析,得出粗糙集的數(shù)據(jù)分析方法優(yōu)于貝葉斯定理,即不需要給出先驗(yàn)概率和后驗(yàn)概率,從理論上指出MCATree要優(yōu)于NBTree。然后,對MCA(最大覆蓋算法)與CDT的分類準(zhǔn)確度進(jìn)行了比較,說明兩種方法對于不同數(shù)據(jù)集準(zhǔn)確度的差異,對MCA與CDT有機(jī)結(jié)合的可能性進(jìn)行了實(shí)

9、際意義上的驗(yàn)證。在此基礎(chǔ)上,提出了一種新的混合算法MCATree。并通過MCATree與CDT、MCA的仿真對比分析得出混合方法不僅擅長處理大規(guī)模數(shù)據(jù)集,而且相比粗糙集分類器與云決策樹兩種方法可有效提高分類的準(zhǔn)確度,以及得到的規(guī)則更貼近人類的思維方式和實(shí)際需要。
　　 (5)主要在MCATree算法研究的基礎(chǔ)上,提出一個(gè)基于J2EE平臺(tái)的數(shù)據(jù)挖掘系統(tǒng)應(yīng)用模型,并對該數(shù)據(jù)挖掘系統(tǒng)進(jìn)行了實(shí)現(xiàn)。提出了將系統(tǒng)置于B/S結(jié)構(gòu)的方案,這樣做