分類(lèi)關(guān)聯(lián)規(guī)則歸納算法及應(yīng)用研究.pdf

1、隨著社會(huì)信息化程度的提高，數(shù)據(jù)量呈指數(shù)增長(zhǎng)。從大量數(shù)據(jù)中挖掘有價(jià)值的知識(shí)在當(dāng)今信息時(shí)代具有重要意義?！　￡P(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域中的重要課題之一。特別是分類(lèi)關(guān)聯(lián)規(guī)則既能用于概念描述又能用于分類(lèi)預(yù)測(cè)與決策，在數(shù)據(jù)挖掘中發(fā)揮重要作用。目前分類(lèi)關(guān)聯(lián)規(guī)則挖掘技術(shù)在學(xué)術(shù)界與產(chǎn)業(yè)界受到廣泛關(guān)注。自1998年出現(xiàn)第一個(gè)基于關(guān)聯(lián)的分類(lèi)算法(CBA)以來(lái)，關(guān)聯(lián)分類(lèi)算法的設(shè)計(jì)及應(yīng)用研究一直非常活躍。目前，在關(guān)聯(lián)分類(lèi)問(wèn)題上存在的共識(shí)是：關(guān)聯(lián)分類(lèi)的準(zhǔn)確度總

2、體上顯著地高于傳統(tǒng)的決策樹(shù)分類(lèi)，但關(guān)聯(lián)分類(lèi)存在的主要問(wèn)題是產(chǎn)生太多的關(guān)聯(lián)規(guī)則，導(dǎo)致計(jì)算速度慢、內(nèi)存開(kāi)銷(xiāo)大、分類(lèi)模型難以理解?！　”疚难芯糠治隽爽F(xiàn)有的分類(lèi)關(guān)聯(lián)規(guī)則歸納算法，給出了關(guān)聯(lián)分類(lèi)的有關(guān)定義及形式化描述，提出基于數(shù)據(jù)挖掘標(biāo)準(zhǔn)的分類(lèi)規(guī)則質(zhì)量評(píng)價(jià)新函數(shù)，首次提出挖掘知識(shí)要點(diǎn)的新思想，創(chuàng)立了基于原子關(guān)聯(lián)規(guī)則的分類(lèi)新技術(shù)CAAR(C1assificationbasedonAtomicAssociationRules)，從根本上解決了關(guān)聯(lián)分

3、類(lèi)執(zhí)行效率低、內(nèi)存開(kāi)銷(xiāo)大、分類(lèi)模型較復(fù)雜的問(wèn)題。將CAAR分類(lèi)新技術(shù)應(yīng)用于有監(jiān)督的圖像內(nèi)容分類(lèi)學(xué)習(xí)和大規(guī)模數(shù)據(jù)機(jī)器學(xué)習(xí)取得了很好的效果。本文的創(chuàng)新點(diǎn)主要表現(xiàn)在以下五個(gè)方面：　　1)首次提出置信度主導(dǎo)的、基于置信度和支持度加權(quán)和的分類(lèi)規(guī)則質(zhì)量評(píng)價(jià)函數(shù)。目前，在機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)，廣泛采用的分類(lèi)規(guī)則質(zhì)量評(píng)價(jià)函數(shù)是基于混淆矩陣計(jì)算的靈敏度(Se)和選擇性(Sp)的乘積。這種傳統(tǒng)方法被稱(chēng)為評(píng)價(jià)分類(lèi)規(guī)則質(zhì)量的“黃金標(biāo)準(zhǔn)”。然而，從數(shù)據(jù)挖掘的角度分析

4、靈敏度和選擇性后，我們發(fā)現(xiàn)傳統(tǒng)的方法不及我們提出的基于規(guī)則置信度和支持度加權(quán)和的新方法。為了在較大的分類(lèi)關(guān)聯(lián)規(guī)則搜索空間上驗(yàn)證我們提出的新函數(shù)，采用遺傳算法進(jìn)行了實(shí)驗(yàn)。結(jié)果表明基于數(shù)據(jù)挖掘的新函數(shù)顯著地優(yōu)于傳統(tǒng)的分類(lèi)規(guī)則質(zhì)量評(píng)價(jià)函數(shù)?！　?)首次提出挖掘知識(shí)要點(diǎn)的新思想。采用原子型分類(lèi)關(guān)聯(lián)規(guī)則導(dǎo)向的知識(shí)要點(diǎn)挖掘技術(shù)能快速地發(fā)現(xiàn)不完全的、非精確的描述性分類(lèi)知識(shí)。知識(shí)要點(diǎn)包括通過(guò)一次掃描數(shù)據(jù)集得到的精確原子型分類(lèi)關(guān)聯(lián)規(guī)則和通過(guò)組合計(jì)算得到

5、的不完全的、非精確的復(fù)合型分類(lèi)關(guān)聯(lián)規(guī)則。算法能計(jì)算復(fù)合型分類(lèi)關(guān)聯(lián)規(guī)則的支持度和置信度的邊界值。對(duì)于一個(gè)復(fù)合型分類(lèi)關(guān)聯(lián)規(guī)則，如果規(guī)則的支持度和置信度的下界都分別超過(guò)支持度閾值和置信度閾值，則稱(chēng)該規(guī)則的存在性是確定的；如果規(guī)則的支持度和置信度各自的上界與下界之差小于一個(gè)給定的常量，則認(rèn)為規(guī)則的度量參數(shù)是確定的。因此復(fù)合型分類(lèi)關(guān)聯(lián)規(guī)則可分為三種類(lèi)型：(1)確定型：指規(guī)則的存在性和度量參數(shù)是確定的；(2)半確定型：指規(guī)則的存在性是確定的，但度量

6、參數(shù)是不確定的；(3)不確定型：指規(guī)則的存在性是不確定的?？梢允褂靡粋€(gè)概率來(lái)度量不確定的復(fù)合型分類(lèi)關(guān)聯(lián)規(guī)則的存在性。該方法支持用戶興趣導(dǎo)向的探索型知識(shí)發(fā)現(xiàn)服務(wù)，能快速有效地發(fā)現(xiàn)描述性的知識(shí)要點(diǎn)；能利用知識(shí)要點(diǎn)進(jìn)行部分分類(lèi)，結(jié)合算法設(shè)計(jì)策略，能進(jìn)一步實(shí)現(xiàn)完全的、精確的分類(lèi)?！　?)創(chuàng)立了原子關(guān)聯(lián)規(guī)則分類(lèi)算法CAAR。與知識(shí)要點(diǎn)發(fā)現(xiàn)算法不同的是：CAAR算法僅挖掘原子型分類(lèi)關(guān)聯(lián)規(guī)則用于分類(lèi)器構(gòu)建，避免了一般關(guān)聯(lián)分類(lèi)遇到的頻繁項(xiàng)集“組合爆炸

7、效應(yīng)”。CAAR算法采用“基于原子型分類(lèi)關(guān)聯(lián)規(guī)則的突出特征”進(jìn)行部分分類(lèi)，結(jié)合“先易后難”策略從根本上解決了關(guān)聯(lián)分類(lèi)效率低的問(wèn)題。算法分析和大量的實(shí)驗(yàn)結(jié)果表明CAAR算法在執(zhí)行速度上顯著地優(yōu)于關(guān)聯(lián)分類(lèi)基準(zhǔn)算法CBA。而且CAAR算法中規(guī)則的原子性有效地減少了過(guò)學(xué)習(xí)現(xiàn)象，對(duì)數(shù)據(jù)集中屬性值遺失較多的實(shí)際應(yīng)用場(chǎng)合，CAAR算法表現(xiàn)出好的魯棒性。　　4)首次提出只利用具有最高置信度和接近最高置信度的、強(qiáng)的分類(lèi)關(guān)聯(lián)規(guī)則用于分類(lèi)器構(gòu)建，確保了CA