樹型貝葉斯網(wǎng)絡(luò)分類器鑒別式訓(xùn)練研究.pdf

1、分類器是自動(dòng)識(shí)別、預(yù)測(cè)與診斷系統(tǒng)等智能技術(shù)應(yīng)用研究的基礎(chǔ)，是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)主要研究對(duì)象.在眾多分類模型中，貝葉斯網(wǎng)絡(luò)分類器得到了多年的持續(xù)研究，綜合性能不斷提高.近年來，為了進(jìn)一步提高其分類精度，一些研究人員開始研究其與貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法的差異性.因?yàn)閮?yōu)化貝葉斯網(wǎng)絡(luò)分類器的目的是提高分類器的精度與效率，而優(yōu)化貝葉斯網(wǎng)絡(luò)的目的是提高描述數(shù)據(jù)變量分布的能力，所以兩者在有些方面存在很大的不同.一般來講，學(xué)習(xí)算法的設(shè)計(jì)可以采用生成

2、式策略或鑒別式策略.由于鑒別式策略采用的評(píng)價(jià)標(biāo)準(zhǔn)能夠直接衡量分類器的精度，且能夠?qū)εc實(shí)際數(shù)據(jù)變量分布有一定差異的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整，所以更適合應(yīng)用于設(shè)計(jì)分類器學(xué)習(xí)算法.但是，鑒別式訓(xùn)練策略的優(yōu)化目標(biāo)函數(shù)缺乏良好的數(shù)學(xué)性質(zhì)、學(xué)習(xí)的復(fù)雜度較高，所以需要結(jié)合其特點(diǎn)研究分類模型的設(shè)計(jì)，提高分類器的精度，減少訓(xùn)練的時(shí)間；需要分析新模型對(duì)環(huán)境和數(shù)據(jù)質(zhì)量的依賴程度，研究其實(shí)際應(yīng)用的價(jià)值.本文圍繞一些實(shí)際問題深入研究了樹型貝葉斯網(wǎng)絡(luò)分類器(Tree-St

3、ructured Bayesian Network Classifier，TBNC)，主要貢獻(xiàn)如下：
　　(1)研究得出鑒別式參數(shù)學(xué)習(xí)算法不適合在具有冗余邊的樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)上訓(xùn)練參數(shù).首先，對(duì)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)與數(shù)據(jù)中變量的真實(shí)分布之間的關(guān)系進(jìn)行了定量描述，將比真實(shí)分布復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)定義為存在冗余邊的網(wǎng)絡(luò)結(jié)構(gòu)；然后，用實(shí)驗(yàn)驗(yàn)證了冗余邊存在的普遍性及其消極影響，說明了研究樹型貝葉斯網(wǎng)絡(luò)分類器分類器的價(jià)值；最后，基于對(duì)數(shù)條件似然函數(shù)偏

4、導(dǎo)數(shù)的性質(zhì)提出了一種消除網(wǎng)絡(luò)結(jié)構(gòu)中冗余邊的RSD(Reducing Structure by Derivatives，RSD)算法，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，并用實(shí)驗(yàn)驗(yàn)證了該算法能夠有效提高鑒別式參數(shù)學(xué)習(xí)算法在樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)上訓(xùn)練得到的分類器的分類精度。
　　(2)研究得出有相同結(jié)構(gòu)底圖的樹型貝葉斯網(wǎng)絡(luò)分類器等價(jià).首先，分析了樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)空間及其等價(jià)類，描述了具有相同底圖的樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的等價(jià)關(guān)系和屬性變量子網(wǎng)中邊的方向無(wú)

5、關(guān)性；然后，提出了一種樹型貝葉斯網(wǎng)絡(luò)分類器學(xué)習(xí)框架LFWAR(A Learning Framework of TBNC Without ConsideringArc Reversal，LFWAR)，實(shí)驗(yàn)驗(yàn)證了LFWAR得到的分類器的精度和穩(wěn)定性在統(tǒng)計(jì)意義上無(wú)顯著差異；最后，在場(chǎng)景分類問題的基準(zhǔn)圖像數(shù)據(jù)庫(kù)上實(shí)驗(yàn)驗(yàn)證了應(yīng)用屬性變量子網(wǎng)中邊的方向無(wú)關(guān)性設(shè)計(jì)的算法能夠在不降低分類精度的前提下，減少分類引擎的訓(xùn)練時(shí)間。
　　(3)研究得出樹

6、型貝葉斯網(wǎng)絡(luò)分類器結(jié)構(gòu)訓(xùn)練過程在多源非獨(dú)立同分布數(shù)據(jù)上是健壯的.利用菲謝爾p值組合方法設(shè)計(jì)了一種應(yīng)用于多源非獨(dú)立同分布數(shù)據(jù)的分類器學(xué)習(xí)算法，來分析非獨(dú)立同分布數(shù)據(jù)對(duì)樹型貝葉斯網(wǎng)絡(luò)分類器結(jié)構(gòu)訓(xùn)練的影響.盡管在機(jī)器學(xué)習(xí)領(lǐng)域的研究成果表明貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練會(huì)受到非獨(dú)立同分布數(shù)據(jù)的較強(qiáng)影響，菲謝爾p值組合方法能夠有效降低這種影響，但這種方法難以有效提高樹型貝葉斯網(wǎng)絡(luò)分類器的性能，因而表明在非獨(dú)立同分布數(shù)據(jù)上的樹型貝葉斯網(wǎng)絡(luò)分類器結(jié)構(gòu)訓(xùn)練過程是健

7、壯的。
　　(4)研究得出樹型貝葉斯網(wǎng)絡(luò)分類器鑒別式參數(shù)訓(xùn)練過程對(duì)噪聲數(shù)據(jù)是敏感的，需要相應(yīng)降噪策略.首先，將僅適用于二類值分類問題的集成貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)擴(kuò)展到適用于多類值分類問題的集成參數(shù)學(xué)習(xí)；然后，應(yīng)用一種控制樣本權(quán)重的方法抑制噪聲數(shù)據(jù)的影響，且對(duì)多類值分類問題，提出了一種適用于處理不平衡數(shù)據(jù)樣本的類別置信度量函數(shù)和降噪算法SmoothedBNB(SmoothedBayesian Network Boosted Classi