樹型貝葉斯網(wǎng)絡(luò)分類器鑒別式訓(xùn)練研究.pdf

1、分類器是自動識別、預(yù)測與診斷系統(tǒng)等智能技術(shù)應(yīng)用研究的基礎(chǔ)，是數(shù)據(jù)挖掘和機器學(xué)習(xí)領(lǐng)域的一個主要研究對象.在眾多分類模型中，貝葉斯網(wǎng)絡(luò)分類器得到了多年的持續(xù)研究，綜合性能不斷提高.近年來，為了進一步提高其分類精度，一些研究人員開始研究其與貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法的差異性.因為優(yōu)化貝葉斯網(wǎng)絡(luò)分類器的目的是提高分類器的精度與效率，而優(yōu)化貝葉斯網(wǎng)絡(luò)的目的是提高描述數(shù)據(jù)變量分布的能力，所以兩者在有些方面存在很大的不同.一般來講，學(xué)習(xí)算法的設(shè)計可以采用生成

2、式策略或鑒別式策略.由于鑒別式策略采用的評價標(biāo)準(zhǔn)能夠直接衡量分類器的精度，且能夠?qū)εc實際數(shù)據(jù)變量分布有一定差異的網(wǎng)絡(luò)結(jié)構(gòu)進行調(diào)整，所以更適合應(yīng)用于設(shè)計分類器學(xué)習(xí)算法.但是，鑒別式訓(xùn)練策略的優(yōu)化目標(biāo)函數(shù)缺乏良好的數(shù)學(xué)性質(zhì)、學(xué)習(xí)的復(fù)雜度較高，所以需要結(jié)合其特點研究分類模型的設(shè)計，提高分類器的精度，減少訓(xùn)練的時間；需要分析新模型對環(huán)境和數(shù)據(jù)質(zhì)量的依賴程度，研究其實際應(yīng)用的價值.本文圍繞一些實際問題深入研究了樹型貝葉斯網(wǎng)絡(luò)分類器(Tree-St

3、ructured Bayesian Network Classifier，TBNC)，主要貢獻(xiàn)如下：
　　(1)研究得出鑒別式參數(shù)學(xué)習(xí)算法不適合在具有冗余邊的樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)上訓(xùn)練參數(shù).首先，對貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)與數(shù)據(jù)中變量的真實分布之間的關(guān)系進行了定量描述，將比真實分布復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)定義為存在冗余邊的網(wǎng)絡(luò)結(jié)構(gòu)；然后，用實驗驗證了冗余邊存在的普遍性及其消極影響，說明了研究樹型貝葉斯網(wǎng)絡(luò)分類器分類器的價值；最后，基于對數(shù)條件似然函數(shù)偏

4、導(dǎo)數(shù)的性質(zhì)提出了一種消除網(wǎng)絡(luò)結(jié)構(gòu)中冗余邊的RSD(Reducing Structure by Derivatives，RSD)算法，對網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，并用實驗驗證了該算法能夠有效提高鑒別式參數(shù)學(xué)習(xí)算法在樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)上訓(xùn)練得到的分類器的分類精度。
　　(2)研究得出有相同結(jié)構(gòu)底圖的樹型貝葉斯網(wǎng)絡(luò)分類器等價.首先，分析了樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)空間及其等價類，描述了具有相同底圖的樹型貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的等價關(guān)系和屬性變量子網(wǎng)中邊的方向無

5、關(guān)性；然后，提出了一種樹型貝葉斯網(wǎng)絡(luò)分類器學(xué)習(xí)框架LFWAR(A Learning Framework of TBNC Without ConsideringArc Reversal，LFWAR)，實驗驗證了LFWAR得到的分類器的精度和穩(wěn)定性在統(tǒng)計意義上無顯著差異；最后，在場景分類問題的基準(zhǔn)圖像數(shù)據(jù)庫上實驗驗證了應(yīng)用屬性變量子網(wǎng)中邊的方向無關(guān)性設(shè)計的算法能夠在不降低分類精度的前提下，減少分類引擎的訓(xùn)練時間。
　　(3)研究得出樹

6、型貝葉斯網(wǎng)絡(luò)分類器結(jié)構(gòu)訓(xùn)練過程在多源非獨立同分布數(shù)據(jù)上是健壯的.利用菲謝爾p值組合方法設(shè)計了一種應(yīng)用于多源非獨立同分布數(shù)據(jù)的分類器學(xué)習(xí)算法，來分析非獨立同分布數(shù)據(jù)對樹型貝葉斯網(wǎng)絡(luò)分類器結(jié)構(gòu)訓(xùn)練的影響.盡管在機器學(xué)習(xí)領(lǐng)域的研究成果表明貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練會受到非獨立同分布數(shù)據(jù)的較強影響，菲謝爾p值組合方法能夠有效降低這種影響，但這種方法難以有效提高樹型貝葉斯網(wǎng)絡(luò)分類器的性能，因而表明在非獨立同分布數(shù)據(jù)上的樹型貝葉斯網(wǎng)絡(luò)分類器結(jié)構(gòu)訓(xùn)練過程是健

7、壯的。
　　(4)研究得出樹型貝葉斯網(wǎng)絡(luò)分類器鑒別式參數(shù)訓(xùn)練過程對噪聲數(shù)據(jù)是敏感的，需要相應(yīng)降噪策略.首先，將僅適用于二類值分類問題的集成貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)擴展到適用于多類值分類問題的集成參數(shù)學(xué)習(xí)；然后，應(yīng)用一種控制樣本權(quán)重的方法抑制噪聲數(shù)據(jù)的影響，且對多類值分類問題，提出了一種適用于處理不平衡數(shù)據(jù)樣本的類別置信度量函數(shù)和降噪算法SmoothedBNB(SmoothedBayesian Network Boosted Classi