貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)及MBNC實(shí)驗(yàn)平臺的構(gòu)建.pdf

1、隨著信息技術(shù)的發(fā)展,數(shù)據(jù)挖掘技術(shù)廣泛應(yīng)用于實(shí)際運(yùn)用中,貝葉斯網(wǎng)絡(luò)作為一種有效的知識表示方式和概率推理模型,是處理不確定性的強(qiáng)有力圖形決策化分析工具?，F(xiàn)實(shí)世界中存在著海量數(shù)據(jù),如何處理這些數(shù)據(jù),并從中發(fā)現(xiàn)有用的知識具有現(xiàn)實(shí)意義。貝葉斯網(wǎng)絡(luò)是一個(gè)帶有概率注釋的有向無環(huán)圖,由網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和局部概率分布兩部分組成。本文先簡要闡述了貝葉斯網(wǎng)絡(luò)有三大理論問題:貝葉斯網(wǎng)絡(luò)的表示,學(xué)習(xí)和推理。近年來,基于貝葉斯網(wǎng)絡(luò)的數(shù)據(jù)挖掘在一些數(shù)據(jù)建模問題中取得了

2、較好的效果。用于分類的貝葉斯網(wǎng)絡(luò)叫做貝葉斯分類器。貝葉斯分類器是特殊形式的貝葉斯網(wǎng)絡(luò),變量的選取和狀態(tài)數(shù)均已確定,屬性結(jié)點(diǎn)已知,類結(jié)點(diǎn)未知。貝葉斯分類器家族有三類常見的分類器:樸素貝葉斯分類器NBC,樹擴(kuò)展樸素貝葉斯分類器TANC和貝葉斯網(wǎng)絡(luò)分類器BNC。貝葉斯分類器的學(xué)習(xí)包括結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí),參數(shù)學(xué)習(xí)相對簡單一些。建構(gòu)貝葉斯分類器是本文要解決的問題?，F(xiàn)在比較常用的主要有Java Bayes軟件包,Hugin Expert,Power

3、 Constructor,MSBNx,Netica等。這幾種軟件包作者均已下載研究使用,其中Hugin Expert等是限制版本,只相當(dāng)于一個(gè)應(yīng)用程序,而Power Constructor,MSBNx,Netica等均不提供源代碼,無法在其之上完成新算法實(shí)現(xiàn)?；贘ava語言的Java Bayes軟件包提供了源代碼,WEKA系統(tǒng)和JBNC系統(tǒng)是用Java語言開發(fā)的,但用Java語言編程的工作量很大,調(diào)試程序比較困難,系統(tǒng)的可擴(kuò)展性較差。

4、尤其是涉及到的數(shù)理統(tǒng)計(jì)方面的程序,已有的源代碼的可讀性較差,對所定義的多維數(shù)組操作繁瑣易錯(cuò)。生成的結(jié)構(gòu)需要調(diào)用第三方軟件才能顯示。其他下載的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)軟件包也有同樣的問題?；贛atlab語言的BN Toolkit(BNT)軟件包可以很好的解決上述問題。Matlab語言是專門進(jìn)行數(shù)值計(jì)算的高級語言,編程量較之Java語言等明顯少的多,調(diào)試程序也很方便,顯示所學(xué)習(xí)得到的結(jié)構(gòu)也很方便。BNT的缺點(diǎn)是沒用圖形用戶界面GUI。最終用BNT提

5、供的基本函數(shù),用Matlab語言開發(fā)了MBNC實(shí)驗(yàn)平臺。先在MBNC實(shí)驗(yàn)平臺上簡單實(shí)現(xiàn)了幾種貝葉斯分類器。有NBC,基于互信息測度的TANC以及基于K2算法和GS算法的BNC。所建構(gòu)的這些分類器的準(zhǔn)確性評估好于文獻(xiàn)數(shù)據(jù),實(shí)驗(yàn)數(shù)據(jù)表明:用在數(shù)理統(tǒng)計(jì)上天然的優(yōu)越性的Matlab語言建構(gòu)的分類器性能是非常好。MBNC試驗(yàn)平臺的可擴(kuò)展性也很好,進(jìn)一步進(jìn)行新的研究比較方便。完全的貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)是一個(gè)NP難問題,很多學(xué)者提出了近似算法,取得了

6、較好的效果。本文對貝葉斯分類器結(jié)構(gòu)學(xué)習(xí)進(jìn)行改進(jìn),NBC不需要學(xué)習(xí)結(jié)構(gòu),我們的工作是TANC和BNC結(jié)構(gòu)學(xué)習(xí)算法的改進(jìn),新算法在MBNC實(shí)驗(yàn)平臺上進(jìn)行了驗(yàn)證。衡量算法優(yōu)劣的標(biāo)準(zhǔn)是所構(gòu)建的貝葉斯分類器的準(zhǔn)確性評估。用從UCI上下載的標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行評估。對TANC結(jié)構(gòu)學(xué)習(xí)的改進(jìn)是引入了新的測度函數(shù)貝葉斯信息標(biāo)準(zhǔn)BIC測度,原有的互信息MI測度是相關(guān)性測試的標(biāo)準(zhǔn),BIC測度用于基于打分和搜索的結(jié)構(gòu)學(xué)習(xí)取得了成功。用BIC測度學(xué)習(xí)結(jié)點(diǎn)對之間的關(guān)系

7、,再建構(gòu)最大權(quán)重跨度樹,從而學(xué)習(xí)得到TANC結(jié)構(gòu)。我們實(shí)現(xiàn)了TANC-BIC和TANC-CBIC兩種分類器,實(shí)驗(yàn)結(jié)果表明:新的算法與基于MI測度的TANC-MI和TANC-CMI分類器分類效果相當(dāng),在某些數(shù)據(jù)集中還更優(yōu)些。對于BNC結(jié)構(gòu)學(xué)習(xí),K2算法中結(jié)點(diǎn)次序的確定是一個(gè)NP難問題,而GS算法的時(shí)間開銷很長。本文提出了基于啟發(fā)式的G2算法,即用啟發(fā)式思想來學(xué)習(xí)結(jié)點(diǎn)的次序,再用K2算法的得出網(wǎng)絡(luò)結(jié)構(gòu)。用NB結(jié)構(gòu)和四種TAN結(jié)構(gòu)作為啟發(fā)式信

8、息,實(shí)現(xiàn)了五種分類器模型,分別是G2-NB,G2-MI,G2-CMI,G2-BIC,G2-CBIC。同樣也在MBNC下編程實(shí)現(xiàn)了這些算法。實(shí)驗(yàn)結(jié)果表明:學(xué)習(xí)得到的結(jié)點(diǎn)次序是比較優(yōu)化的,分類效果比較好。該算法較好地解決了K2算法的瓶頸問題。不需要用戶確定結(jié)點(diǎn)次序,限制可行解的搜索空間,從而加速了問題的求解過程,所添加的弧比較簡潔,網(wǎng)絡(luò)結(jié)構(gòu)更加合理。對GS算法的優(yōu)化正在研究之中。MBNC實(shí)驗(yàn)平臺可以用來進(jìn)行文本分類,我們研究文本分類中的特征