不完整數(shù)據(jù)的貝葉斯網(wǎng)絡參數(shù)學習新算法.pdf

1、在現(xiàn)實世界中存在著海量數(shù)據(jù),因此如何處理這些數(shù)據(jù)并從中發(fā)現(xiàn)知識是具有現(xiàn)實意義的亟待解決的問題。隨著信息技術的發(fā)展,數(shù)據(jù)挖掘技術已經(jīng)越來越廣泛的應用于實際的運用中,而貝葉斯網(wǎng)絡作為不確定性環(huán)境下一種有力的知識表示方式和概率推理模型,是處理數(shù)據(jù)挖掘的強有力工具。貝葉斯網(wǎng)絡是在不確定性環(huán)境下有效的知識表示方式和概率推理模型,是一種流行的圖形決策化分析工具。近年來,人們研究了直接從數(shù)據(jù)中學習并建立貝葉斯網(wǎng)絡的問題,并把它用于數(shù)據(jù)挖掘。雖然基于貝

2、葉斯網(wǎng)絡的數(shù)據(jù)挖掘技術仍處于不斷完善之中,但它已經(jīng)在一些數(shù)據(jù)建模問題中取得令人矚目的成績。貝葉斯網(wǎng)絡學習有兩大問題:參數(shù)學習問題和結構學習問題。在現(xiàn)實世界中,不完整數(shù)據(jù)是廣泛存在的,如何從不完整數(shù)據(jù)中學習貝葉斯網(wǎng)絡的參數(shù)和結構一個非常實用而有價值的問題。其中,基于不完整數(shù)據(jù)的參數(shù)學習問題要做到精確處理是非常困難的,現(xiàn)有的算法處理此類問題都采用近似的算法。這些算法在解決大數(shù)據(jù)集時由于需要很多次循環(huán)迭代,故效率不高,且占用系統(tǒng)資源較多。本文

3、首次給出一種新的基于學習的相容性的BCL參數(shù)學習算法,可用于在不完整數(shù)據(jù)集下進行的貝葉斯網(wǎng)絡參數(shù)學習。新算法是以相容的貝葉斯學習的漸進正態(tài)性為理論基礎。在胡振宇的碩士畢業(yè)論文中推導得出以下結論:若正則條件成立,且,則的后驗概率,以概率1趨近于,。(這里是參數(shù))這個結論告訴我們:當觀測到的樣本數(shù)據(jù)量趨于無窮時,用貝葉斯方法學習的參數(shù)θ趨于一個正態(tài)分布。由于參數(shù)的分布性質已經(jīng)確定,所以可以用來直接估計出參數(shù)的值。考慮到算法是基于不完整數(shù)據(jù)集

4、的,所以修補完全數(shù)據(jù)集對計算結果的精確性有很大影響,因此應首先處理這個問題。我們在此應用了貝葉斯啟發(fā)式方法(BHA-Bayesian Heuristic Approach),試圖將先驗信息的影響加入到修補數(shù)據(jù)集的過程之中,我們是這樣做的:首先利用已有的完整的數(shù)據(jù)樣本,先初步估計出參數(shù)θ的值,然后利用公式修補完全給出的數(shù)據(jù)樣本集。如上所述,本算法主要有兩個關鍵:
　　(1)如何較好地修補數(shù)據(jù)集。
　　(2)算法的主體采用何種近

5、似方法估計出參數(shù)。
　　基于以上分析,我們提出一種新的參數(shù)學習算法―BCL算法,BCL算法主要由以下幾個步驟實現(xiàn):
　　第一步:從不完備樣本數(shù)據(jù)集中抽取相對完整的樣本數(shù)據(jù),估計出可能的參數(shù)向量值,即直接利用局部數(shù)據(jù)計算出服從正態(tài)分布的參數(shù)初始值。
　　第二步:在已得初始參數(shù)的情況下,補充剩余不完備數(shù)據(jù)集,以便估計出概率上最匹配的參數(shù)向量集。
　　第三步:利用已完全的數(shù)據(jù),用矩法估計近似出最終值。
　　在實驗

6、階段,我們通過對兩個經(jīng)典貝葉斯網(wǎng)絡Asia網(wǎng)絡,Alarm網(wǎng)絡(此兩個網(wǎng)絡是醫(yī)療上已經(jīng)成功運用于專家系統(tǒng)的貝葉斯網(wǎng)絡)使用BCL算法和傳統(tǒng)兩種算法:Gibbs Sampling算法和EM算法分別進行參數(shù)學習,并且在運算結果的差錯率和運行時間上分別進行比較,實驗結果可以看出我們的算法在樣本少量的情況下精確度較高,而時間代價相當。在大樣本容量的情況下,精確度相當?shù)那闆r下,時間代價明顯低于以上兩種算法。本文的研究工作把貝葉斯網(wǎng)絡(作為一種數(shù)據(jù)