不完整數(shù)據(jù)的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)新算法.pdf

1、在現(xiàn)實(shí)世界中存在著海量數(shù)據(jù),因此如何處理這些數(shù)據(jù)并從中發(fā)現(xiàn)知識(shí)是具有現(xiàn)實(shí)意義的亟待解決的問(wèn)題。隨著信息技術(shù)的發(fā)展,數(shù)據(jù)挖掘技術(shù)已經(jīng)越來(lái)越廣泛的應(yīng)用于實(shí)際的運(yùn)用中,而貝葉斯網(wǎng)絡(luò)作為不確定性環(huán)境下一種有力的知識(shí)表示方式和概率推理模型,是處理數(shù)據(jù)挖掘的強(qiáng)有力工具。貝葉斯網(wǎng)絡(luò)是在不確定性環(huán)境下有效的知識(shí)表示方式和概率推理模型,是一種流行的圖形決策化分析工具。近年來(lái),人們研究了直接從數(shù)據(jù)中學(xué)習(xí)并建立貝葉斯網(wǎng)絡(luò)的問(wèn)題,并把它用于數(shù)據(jù)挖掘。雖然基于貝

2、葉斯網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)仍處于不斷完善之中,但它已經(jīng)在一些數(shù)據(jù)建模問(wèn)題中取得令人矚目的成績(jī)。貝葉斯網(wǎng)絡(luò)學(xué)習(xí)有兩大問(wèn)題:參數(shù)學(xué)習(xí)問(wèn)題和結(jié)構(gòu)學(xué)習(xí)問(wèn)題。在現(xiàn)實(shí)世界中,不完整數(shù)據(jù)是廣泛存在的,如何從不完整數(shù)據(jù)中學(xué)習(xí)貝葉斯網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)一個(gè)非常實(shí)用而有價(jià)值的問(wèn)題。其中,基于不完整數(shù)據(jù)的參數(shù)學(xué)習(xí)問(wèn)題要做到精確處理是非常困難的,現(xiàn)有的算法處理此類問(wèn)題都采用近似的算法。這些算法在解決大數(shù)據(jù)集時(shí)由于需要很多次循環(huán)迭代,故效率不高,且占用系統(tǒng)資源較多。本文

3、首次給出一種新的基于學(xué)習(xí)的相容性的BCL參數(shù)學(xué)習(xí)算法,可用于在不完整數(shù)據(jù)集下進(jìn)行的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。新算法是以相容的貝葉斯學(xué)習(xí)的漸進(jìn)正態(tài)性為理論基礎(chǔ)。在胡振宇的碩士畢業(yè)論文中推導(dǎo)得出以下結(jié)論:若正則條件成立,且,則的后驗(yàn)概率,以概率1趨近于,。(這里是參數(shù))這個(gè)結(jié)論告訴我們:當(dāng)觀測(cè)到的樣本數(shù)據(jù)量趨于無(wú)窮時(shí),用貝葉斯方法學(xué)習(xí)的參數(shù)θ趨于一個(gè)正態(tài)分布。由于參數(shù)的分布性質(zhì)已經(jīng)確定,所以可以用來(lái)直接估計(jì)出參數(shù)的值?？紤]到算法是基于不完整數(shù)據(jù)集

4、的,所以修補(bǔ)完全數(shù)據(jù)集對(duì)計(jì)算結(jié)果的精確性有很大影響,因此應(yīng)首先處理這個(gè)問(wèn)題。我們?cè)诖藨?yīng)用了貝葉斯啟發(fā)式方法(BHA-Bayesian Heuristic Approach),試圖將先驗(yàn)信息的影響加入到修補(bǔ)數(shù)據(jù)集的過(guò)程之中,我們是這樣做的:首先利用已有的完整的數(shù)據(jù)樣本,先初步估計(jì)出參數(shù)θ的值,然后利用公式修補(bǔ)完全給出的數(shù)據(jù)樣本集。如上所述,本算法主要有兩個(gè)關(guān)鍵:
　　(1)如何較好地修補(bǔ)數(shù)據(jù)集。
　　(2)算法的主體采用何種近

5、似方法估計(jì)出參數(shù)。
　　基于以上分析,我們提出一種新的參數(shù)學(xué)習(xí)算法―BCL算法,BCL算法主要由以下幾個(gè)步驟實(shí)現(xiàn):
　　第一步:從不完備樣本數(shù)據(jù)集中抽取相對(duì)完整的樣本數(shù)據(jù),估計(jì)出可能的參數(shù)向量值,即直接利用局部數(shù)據(jù)計(jì)算出服從正態(tài)分布的參數(shù)初始值。
　　第二步:在已得初始參數(shù)的情況下,補(bǔ)充剩余不完備數(shù)據(jù)集,以便估計(jì)出概率上最匹配的參數(shù)向量集。
　　第三步:利用已完全的數(shù)據(jù),用矩法估計(jì)近似出最終值。
　　在實(shí)驗(yàn)

6、階段,我們通過(guò)對(duì)兩個(gè)經(jīng)典貝葉斯網(wǎng)絡(luò)Asia網(wǎng)絡(luò),Alarm網(wǎng)絡(luò)(此兩個(gè)網(wǎng)絡(luò)是醫(yī)療上已經(jīng)成功運(yùn)用于專家系統(tǒng)的貝葉斯網(wǎng)絡(luò))使用BCL算法和傳統(tǒng)兩種算法:Gibbs Sampling算法和EM算法分別進(jìn)行參數(shù)學(xué)習(xí),并且在運(yùn)算結(jié)果的差錯(cuò)率和運(yùn)行時(shí)間上分別進(jìn)行比較,實(shí)驗(yàn)結(jié)果可以看出我們的算法在樣本少量的情況下精確度較高,而時(shí)間代價(jià)相當(dāng)。在大樣本容量的情況下,精確度相當(dāng)?shù)那闆r下,時(shí)間代價(jià)明顯低于以上兩種算法。本文的研究工作把貝葉斯網(wǎng)絡(luò)(作為一種數(shù)據(jù)