一種樸素貝葉斯參數(shù)判別學習算法.pdf

1、樸素貝葉斯(Na(I)ve Bayes,NB)是一種經(jīng)典的機器學習算法,它具有訓練時間短,模型簡單,泛化正確率高等優(yōu)點,并且在實際生活中得到了廣泛的應(yīng)用。但它也有先天的不足:不能很好的擬合訓練數(shù)據(jù)局部分布特征,生成參數(shù)學習算法不太適合分類任務(wù)等。
　　 局部加權(quán)樸素貝葉斯(Locally Weighted Na(I)ve Bayes,LWNB)是樸素貝葉斯的一種較好的改進,判別頻率估計(Discriminative Freque

2、ncy Estimate,DFE)可以極大的提高樸素貝葉斯的泛化正確率。受LWNB和DFE啟發(fā),提出收縮空間(Gradually Contracting Spaces,GCS)判別學習樸素貝葉斯參數(shù)算法:對于一個待分類實例,尋找包含全體訓練實例的全局空間的一系列逐漸縮小的子空間,這些子空間具有下列兩種性質(zhì):1、它們都包含待分類實例;2、一個空間一定包含在任何一個比它大的空間中。在逐漸縮小的空間上使用修改的DFE算法漸進的學習樸素貝葉斯N

3、B的參數(shù),使用NB分類給定的待分類實例。與LWNB的根本不同是:GCS使用全體訓練實例學習樸素貝葉斯并且GCS可以實現(xiàn)為非懶惰版本。本文實現(xiàn)了GCS的決策樹版本(Decision tree version of GCS,GCS-T),GCS-T是非懶惰算法,它使用決策樹尋找子空間。實驗結(jié)果顯示,與C4.5以及貝葉斯分類算法Na(I)ve Bayes,BaysianNet,NaYve Bayes Tree(NFBTree),LWNB,Hi