基于最大條件概率的單依賴分類器聚合算法研究.pdf

1、盡管樸素貝葉斯分類算法足夠簡單，它仍表現(xiàn)出了極好的分類性能。然而作為其核心思想的條件獨立性假設，在真實應用中卻很少能夠被滿足?；趩我蕾嚪诸惼鞯木酆纤惴ㄗ鳛閷闼刎惾~斯模型的一類改進模型，很好地削弱了特征間的獨立性假設，并在分類準確度和模型方差等評價指標上表現(xiàn)突出。然而現(xiàn)有的聚合模型都過分強調單個子模型的分類性能對整個聚合模型的影響，而忽略了全局優(yōu)化的重要性。
　　基于全局優(yōu)化的假設，本文提出了基于最大條件概率(Condition

2、al LogLikelihood)的單依賴聚合(Ensemble super parent One Dependence Estimator)模型(EODE-CLL)。首先采用最大條件概率作為全局優(yōu)化的目標，它在機器學習中常被用來作為目標函數(shù)而進行參數(shù)計算，核心思想是最合理的參數(shù)應該使得從模型空間中抽取出樣本數(shù)據(jù)的概率最大，相比以擬合樣本數(shù)據(jù)為核心的最小二乘法等，能夠避免模型的過擬合。其次提出兩層權重結構:除了作為線性組合的第一層權重外

3、，在每個子模型內部還提出了區(qū)分不同特征重要性的第二層權重，引入第二層權重結構在子模型進行局部優(yōu)化，過濾低相關特征，突出高相關特征，從而使各個子模型充分最優(yōu)。最后采用隨機梯度下降法求解最優(yōu)解，它是機器學習中常被用來求解參數(shù)的迭代方法，計算簡單高效，求解過程中只需計算目標函數(shù)對參數(shù)的偏導，還衍生出了批量隨機梯度下降法和分布式隨機梯度下降法，具有很好的擴展性。此外，本文提出的EODE-CLL模型是一個有監(jiān)督的聚合模型，具有較強的表達能力，通過