樸素貝葉斯分類及其應(yīng)用研究.pdf

1、樸素貝葉斯是數(shù)據(jù)挖掘領(lǐng)域重要的分類算法之一,與其它方法相比,樸素貝葉斯方法具有算法簡(jiǎn)單、分類效果穩(wěn)定和速度快等特點(diǎn)。樸素貝葉斯模型一般假設(shè)屬性之間相互獨(dú)立,然而這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的,這給樸素貝葉斯模型的分類性能帶來一定影響。對(duì)此,現(xiàn)有大量研究工作試圖通過放松屬性間的獨(dú)立性假設(shè)來提高樸素貝葉斯分類的性能,主要可以分為結(jié)構(gòu)擴(kuò)展、局部學(xué)習(xí)、屬性選擇和屬性加權(quán)。
　　 本文重點(diǎn)從結(jié)構(gòu)擴(kuò)展和屬性加權(quán)兩個(gè)方面改進(jìn)樸素貝葉斯分類

2、模型。具體研究工作包括:
　　 1)結(jié)構(gòu)擴(kuò)展方面:采用關(guān)聯(lián)規(guī)則中的頻繁項(xiàng)集來體現(xiàn)多屬性之間的關(guān)聯(lián)性,從而避免了強(qiáng)屬性集的選擇過程,并構(gòu)造了一種雙層貝葉斯結(jié)構(gòu)；針對(duì)基于頻繁項(xiàng)集的貝葉斯分類算法(FISC)存在的概率估計(jì)方式粗糙和分類器集成過于簡(jiǎn)單的缺點(diǎn),分別提出了基于M-估計(jì)的貝葉斯分類算法(FISC-M)和加權(quán)集成的貝葉斯分類算法(WFISC)；為解決FISC時(shí)間開銷較大的問題,提出了項(xiàng)集長(zhǎng)度約束條件,在保證分類精度的前提下縮短

3、了算法的運(yùn)行時(shí)間,進(jìn)一步提升了FISC-M和WFISC的性能。實(shí)驗(yàn)結(jié)果表明,FISC-M與WFISC的性能大大超越了原始的FISC,并且優(yōu)于目前性能較優(yōu)的一些貝葉斯分類算法。
　　 2)屬性加權(quán)方面:將變精度粗糙集理論應(yīng)用到貝葉斯分類算法中,提出了一種基于變精度粗糙集的屬性加權(quán)樸素貝葉斯分類算法(AWNB-VPRS)。該算法采用變精度粗糙集方法來確定屬性的重要程度,綜合考慮了屬性的加權(quán)近似精度和屬性的信息增益。實(shí)驗(yàn)結(jié)果表明AWN