不完整數(shù)據(jù)集成分類(lèi)算法的研究.pdf

1、分類(lèi)被廣泛的應(yīng)用于生產(chǎn)、科學(xué)研究、日常生活等領(lǐng)域的方方面面。隨著機(jī)器學(xué)習(xí)應(yīng)用范圍的擴(kuò)大，信息技術(shù)以及互聯(lián)網(wǎng)的迅速發(fā)展，每天都有大量的數(shù)據(jù)被收集，新的挑戰(zhàn)和問(wèn)題也隨之出現(xiàn)。在心理學(xué)研究中經(jīng)常出現(xiàn)研究對(duì)象可能由于對(duì)自己隱私的保護(hù)，而沒(méi)有填寫(xiě)某些實(shí)驗(yàn)數(shù)據(jù)。在醫(yī)學(xué)研究當(dāng)中經(jīng)常由于觀(guān)察對(duì)象死亡而丟失后續(xù)實(shí)驗(yàn)的數(shù)據(jù)，這些情況都造成了最后的實(shí)驗(yàn)結(jié)果不完整。目前主流的分類(lèi)算法都是針對(duì)完整的數(shù)據(jù)集，對(duì)不完整的數(shù)據(jù)集則束手無(wú)策。如何有效的利用這些不完整的數(shù)

2、據(jù)，成為機(jī)器學(xué)習(xí)中又一個(gè)研究熱點(diǎn)。
　　 集成學(xué)習(xí)由于其簡(jiǎn)單的算法和良好的泛化性能得到了廣泛的應(yīng)用。近年來(lái)也有人使用集成學(xué)習(xí)的方法解決不完整數(shù)據(jù)的分類(lèi)問(wèn)題，并取得了良好的效果。但目前針對(duì)不完整數(shù)據(jù)的集成分類(lèi)算法在衡量各個(gè)子分類(lèi)器的權(quán)重時(shí)只考慮了相應(yīng)數(shù)據(jù)子集的維數(shù)和大小，而沒(méi)有考慮到不同的屬性對(duì)最終類(lèi)別的貢獻(xiàn)程度不同。
　　 信息量是個(gè)很抽象的概念，一個(gè)系統(tǒng)中信息量多或者信息量少，都是感性的認(rèn)識(shí)，那么如何量化一個(gè)系統(tǒng)中信息

3、的多與少呢？1948年克勞德·艾爾伍德·香農(nóng)第一次用數(shù)學(xué)公式描述了一個(gè)系統(tǒng)中信息量的多少。本文利用條件熵和互信息的概念來(lái)衡量不同缺失屬性之間對(duì)于類(lèi)別貢獻(xiàn)的差異，進(jìn)而計(jì)算出各個(gè)子分類(lèi)器的權(quán)重，使得最終的加權(quán)投票更加公平，結(jié)果更加準(zhǔn)確。
　　 本文的主要工作如下:
　　 1.闡述了研究不完整數(shù)據(jù)的背景和意義，介紹了當(dāng)前處理不完整數(shù)據(jù)的主要方法以及優(yōu)缺點(diǎn)。闡述了弱可學(xué)習(xí)理論以及集成學(xué)習(xí)的相關(guān)概念、原理、優(yōu)勢(shì)和其兩個(gè)主要算法:B

4、agging和Boosting。介紹了信息熵、聯(lián)合熵、條件熵以及互信息的概念、意義和相關(guān)公式。
　　 2.針對(duì)當(dāng)前集成學(xué)習(xí)處理不完整數(shù)據(jù)的不足，提出了基于條件熵的不完整數(shù)據(jù)的集成分類(lèi)算法。給出了使用條件熵計(jì)算各個(gè)子分類(lèi)器權(quán)值的方法。詳細(xì)論述了算法的有效性和正確性。本文使用UCl的數(shù)據(jù)集，利用Bagging和AdaBoost集成學(xué)習(xí)算法進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明該算法比簡(jiǎn)單的使用缺失屬性的多少來(lái)計(jì)算子分類(lèi)器的權(quán)重更有效，最終的集成結(jié)