基于條件互信息的集成學(xué)習(xí)的研究與應(yīng)用.pdf

1、集成學(xué)習(xí)是當(dāng)今機(jī)器學(xué)習(xí)的四大研究方向之首，隨著越來(lái)越多的學(xué)者的介入研究，集成學(xué)習(xí)經(jīng)典算法族Bagging和Boosting已經(jīng)研究的比較深入，因此需要從其他的角度來(lái)研究性能更好的集成算法。選擇性集成就是一種特殊的集成學(xué)習(xí)的范式。它利用優(yōu)化選擇出個(gè)體學(xué)習(xí)器中的部分差異性大，泛化能力強(qiáng)的學(xué)習(xí)器加以集成，得到了比以往集成所有個(gè)體學(xué)習(xí)器更好的性能。目前集成學(xué)習(xí)已經(jīng)應(yīng)用到很多領(lǐng)域，比如行星探測(cè)、地震波分析、Web信息過(guò)濾、生物特征識(shí)別、計(jì)算機(jī)輔助

2、醫(yī)療診斷等領(lǐng)域。 本文詳細(xì)分析了集成學(xué)習(xí)的有關(guān)理論和算法，集成學(xué)習(xí)生效的原因和優(yōu)勢(shì)，并指出了集成學(xué)習(xí)的不足和研究方向，然后介紹了選擇性集成學(xué)習(xí)的理論基礎(chǔ)和構(gòu)造算法，最后做了以下兩個(gè)主要的工作。 首先，介紹了信息論中條件互信息的理論，并將它與集成學(xué)習(xí)相結(jié)合，構(gòu)造出一個(gè)利用條件互信息來(lái)選擇優(yōu)化個(gè)體學(xué)習(xí)器的算法CMISEN(ConditionalMutual Information Based Selective Ensemb

3、le)，該算法在選擇個(gè)體學(xué)習(xí)器的過(guò)程中考慮了他們之間的影響，能防止選入一些冗余的個(gè)體學(xué)習(xí)器，使個(gè)體學(xué)習(xí)之間的差異性更大。最后將它在Weka平臺(tái)下實(shí)現(xiàn)，通過(guò)與Bagging和MISEN(MutualInformation Based Selective Ensemble)算法在UCI數(shù)據(jù)集上比較，證明了該算法在預(yù)測(cè)準(zhǔn)確性上優(yōu)于前兩種方法。 其次，感官評(píng)估也是目前研究的熱點(diǎn)內(nèi)容之一，目前在煙草行業(yè)已經(jīng)運(yùn)用了很多計(jì)算機(jī)智能的方法來(lái)解決

4、問(wèn)題，并取得很好的成果。但是在機(jī)器學(xué)習(xí)方面仍是利用傳統(tǒng)的單一學(xué)習(xí)器的方法。單一的模型的預(yù)測(cè)不是很穩(wěn)定，可能對(duì)這批數(shù)據(jù)集預(yù)測(cè)效果好，對(duì)另一批數(shù)據(jù)的預(yù)測(cè)效果就差，而且如果過(guò)擬合的話往往導(dǎo)致泛化能力的下降，所以利用集成學(xué)習(xí)的方法會(huì)降低這種過(guò)擬合而導(dǎo)致泛化能力下降的風(fēng)險(xiǎn)。因此本文將集成學(xué)習(xí)算法用于煙葉感官評(píng)估，通過(guò)實(shí)驗(yàn)證明，集成學(xué)習(xí)在煙葉感官評(píng)估方面確實(shí)要優(yōu)于傳統(tǒng)的單一的模型。 最后提出了以后的工作展望，對(duì)集成學(xué)習(xí)的進(jìn)一步發(fā)展提出了自己