隨機(jī)森林算法研究及改進(jìn).pdf

1、隨機(jī)森林作為一種常見的數(shù)據(jù)挖掘方法，已被證實(shí)是一種state-of-art的學(xué)習(xí)器，其不僅具有很高的分類回歸性能，而且運(yùn)算快速高效，并且隨機(jī)森林能有效處理多分類問題，在應(yīng)對噪聲干擾上也具有明顯的優(yōu)勢。
　　但是傳統(tǒng)的隨機(jī)森林模型在樹的數(shù)量和樹的選擇中沒有深入的研究。另外隨機(jī)森林在半監(jiān)督問題上的研究也較少，目前尚無良好的半監(jiān)督隨機(jī)森林模型，限制了隨機(jī)森林的應(yīng)用范圍。本文針對這兩個(gè)問題，展開了隨機(jī)森林模型改進(jìn)的研究。
　　本文利

2、用隨機(jī)森林的間隔，設(shè)計(jì)了一種基于Margin最優(yōu)化的隨機(jī)森林修剪模型，定義了每棵樹的四種形式的margin評價(jià)方式，計(jì)算每棵樹的margin評價(jià)值，采用遞歸消除的方式，對森林進(jìn)行修剪，并通過觀察OOB準(zhǔn)確率來決定修剪的停止。在10組數(shù)據(jù)集上進(jìn)行對比試驗(yàn)，顯示修剪的模型比隨機(jī)森林模型具有更優(yōu)的分類性能，并且相比于其他修剪方式，本文的修剪方式具有明顯的優(yōu)勢。另外通過研究修剪過程中margin的變化，對模型的有效性進(jìn)行解釋。
　　針對半

3、監(jiān)督隨機(jī)森林，本文結(jié)合了已有的隨機(jī)森林半監(jiān)督模型和協(xié)同訓(xùn)練模型，建立基于協(xié)同訓(xùn)練的隨機(jī)森林模型，不僅簡化了原有半監(jiān)督隨機(jī)森林優(yōu)化中退火過程的步驟，而且通過協(xié)同訓(xùn)練，改進(jìn)了模型學(xué)習(xí)的方式，很大程度提高了模型的分類性能。另外本文還將隨機(jī)森林的袋外數(shù)據(jù)作為半監(jiān)督模型學(xué)習(xí)的評價(jià)方式，提出了基于OOB準(zhǔn)確率變動的停止準(zhǔn)則。16個(gè)數(shù)據(jù)集上的對比試驗(yàn)顯示，基于協(xié)同訓(xùn)練的隨機(jī)森林模型比傳統(tǒng)的半監(jiān)督隨機(jī)森林具有更高的分類準(zhǔn)確率，是一個(gè)優(yōu)秀的半監(jiān)督學(xué)習(xí)模型