隨機(jī)森林算法研究及改進(jìn).pdf

1、隨機(jī)森林作為一種常見(jiàn)的數(shù)據(jù)挖掘方法，已被證實(shí)是一種state-of-art的學(xué)習(xí)器，其不僅具有很高的分類回歸性能，而且運(yùn)算快速高效，并且隨機(jī)森林能有效處理多分類問(wèn)題，在應(yīng)對(duì)噪聲干擾上也具有明顯的優(yōu)勢(shì)。
　　但是傳統(tǒng)的隨機(jī)森林模型在樹(shù)的數(shù)量和樹(shù)的選擇中沒(méi)有深入的研究。另外隨機(jī)森林在半監(jiān)督問(wèn)題上的研究也較少，目前尚無(wú)良好的半監(jiān)督隨機(jī)森林模型，限制了隨機(jī)森林的應(yīng)用范圍。本文針對(duì)這兩個(gè)問(wèn)題，展開(kāi)了隨機(jī)森林模型改進(jìn)的研究。
　　本文利

2、用隨機(jī)森林的間隔，設(shè)計(jì)了一種基于Margin最優(yōu)化的隨機(jī)森林修剪模型，定義了每棵樹(shù)的四種形式的margin評(píng)價(jià)方式，計(jì)算每棵樹(shù)的margin評(píng)價(jià)值，采用遞歸消除的方式，對(duì)森林進(jìn)行修剪，并通過(guò)觀察OOB準(zhǔn)確率來(lái)決定修剪的停止。在10組數(shù)據(jù)集上進(jìn)行對(duì)比試驗(yàn)，顯示修剪的模型比隨機(jī)森林模型具有更優(yōu)的分類性能，并且相比于其他修剪方式，本文的修剪方式具有明顯的優(yōu)勢(shì)。另外通過(guò)研究修剪過(guò)程中margin的變化，對(duì)模型的有效性進(jìn)行解釋。
　　針對(duì)半

3、監(jiān)督隨機(jī)森林，本文結(jié)合了已有的隨機(jī)森林半監(jiān)督模型和協(xié)同訓(xùn)練模型，建立基于協(xié)同訓(xùn)練的隨機(jī)森林模型，不僅簡(jiǎn)化了原有半監(jiān)督隨機(jī)森林優(yōu)化中退火過(guò)程的步驟，而且通過(guò)協(xié)同訓(xùn)練，改進(jìn)了模型學(xué)習(xí)的方式，很大程度提高了模型的分類性能。另外本文還將隨機(jī)森林的袋外數(shù)據(jù)作為半監(jiān)督模型學(xué)習(xí)的評(píng)價(jià)方式，提出了基于OOB準(zhǔn)確率變動(dòng)的停止準(zhǔn)則。16個(gè)數(shù)據(jù)集上的對(duì)比試驗(yàn)顯示，基于協(xié)同訓(xùn)練的隨機(jī)森林模型比傳統(tǒng)的半監(jiān)督隨機(jī)森林具有更高的分類準(zhǔn)確率，是一個(gè)優(yōu)秀的半監(jiān)督學(xué)習(xí)模型