基于屬性組合的隨機(jī)森林.pdf

1、在機(jī)器學(xué)習(xí)領(lǐng)域的分類問題中，對(duì)于待分類的樣例，當(dāng)我們用于判斷其類別的屬性個(gè)數(shù)很多時(shí)，用傳統(tǒng)的分類算法建立分類器，消耗較多的計(jì)算機(jī)時(shí)間和空間。近年來，研究學(xué)者們對(duì)數(shù)據(jù)集的屬性組合進(jìn)行了相關(guān)的研究，提出了很多種屬性組合構(gòu)造分類器的新思想，但是構(gòu)建的屬性組合分類器大多是在一個(gè)數(shù)據(jù)集上挑選屬性組合建立一個(gè)分類器。由于選擇屬性組合的標(biāo)準(zhǔn)不同，各自又形成了不同的分類器，并且每一種構(gòu)建方法都有其優(yōu)點(diǎn)和缺點(diǎn)。同時(shí)，集成分類器的思想也有新的研究成果。本文

2、基于學(xué)者們的已做工作，我們進(jìn)行總結(jié)和創(chuàng)新，做了以下工作。
　　 本文首先提出用屬性組合構(gòu)建分類器的研究目的和意義?；谝恍?shù)據(jù)集中，條件屬性過多這一特點(diǎn)，在本文中首先采用將數(shù)據(jù)集進(jìn)行聚類的方法將相似的訓(xùn)練樣例進(jìn)行分堆，以便于更好的針對(duì)每一堆相似的樣例挑選屬性組合，生成針對(duì)于不同性質(zhì)樣例的分類器，并闡述了使用此種方法的優(yōu)點(diǎn)。其次，基于學(xué)者們近年來的工作，闡述了多變量決策樹的理論和方法。我們采用較少的、有針對(duì)性的對(duì)每一個(gè)數(shù)據(jù)聚類堆進(jìn)

3、行隨機(jī)選擇的屬性，生成多棵多變量決策樹。最后，根據(jù)每一個(gè)聚類堆構(gòu)建的多棵多變量決策樹形成隨機(jī)森林來進(jìn)行分類器的加權(quán)集成，從而試圖覆蓋數(shù)據(jù)集中的所有概念，進(jìn)一步保證了分類的精度。通過以上工作，我們可以處理數(shù)據(jù)量大并且條件屬性較多的數(shù)據(jù)集，通過選擇較少的屬性和屬性組合構(gòu)建多棵多變量決策樹從而完成分類器的集成。通過實(shí)驗(yàn)證明，這種方法可以有效降低決策樹這種分類器的規(guī)模，減小分類規(guī)則的數(shù)目，并且有效減小建樹的時(shí)間開銷，同時(shí)在一定程度上保證分類的準(zhǔn)