示例學(xué)習(xí)的決策樹算法研究.pdf

1、決策樹分類學(xué)習(xí)算法是使用最廣泛、實(shí)用性很強(qiáng)的歸納推理方法之一,在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等人工智能領(lǐng)域有相當(dāng)重要的理論意義與實(shí)用價(jià)值.在各種決策樹學(xué)習(xí)算法當(dāng)中,最有影響力的是采用信息熵的下降速度作為選擇測(cè)試屬性的標(biāo)準(zhǔn)的ID3算法.但是ID3算法存在學(xué)習(xí)簡(jiǎn)單邏輯表達(dá)式的能力較差、偏向?qū)傩匀≈禂?shù)目較多等缺陷.論文企圖在ID3的基礎(chǔ)上,針對(duì)其中的一些不足加以改進(jìn).本文首先介紹了示例學(xué)習(xí)的擴(kuò)張矩陣?yán)碚撆c決策樹學(xué)習(xí)的最優(yōu)化問題、ID3算法的信息論原理與

2、實(shí)現(xiàn)以及C4.5算法的剪枝原理.然后針對(duì)ID3學(xué)習(xí)邏輯表達(dá)式方面的不足,提出了一種對(duì)ID3學(xué)習(xí)到的決策樹進(jìn)行簡(jiǎn)化的算法——基于蘊(yùn)含規(guī)則的決策樹簡(jiǎn)化算法(DTSA-BOIR,簡(jiǎn)記為BOIR),BOIR以ID3算法構(gòu)造的決策樹為基礎(chǔ),先序遍歷由ID3構(gòu)造出來的決策樹的各個(gè)節(jié)點(diǎn),并對(duì)其子樹進(jìn)行比較,如果各子樹的根屬性都相同而且存在某些相應(yīng)的分支對(duì)于各子樹完全相同,則改變決策樹中相應(yīng)屬性的層次關(guān)系并把相同的分支分別合并起來.本文實(shí)現(xiàn)了BOIR對(duì)