基于屬性信息熵的KNN算法改進(jìn)研究.pdf

1、分類(lèi)是數(shù)據(jù)挖掘任務(wù)之一，KNN算法是一種思路簡(jiǎn)單，易于實(shí)現(xiàn)的分類(lèi)算法。KNN根據(jù)未知樣本的K個(gè)近鄰樣本來(lái)預(yù)測(cè)未知樣本的類(lèi)別，近鄰樣本的選擇是根據(jù)一定的距離公式判定的。距離的定義直接影響K個(gè)近鄰樣本的選取，最終影響分類(lèi)的準(zhǔn)確率。許多學(xué)者都對(duì)距離進(jìn)行研究，但基本都沒(méi)有考慮到屬性值對(duì)類(lèi)別的重要性。信息熵可用來(lái)度量屬性值對(duì)類(lèi)別的重要性，信息熵越小，此屬性值對(duì)類(lèi)別的重要性越大。本文首先采用信息熵度量屬性值的重要性，給出一種新的基于屬性值信息熵的距

2、離定義，同時(shí)投票時(shí)綜合考慮各類(lèi)近鄰樣本的平均距離及個(gè)數(shù)，提出了一種基于屬性值信息熵的KNN改進(jìn)算法Entropy-KNN。蘑菇數(shù)據(jù)集上實(shí)驗(yàn)表明Entropy-KNN算法的分類(lèi)準(zhǔn)確率高于傳統(tǒng)KNN算法和距離加權(quán)KNN算法。
　　 其次，為了進(jìn)一步提高分類(lèi)的準(zhǔn)確率，提出一種基于層次聚類(lèi)法的Entropy-KNN算法，采用層次聚類(lèi)法對(duì)每類(lèi)的訓(xùn)練樣本進(jìn)行聚類(lèi)后，選取與測(cè)試樣本最接近的聚類(lèi)作為新的訓(xùn)練集，最后對(duì)測(cè)試集進(jìn)行Entropy-K