惰性學(xué)習(xí)中實例選擇研究與應(yīng)用.pdf

1、惰性學(xué)習(xí)不同于傳統(tǒng)的急性學(xué)習(xí)，它具有訓(xùn)練代價少、假說空間豐富、漸進(jìn)學(xué)習(xí)能力強(qiáng)、能進(jìn)行增量學(xué)習(xí)等優(yōu)點，因而被廣泛應(yīng)用于數(shù)據(jù)挖掘和網(wǎng)絡(luò)信息處理等領(lǐng)域。然而由于惰性學(xué)習(xí)在分類查詢實例時，需要計算查詢實例與所有存儲實例的距離，因而存在查詢代價大的缺點。為了解決這個問題，在惰性學(xué)習(xí)誕生后不久，就出現(xiàn)了第一個實例選擇算法，直至今天仍不斷有新的實例選擇算法出現(xiàn)?？梢妼嵗x擇算法是提高惰性學(xué)習(xí)性能的重要方法，這同時也反映出現(xiàn)有實例選擇算法仍有不足。為此

2、，本文展開了如下研究。
　　首先，進(jìn)行了實例的特定鄰域的分析。本文歸納和總結(jié)了一類經(jīng)典的實例選擇算法的共同點：它們都使用一種由實例的最近異類實例限定的特定鄰域，并且顯式或隱式地用到由這個特定鄰域得到的兩個同類實例集?？梢娺@個特定鄰域和這兩個同類實例集在實例選擇中有著重要作用。然而這些算法都忽視了限定鄰域的最近異類實例在實例選擇中的重要作用。本文由此提出了兩個新的集合：最近異類實例集和異類實例覆蓋集。然后分析了這兩個集合在實例選擇的

3、作用，由此設(shè)計了一種邊界實例選擇算法（BIS）。最后在二維模擬數(shù)據(jù)集和UCI數(shù)據(jù)集上進(jìn)行了實驗，實驗結(jié)果表明，BIS算法能較大量地約簡實例存儲量，并在很多數(shù)據(jù)集上取得較好的分類精度，但是在部分?jǐn)?shù)據(jù)集上得到的選擇集的分類精度不夠理想。這也促使本文從更深層次——實例的分類性能上分析實例選擇問題。
　　其次，進(jìn)行了實例分類性能評價函數(shù)的研究。由于經(jīng)典的算法中沒有考慮實例覆蓋交疊的情況，對實例的分類性能的評價不夠精確，因此本文分析和使用了

4、更精確的相對同類實例覆蓋來評價實例在分類同類實例的潛在貢獻(xiàn)。同時，由于實例的最近異類實例集和異類實例覆蓋集也存在交疊的情況，因此本文分析和定義了相對異類實例覆蓋來精確地評價實例在維護(hù)分類邊界方面的貢獻(xiàn)。然后，同時從同類實例的角度和異類實例的角度綜合考慮，定義了更精確和全面的實例分類性能評價函數(shù)，以此作為設(shè)計實例選擇算法的基礎(chǔ)。
　　再次，進(jìn)行了實例選擇算法的設(shè)計。針對直接使用實例分類性能函數(shù)進(jìn)行實例選擇時，需要優(yōu)化分類性能閾值選擇

5、的問題，本文設(shè)計了一種一致子集的實例選擇方式，避開了這個問題。由此設(shè)計了基于實例分類性能的一致子集實例選擇算法（IPECSS）。然后，根據(jù)IPECSS算法的特點，通過實驗系統(tǒng)地分析了IPECSS算法的性能，并在二維模擬數(shù)據(jù)集和UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中的32個數(shù)據(jù)集上與經(jīng)典的實例選擇算法進(jìn)行了實驗比較。實驗結(jié)果表明，IPECSS算法能在大幅度約簡實例集的存儲量的同時，保持著與訓(xùn)練實例集相同或更好分類精度，并較大地提高了分類效率。