數(shù)據(jù)分類算法性能的大規(guī)模實驗對比分析.pdf

1、隨著數(shù)據(jù)分類技術(shù)的不斷發(fā)展，科研人員提出了越來越多的分類算法，但是這些算法各具特點，在理論層面各有優(yōu)勢及不足，因此，選擇哪一種或哪幾種分類算法去解決分類問題的過程往往需要花費大量的時間。實際應(yīng)用中，為了節(jié)約選擇分類算法的時間成本，人們往往會選擇經(jīng)典的、影響力大的，但卻未必是最適合他們的數(shù)據(jù)的分類算法來解決問題，這會導(dǎo)致一些較新的、性能較好的分類算法得不到人們的重視。目前為止，對于分類問題并沒有一個通用的、在任何數(shù)據(jù)上都能取得最佳分類正確

2、率的算法。因此，研究如何高效的選擇最佳的分類方法已經(jīng)成為研究人員、特別是領(lǐng)域?qū)＜议L期以來追求的目標(biāo)。本文對數(shù)據(jù)分類算法性能進(jìn)行大規(guī)模實驗對比分析，旨在為研究人員和實際開發(fā)者在分類算法的選擇問題上提供一定的實踐指導(dǎo)。
　　本文對數(shù)據(jù)分類算法性能的大規(guī)模實驗對比分析分為兩個部分，分別是多類分類算法性能的大規(guī)模實驗對比分析，和對多元分類問題中的二元分類器組合的研究。在多類分類算法性能的大規(guī)模實驗中，通過對3個較新的和8個數(shù)據(jù)挖掘領(lǐng)域最具

3、影響力的分類算法在81個公開數(shù)據(jù)集上的分類性能進(jìn)行對比分析，得出了一些具有參考價值的結(jié)論。這些結(jié)論包括，分類正確率最好的5個算法分別是GBDT（Gradient Boosting Decision Tree）、Random Forests、ELM（Extreme Learning Machine）、LibSVM和C4.5算法，其中，除了C4.5算法是最早的分類算法之一，前3個分類算法均是近些年被提出的。另外，SRC（Sparse Rep

4、resentation Classification）算法的分類正確率表現(xiàn)稍遜色于C4.5算法，但算法效率偏低是 SRC的一個明顯的劣勢。本文通過結(jié)合數(shù)據(jù)集類數(shù)和屬性個數(shù)的分布情況，進(jìn)一步詳細(xì)對比分析了分類正確率最好的5個算法，為人們快速地選擇出最適合他們的數(shù)據(jù)的分類算法提供了一定的參考。
　　在多元分類問題中的二元分類器組合方法的研究中，本文對3類二元分類器組合方式（多元分類問題分解策略）在31個公開數(shù)據(jù)集上進(jìn)行了大規(guī)模實驗對比

5、分析。其中，對于OVA（One-vs-All）分解策略和OVO（One-vs-One）分解策略，使用了9個不同的基分類器（Base Classifier），分別測試了3種OVA聚合規(guī)則（Aggregation Rule）和8種OVO聚合規(guī)則。通過對OVA和OVO分解策略的實驗對比分析，發(fā)現(xiàn)在任意的基分類器下，使用OVA策略下取得的最佳正確率的數(shù)據(jù)集的比例要多于使用OVO策略；對于不同的OVA聚合規(guī)則和OVO聚合規(guī)則而言，使用不同的基分類

6、器會對不同的OVA和OVO聚合規(guī)則的性能產(chǎn)生一定的影響，并不是在所有的基分類器上使用OVA和OVO分解策略都能提高數(shù)據(jù)的分類正確率。通過在10個不同的基分類器下，對 ECOC（Error-Correcting Output Codes）中的3種編碼方法和6種解碼方法性能的大規(guī)模實驗對比分析，發(fā)現(xiàn)當(dāng)基分類器不同時，編碼方法和解碼方式的不同組合的分類正確率表現(xiàn)也不盡相同，在編碼和解碼方法選擇恰當(dāng)?shù)那闆r下，使用ECOC框架可以有效地提高數(shù)據(jù)的