核方法模型選擇與模型組合的譜方法.pdf

1、核方法是機(jī)器學(xué)習(xí)的重要方法。模型選擇與模型組合問題是核方法理論研究和實(shí)際應(yīng)用的關(guān)鍵問題。當(dāng)前，核方法模型選擇準(zhǔn)則大多基于模型復(fù)雜性，但模型復(fù)雜性難以表示與度量；核方法模型組合方法一般應(yīng)用全集組合策略，泛化界沒有達(dá)到理論最優(yōu)值；核方法模型組合的優(yōu)化算法主要采用半定規(guī)劃法，計(jì)算效率較低。
　　 針對(duì)上述問題，本文基于矩陣譜理論，提出了核方法模型選擇與組合的核矩陣譜分析方法。研究了核矩陣的選擇準(zhǔn)則、組合方法與優(yōu)化算法，并通過實(shí)驗(yàn)分析，

2、表明了所提出方法的合理性和有效性。主要研究工作包括：
　　 1.在核方法模型選擇準(zhǔn)則方面，針對(duì)現(xiàn)有模型復(fù)雜性難以表示與度量問題，提出了核矩陣選擇的一階準(zhǔn)則與二階準(zhǔn)則。分析了核矩陣泛化界與顯著特征值數(shù)、位二特征值的關(guān)系，由此提出了核矩陣選擇的一階準(zhǔn)則；證明了近似最優(yōu)集中核矩陣凸組合的泛化界，由此提出了核矩陣選擇的二階準(zhǔn)則。將核方法模型選擇歸約為核矩陣譜性質(zhì)的計(jì)算與分析，避免了直接表示與度量核模型復(fù)雜性。理論分析了AIC、MDL等模

3、型選擇準(zhǔn)則的譜依賴性，實(shí)驗(yàn)驗(yàn)證了AIC、MDL等準(zhǔn)則與一、二階準(zhǔn)則的一致性。
　　 2.在核方法模型組合方法方面，針對(duì)現(xiàn)有全集組合法泛化界O(1/√n)沒有達(dá)到理論最優(yōu)值問題，提出了核矩陣凸組合方法COSK。COSK采納核矩陣的一階準(zhǔn)則與二階準(zhǔn)則，對(duì)核矩陣集進(jìn)行兩次篩選，逐階生成核矩陣備選集與近似最優(yōu)集，并應(yīng)用近似最優(yōu)集進(jìn)行組合，可使核矩陣凸組合的泛化界達(dá)到理論最優(yōu)值D(1/n)。在標(biāo)準(zhǔn)數(shù)據(jù)集上對(duì)比了全集組合方法與COSK的泛化