基于核的正則化學(xué)習(xí)算法.pdf

1、學(xué)習(xí)理論是機(jī)器學(xué)習(xí)算法的數(shù)學(xué)基礎(chǔ)。它在許多科學(xué)技術(shù)領(lǐng)域中都有著重要的應(yīng)用。在這篇論文中，我們主要考慮基于核的正則化學(xué)習(xí)算法。像支持向量機(jī)這樣采用凸損失函數(shù)和再生核希爾伯特空間的Tikhonov正則化方法已在文獻(xiàn)中有較多的研究；而本文中我們將引入一些非標(biāo)準(zhǔn)的框架，并對新框架下的算法作深入的分析。 首先，我們將討論帶有e1正則項(xiàng)的回歸算法，這一算法的假設(shè)空間是依賴于數(shù)據(jù)樣本的，并且可以使用非對稱的核函數(shù)，樣本相關(guān)的假設(shè)空間將為誤差分

2、析帶來一項(xiàng)額外的假設(shè)誤差，這一點(diǎn)與通常情況下樣本無關(guān)的假設(shè)空間有本質(zhì)的區(qū)別．在對正則化誤差、樣本誤差和假設(shè)誤差分別進(jìn)行估計之后，我們得到了誤差的完整估計，這一誤差與核函數(shù)的性質(zhì)、輸入空間、邊緣分布密度、以及回歸問題的回歸函數(shù)有關(guān)．在選定合適的正則化參數(shù)之后，我們獲得了學(xué)習(xí)算法的學(xué)習(xí)率，在核函數(shù)為歐氏空間上的高階光滑函數(shù)時，e1正則化算法的學(xué)習(xí)率還可以進(jìn)一步改進(jìn)。 其次，我們分析了從非一致概率測度中抽樣的二分類問題．這里的主要目標(biāo)