統(tǒng)計(jì)學(xué)習(xí)中回歸與正則化譜聚類算法的研究.pdf

1、在本文中,我們主要研究了統(tǒng)計(jì)學(xué)習(xí)中的回歸和譜聚類算法。主要貢獻(xiàn)可分為以下三個(gè)部分。
　　 首先,研究回歸問(wèn)題。在樣本無(wú)界的背景下,我們考慮了最小二乘正則化學(xué)習(xí)算法。這部分的工作主要是利用積分算子方法,得到了很好的學(xué)習(xí)算法收斂階。主要結(jié)果依賴兩個(gè)重要假設(shè),一個(gè)是關(guān)于無(wú)界輸出樣本的矩假設(shè),另一個(gè)是與邊緣分布相關(guān)的函數(shù)空間假設(shè)。在適當(dāng)?shù)臈l件下,所得結(jié)果是與樣本有界情況下是一致的。
　　 其次,我們研究了譜聚類算法。類似的理論研

2、究近幾年已經(jīng)有很多。我們的創(chuàng)新之處在于:我們?cè)谝粋€(gè)依賴樣本的有限維假設(shè)空間內(nèi)考慮,這樣很自然的能夠引入統(tǒng)計(jì)上著名的LASSO思想,即施加正則化項(xiàng)-L1罰。由核函數(shù)張成的樣本依賴假設(shè)空間能夠?yàn)閷W(xué)習(xí)過(guò)程提供很好的靈活性?？墒峭瑫r(shí)也帶來(lái)了技術(shù)處理和理論分析上的困難。主要困難在于假設(shè)空間不僅依賴樣本,而且還有兩個(gè)約束條件,以前所有的處理技巧都不能直接拿來(lái)應(yīng)用。本文從逼近論角度研究,通過(guò)合理的假設(shè)克服了上述困難。這里主要利用的是局部多項(xiàng)式再生公式

3、和構(gòu)造化的處理手段。譜聚類算法的一致性主要取決于以下幾個(gè)條件:輸入空間的結(jié)構(gòu),未知的分布,核函數(shù)以及目標(biāo)函數(shù)的光滑性。
　　 最后.我們以逼近論的角度去研究學(xué)習(xí)理論中的回歸問(wèn)題。根據(jù)一些逼近論中的正定算子,設(shè)計(jì)了一系列非優(yōu)化的學(xué)習(xí)器。這樣的學(xué)習(xí)器是由一般的核函數(shù)經(jīng)過(guò)放縮變換,然后作用于樣本點(diǎn)產(chǎn)生的。他們與經(jīng)典的逼近算子的區(qū)別主要在于:傳統(tǒng)的逼近算子依賴于確定的節(jié)點(diǎn)或節(jié)點(diǎn)滿足很好的形狀,而學(xué)習(xí)器的樣本是隨機(jī)的。在回歸的背景下我們研