多核學習算法的誤差分析.pdf

1、常用的單核學習算法不僅無法自動實現(xiàn)最優(yōu)核的選取，而且只能處理同一種類型數(shù)據(jù)輸入的學習問題。然而，多核學習算法能夠自動實現(xiàn)核選擇的過程，對于不同的學習問題，都可以從給定核函數(shù)集里自動選擇出對應的最優(yōu)核進行學習，從而能提高學習算法的有效性和推廣能力。并且多核學習可以用不同的核函數(shù)來分別度量各種類型數(shù)據(jù)的相似性，進而可以處理來自于不同數(shù)據(jù)源的樣本學習問題。因此，近年來多核學習在理論和實踐上都引起了人們極大的興趣。
　　 本文對多核學習

2、問題的研究意義、學習模型和相依數(shù)據(jù)學習的相關(guān)背景知識和已有的理論結(jié)果進行了較為系統(tǒng)的論述；介紹了樣本獨立同分布時估計樣本誤差的幾種常用方法。但在實際應用中，數(shù)據(jù)獨立的假設(shè)是非常強或是不滿足的，尤其很多數(shù)據(jù)并非是獨立的觀測值。所以，研究非獨立（或相依）數(shù)據(jù)下的學習算法及學習機器的推廣能力是非常有必要的。它不但可以豐富、完善已有的理論，而且可以為解決實際問題提供更加堅實的理論基礎(chǔ)和合理的方法。數(shù)據(jù)從獨立到非獨立一個很自然的推廣就是平穩(wěn)混合序

3、列，因為它具有較好的性質(zhì)和應用前景：B.Yu證明了混合序列被可測函數(shù)作用后，仍具有混合序列的性質(zhì)；H.Kesten和G.L.Obrien給出了如何構(gòu)造混合序列的例子，這使算法實現(xiàn)變成了可能。關(guān)于理論分析學習機器的推廣能力，VC維、覆蓋數(shù)和基于算法穩(wěn)定性分析等方法能較容易的平行推廣到混合序列樣本情形。然而，基于Rademacher復雜度的方法中，McDiarmid不等式和Rademacher對稱化技巧這兩個關(guān)鍵步驟只對樣本獨立同分布時適用

4、，故難以推廣到樣本非獨立的情形。本文借用樣本分塊技巧和Rademacher chaos復雜度克服了上述困難，推導出了β-混合序列樣本下多核正則化回歸算法的推廣誤差界。
　　 第一章介紹多核學習問題的提出、研究意義和學習模型。
　　 第二章對相依數(shù)據(jù)學習的相關(guān)背景知識和已有的理論結(jié)果進行了較為系統(tǒng)的論述，介紹了樣本分塊技巧和關(guān)于β-混合序列的重要不等式。
　　 第三章討論樣本獨立同分布時，估計推廣誤差界的一般方法。

5、其中，樣本誤差的估計轉(zhuǎn)化到：界定給定函數(shù)集里任意一個函數(shù)關(guān)于樣本的期望和經(jīng)驗均值間的偏差，這涉及到度量函數(shù)集容量的問題。本章給出了三種常用的度量方法：VC維、覆蓋數(shù)和Rademacher復雜度，及相應的誤差界。最后引入積分算子理論介紹了估計最小二乘回歸問題的正則化誤差的一般過程。
　　 第四章研究β-混合序列樣本下多核正則化回歸算法的誤差分析?；诮?jīng)驗風險最小化正則化算法的Rademacher-復雜度界的思想，并借用樣本分塊技巧