基于小框架核的支持向量回歸理論及在光譜反射率重建中的應(yīng)用.pdf

1、支持向量回歸(SVR)是一種基于核(Kernel)策略的機器學(xué)習(xí)算法，主要研究如何從有限觀測樣本出發(fā)找出未知函數(shù)(規(guī)律)。它最早是由V．N．Vapnik及其合作者提出，并以統(tǒng)計學(xué)習(xí)理論為基礎(chǔ)，其主要特點是利用結(jié)構(gòu)風險最小化(SRM)準則來解決回歸中常見的“過擬合”問題。統(tǒng)計學(xué)習(xí)理論的基本思想是對解空間的容量(Capacity)進行控制，根據(jù)有限的樣本所提供的信息在模型復(fù)雜度和樣本擬合度之間尋求最佳平衡，以獲得健壯(Robust)并有較好

2、泛化能力的解。支持向量回歸的另一個顯著特點是它的解具有稀疏性，這種特性一方面可以減少例外點對解健壯性的影響，另一方面使得支持向量回歸適宜用于處理大規(guī)模數(shù)據(jù)。目前，支持向量回歸已經(jīng)成功地應(yīng)用于多個領(lǐng)域，如時間序列數(shù)據(jù)預(yù)測、生物信息學(xué)和圖像處理等。 近年來，支持向量回歸無論在理論研究還是實際應(yīng)用中都取得了較大發(fā)展。其中一個非常重要的研究方向是核函數(shù)的選擇與構(gòu)造。在實際應(yīng)用中，支持向量回歸的性能很大程度上依賴于核函數(shù)的選擇。本文提出了

3、兩類基于小框架理論的核函數(shù)的構(gòu)造方法，其目的是將小框架冗余表示的優(yōu)越性與支持向量回歸較強的學(xué)習(xí)能力結(jié)合起來。此外，本文還提出了一種基于支持向量回歸和組合模型的光譜反射率重建方法。本文的主要研究成果包括以下幾個方面： (1)提出了一種基于小框架理論的支持向量回歸核函數(shù)的構(gòu)造方法。小框架是一種利用多分辨分析(MRA)構(gòu)造的緊框架，它具有小波和框架的雙重優(yōu)點。此外，小框架的構(gòu)造方法以及逼近性質(zhì)已經(jīng)得到了深入的研究。小框架核繼承了小框架

4、多尺度表示以及冗余表示的雙重優(yōu)點，實驗表明，使用此類核函數(shù)可以減弱樣本噪音對解的影響。 (2)提出了一種加權(quán)多尺度小框架核函數(shù)的構(gòu)造方法。對于回歸問題來說，逼近一個同時具有劇烈變動部分和平緩變動部分的不規(guī)則函數(shù)是一個難題。支持向量回歸利用常用的高斯核函數(shù)不能有效的處理這類問題，因為高斯核不能做到同時逼近劇烈變動部分和平緩變動部分。使用加權(quán)多尺度小框架核可以通過調(diào)整權(quán)值控制逼近函數(shù)中不同的頻率成份，實驗表明，當處理從有較大噪音的樣

5、本中估計不規(guī)則函數(shù)時，加權(quán)多尺度小框架核明顯優(yōu)于目前常用的一些核函數(shù)。 (3)提出了一種基于支持向量回歸和組合模型的光譜反射率重建方法。光譜反射率重建是光學(xué)研究的一個重要方向，其目的是從各種成像設(shè)備所獲取的與設(shè)備相關(guān)的RGB三色值重建出物體本身固有的與設(shè)備和光照都無關(guān)的光譜反射率?；貧w方法已經(jīng)在這一領(lǐng)域取得了廣泛應(yīng)用，如基于多項式模型的正則化最小二乘方法、基于核的正則化最小二乘方法等。本文提出了一種新的光譜反射率重建方法，這種方