非正定核機器回歸方法的改進研究.pdf

1、支持向量機(Support Vector Machine，SVM)是實現(xiàn)統(tǒng)計學(xué)習(xí)理論的通用學(xué)習(xí)方法，其優(yōu)異的泛化性能使得支持向量機在模式識別、回歸分析和預(yù)測、密度估計等領(lǐng)域都得到了實際應(yīng)用。當(dāng)SVM用于回歸分析和預(yù)測時，通常稱其為支持向量回歸機(SupportVector Regression，SVR)。在回歸分析中，通常進行機器學(xué)習(xí)方法的研究都是基于核函數(shù)為半正定的，即核函數(shù)必需滿足Mercer條件。但是，在某些特定的領(lǐng)域中，所使用的

2、核函數(shù)不能確保為半正定核函數(shù)，如神經(jīng)網(wǎng)絡(luò)中的Sigmoid核。并且，在實際應(yīng)用中，除了已知的一些核函數(shù)外，往往難以檢驗核函數(shù)的正定性。本論文的主要目的就是研究用于解決基于非正定核的機器回歸方法。
　　 首先，本文對非正定核機器回歸方法(簡稱NPKMR)研究的基礎(chǔ)上，提出了一種對總體回歸誤差約束的基礎(chǔ)上進一步對每個樣本點的回歸誤差進行約束的NPKMR改進方法(簡稱INPKMR)，從而提高了非正定核機器回歸方法的回歸精度和泛化性能。

3、
　　 其次，本文提出一種求解非正定核支持向量回歸機SVR的序列最小最優(yōu)化算法(Sequential Minimal Optimization，SMO)，通過運用SMO算法的分解思想和支持向量回歸機SVR模型的約束條件，將SVR模型的求解問題轉(zhuǎn)化成一系列的給定區(qū)間內(nèi)拋物線的最小值求解問題，從而解決非正定核機器回歸的問題。
　　 最后，將INPMR方法以及求解非正定核SVR的SMO算法用于Boston Housing和Ab