基于正交最小二乘的可調(diào)核函數(shù)多輸出回歸模型.pdf

1、核學習是現(xiàn)在機器學習領(lǐng)域的熱點問題，核方法的思想是利用核代入方式隱式地定義非線性映射空間，然后使用核函數(shù)代替高維特征空間中向量的內(nèi)積進行計算。稀疏性和泛化能力是核函數(shù)模型的主要特性，也是評價一個模型優(yōu)劣的重要指標，所以現(xiàn)在人們研究工作的重點是致力于構(gòu)建一個稀疏的核模型?，F(xiàn)在，核函數(shù)模型在生產(chǎn)中的運用日益增多，比如:支持向量機，線性規(guī)劃回歸等。然而，這些傳統(tǒng)的方法都使用尺度固定的模型，也就是說模型中的核函數(shù)使用的參數(shù)固定不變。當要擬合隨時

2、間動態(tài)變化的包含噪聲的樣本數(shù)據(jù)時，傳統(tǒng)的核函數(shù)模型就不得不使用更多的擬合項來迎合這種變化，這樣帶來的結(jié)果無疑是破壞了表示的稀疏性，從而降低了模型的泛化能力。
　　為了解決上述問題，本文提出一種構(gòu)建稀疏模型的新思路，那就是模型中核函數(shù)的尺度參數(shù)采用可調(diào)的方式。由于使用新方法構(gòu)建的模型對于每一個回歸項來說都可以根據(jù)變化自動地調(diào)節(jié)尺度，因此新模型在實際的應(yīng)用中會表現(xiàn)得更加靈活。多輸出模型具有更加廣泛的應(yīng)用領(lǐng)域和實際的應(yīng)用背景，為此本文將

3、新模型應(yīng)用于多輸出問題。新模型采用正交最小二乘以貪婪的方式一步步構(gòu)建回歸模型，求解每個回歸項的核函數(shù)參數(shù)時，利用群搜索優(yōu)化最小化殘差目標函數(shù)。正交最小二乘法作為構(gòu)建稀疏網(wǎng)絡(luò)的一種快速的方法，常用來非線性系統(tǒng)建模。因為該算法不僅簡單有效，而且構(gòu)建的模型有較低的復雜度和較強的泛化性能，所以在機器學習和智能控制領(lǐng)域備受青睞。群搜索優(yōu)化基于動物的搜索行為和群體生活理論，如鳥、魚等的覓食行為，是以PS模型為基礎(chǔ)的群體隨機搜索優(yōu)化算法。在該算法中，