14991.基于矩陣分析的核方法近似模型選擇

1、基基基于于于矩矩矩陣陣陣分分分析析析的的的核核核方方方法法法近近近似似似模模模型型型選選選擇擇擇ApproximateModelionfKernelMethodsviaMatrixAnalysis一級學科：計算機科學與技術學科專業(yè)：計算機應用技術作者姓名：丁立中指導教師：廖士中教授天津大學計算機科學與技術學院二零一五年十二月摘要核方法模型選擇是核方法理論研究和實際應用的重要問題。已有模型選擇準則通常難以計算或計算復雜度高。核矩陣包含核函

2、數(shù)在所有樣本點上的全部信息。因此，本文基于矩陣分析研究核方法近似模型選擇的有效途徑。具體內容如下：1.發(fā)展近似模型選擇理論，提出近似一致性的概念，研究近似模型選擇準則向精確準則的收斂條件和收斂速度。以Nystrom方法和多層循環(huán)矩陣近似為例，分析其在誤差最小化準則下的近似一致性。2.提出基于多層循環(huán)矩陣的近似模型選擇準則。首先，基于RKHS球覆蓋數(shù)泛化界定義模型選擇準則，利用多層循環(huán)矩陣近似核矩陣提出具有對數(shù)線性復雜度的近似準則并證明近

3、似一致性。然后，利用核函數(shù)和樣本構造一類新的多層循環(huán)矩陣，基于新多層循環(huán)矩陣的特征系統(tǒng)提出近似模型選擇準則，理論證明近似準則與特征空間正負類平均差異準則的近似一致性。3.提出近似的自動核選擇方法，分別針對組合系數(shù)L1正則化和L2正則化，利用多層循環(huán)矩陣組合高效優(yōu)化組合系數(shù)，理論證明基于多層循環(huán)矩陣組合的近似假設與假設空間中最優(yōu)假設的一致性。整體而言，本文基于矩陣分析，發(fā)展了近似模型選擇理論，提出了高效且理論堅實的近似模型選擇準則和方法。