高斯核參數(shù)選擇與正交多項式核構(gòu)造.pdf

1、數(shù)據(jù)獲取和存儲能力的不斷增強、計算機運算能力的飛速發(fā)展以及人們借助計算機挖掘數(shù)據(jù)中隱藏模式或規(guī)律的接連成功，使得模式識別成為一個日益活躍的研究領(lǐng)域.基于核的學(xué)習(xí)方法，簡稱核方法，具有嚴(yán)謹?shù)臄?shù)學(xué)基礎(chǔ)、典型的模塊結(jié)構(gòu)和高效的非線性運算能力，能有效規(guī)避“維數(shù)災(zāi)難”，“局部極小值”及“過擬合”等問題，是處理中小規(guī)模數(shù)據(jù)的重要模式識別方法.核函數(shù)及其參數(shù)的選擇是核方法研究中難以回避的困難問題，直接決定著核方法的最終性能.因此如何合理快速地進行核選

2、擇以達到核方法的預(yù)期效果是兼具理論價值和實踐意義的研究課題.
　　在眾多的核函數(shù)中，高斯核函數(shù)因其性能表現(xiàn)穩(wěn)定優(yōu)越成為核參數(shù)優(yōu)化分析中的重要研究對象，正交多項式核函數(shù)則憑借其核參數(shù)易于優(yōu)化的特點成為核函數(shù)研究的一個新熱點.對高斯核函數(shù)而言，時間復(fù)雜度高、算法實現(xiàn)困難以及樣本數(shù)據(jù)需服從正態(tài)分布假設(shè)等是影響其參數(shù)優(yōu)化方法普適性的主要問題，如何克服這些問題是高斯核參數(shù)優(yōu)化研究的重要方向.對正交多項式核函數(shù)而言，如何在眾多的正交多項式核函

3、數(shù)中選擇合適的核函數(shù)是一個亟待解決的問題.
　　本文立足核函數(shù)及其參數(shù)的選擇問題，圍繞高斯核函數(shù)與正交多項式核函數(shù)這兩類核函數(shù)，旨在提出針對高斯核函數(shù)的核參數(shù)選擇準(zhǔn)則和針對正交多項式核函數(shù)的構(gòu)造及選擇指導(dǎo).本文的主要研究工作包括:
　　(1)提出優(yōu)化高斯核參數(shù)的中心核極化準(zhǔn)則.為增強矩陣匹配值與核學(xué)習(xí)器性能表現(xiàn)之間的相關(guān)性，通過最大化增加矩陣中心化處理的核矩陣與標(biāo)簽矩陣之間的匹配值提出中心核極化準(zhǔn)則，有效減少了數(shù)據(jù)原點坐標(biāo)及

4、非平衡數(shù)據(jù)對原有核極化準(zhǔn)則的影響.證明了所提準(zhǔn)則對應(yīng)目標(biāo)函數(shù)近似最優(yōu)解的存在唯一性，奠定了快速鎖定核參數(shù)的理論基礎(chǔ)，指出中心核極化準(zhǔn)則等價于特征空間中異類樣本均值間距最大化準(zhǔn)則，為該準(zhǔn)則提供了重要理論支撐.文中通過3種核方法在23個數(shù)據(jù)集上驗證了中心核極化準(zhǔn)則及其多分類擴展形式的有效性.
　　(2)提出優(yōu)化高斯核參數(shù)的廣義核極化準(zhǔn)則.為更準(zhǔn)確地刻畫特征空間中異類樣本間的分離度，通過增加類內(nèi)局部結(jié)構(gòu)考量提出廣義核極化準(zhǔn)則來解決分類問

5、題中的高斯核參數(shù)優(yōu)化，以獲得合適的核參數(shù)來提高識別性能.該準(zhǔn)則可視為核極化準(zhǔn)則、中心核極化準(zhǔn)則以及局部核極化準(zhǔn)則的泛化形式.給出廣義核極化準(zhǔn)則對應(yīng)目標(biāo)函數(shù)近似最優(yōu)解的存在唯一性證明，并指明了局部核極化準(zhǔn)則對應(yīng)目標(biāo)函數(shù)近似最優(yōu)解的存在唯一性，充實了高斯核選擇準(zhǔn)則的相關(guān)理論研究，并實現(xiàn)了對應(yīng)核參數(shù)的快速尋優(yōu).文中通過支持向量機在19個數(shù)據(jù)集上驗證了廣義核極化準(zhǔn)則及其多分類擴展形式的有效性.
　　(3)在分析比較高斯修正的正交多項式核函

6、數(shù)的基礎(chǔ)上構(gòu)造出三角修正的正交多項式核函數(shù)，針對近來涌現(xiàn)的高斯修正的正交多項式核函數(shù)，分析其性質(zhì)并基于分類實驗結(jié)果對未歸一化數(shù)據(jù)提出相應(yīng)的核函數(shù)選擇及其核參數(shù)取值的建議.進一步為回避此類核函數(shù)高斯修正項中核參數(shù)選擇的困難，構(gòu)造出三角修正的正交多項式核函數(shù)，豐富了正交多項式核函數(shù)種類.新構(gòu)造的核函數(shù)不僅具有核參數(shù)易于優(yōu)化的特點，而且融合了三角核函數(shù)的尺度不變性，實驗結(jié)果驗證了此類核函數(shù)具有良好的分類性能.
　　(4)給出正交多項式核

7、函數(shù)的構(gòu)造及選擇指導(dǎo).針對基于不同基礎(chǔ)正交多項式函數(shù)、不同修正項及不同構(gòu)造方法提出的正交多項式核函數(shù)，深入分析其性質(zhì)及構(gòu)造特點，明晰這些類核函數(shù)間的異同點.在32個歸一化標(biāo)準(zhǔn)數(shù)據(jù)集上驗證這些類正交多項式核函數(shù)的分類性能與回歸性能，利用統(tǒng)計分析手段客觀評價其泛化能力優(yōu)劣，并通過與4類常見核函數(shù)的性能比較來說明正交多項式核函數(shù)的通用性.所得結(jié)論可為構(gòu)造及選擇正交多項式核函數(shù)提供理論依據(jù)和技術(shù)支持.
　　核選擇是核方法研究中的根本問題.