高斯核參數(shù)選擇與正交多項式核構造.pdf

1、數(shù)據(jù)獲取和存儲能力的不斷增強、計算機運算能力的飛速發(fā)展以及人們借助計算機挖掘數(shù)據(jù)中隱藏模式或規(guī)律的接連成功，使得模式識別成為一個日益活躍的研究領域.基于核的學習方法，簡稱核方法，具有嚴謹?shù)臄?shù)學基礎、典型的模塊結構和高效的非線性運算能力，能有效規(guī)避“維數(shù)災難”，“局部極小值”及“過擬合”等問題，是處理中小規(guī)模數(shù)據(jù)的重要模式識別方法.核函數(shù)及其參數(shù)的選擇是核方法研究中難以回避的困難問題，直接決定著核方法的最終性能.因此如何合理快速地進行核選

2、擇以達到核方法的預期效果是兼具理論價值和實踐意義的研究課題.
　　在眾多的核函數(shù)中，高斯核函數(shù)因其性能表現(xiàn)穩(wěn)定優(yōu)越成為核參數(shù)優(yōu)化分析中的重要研究對象，正交多項式核函數(shù)則憑借其核參數(shù)易于優(yōu)化的特點成為核函數(shù)研究的一個新熱點.對高斯核函數(shù)而言，時間復雜度高、算法實現(xiàn)困難以及樣本數(shù)據(jù)需服從正態(tài)分布假設等是影響其參數(shù)優(yōu)化方法普適性的主要問題，如何克服這些問題是高斯核參數(shù)優(yōu)化研究的重要方向.對正交多項式核函數(shù)而言，如何在眾多的正交多項式核函

3、數(shù)中選擇合適的核函數(shù)是一個亟待解決的問題.
　　本文立足核函數(shù)及其參數(shù)的選擇問題，圍繞高斯核函數(shù)與正交多項式核函數(shù)這兩類核函數(shù)，旨在提出針對高斯核函數(shù)的核參數(shù)選擇準則和針對正交多項式核函數(shù)的構造及選擇指導.本文的主要研究工作包括:
　　(1)提出優(yōu)化高斯核參數(shù)的中心核極化準則.為增強矩陣匹配值與核學習器性能表現(xiàn)之間的相關性，通過最大化增加矩陣中心化處理的核矩陣與標簽矩陣之間的匹配值提出中心核極化準則，有效減少了數(shù)據(jù)原點坐標及

4、非平衡數(shù)據(jù)對原有核極化準則的影響.證明了所提準則對應目標函數(shù)近似最優(yōu)解的存在唯一性，奠定了快速鎖定核參數(shù)的理論基礎，指出中心核極化準則等價于特征空間中異類樣本均值間距最大化準則，為該準則提供了重要理論支撐.文中通過3種核方法在23個數(shù)據(jù)集上驗證了中心核極化準則及其多分類擴展形式的有效性.
　　(2)提出優(yōu)化高斯核參數(shù)的廣義核極化準則.為更準確地刻畫特征空間中異類樣本間的分離度，通過增加類內局部結構考量提出廣義核極化準則來解決分類問

5、題中的高斯核參數(shù)優(yōu)化，以獲得合適的核參數(shù)來提高識別性能.該準則可視為核極化準則、中心核極化準則以及局部核極化準則的泛化形式.給出廣義核極化準則對應目標函數(shù)近似最優(yōu)解的存在唯一性證明，并指明了局部核極化準則對應目標函數(shù)近似最優(yōu)解的存在唯一性，充實了高斯核選擇準則的相關理論研究，并實現(xiàn)了對應核參數(shù)的快速尋優(yōu).文中通過支持向量機在19個數(shù)據(jù)集上驗證了廣義核極化準則及其多分類擴展形式的有效性.
　　(3)在分析比較高斯修正的正交多項式核函

6、數(shù)的基礎上構造出三角修正的正交多項式核函數(shù)，針對近來涌現(xiàn)的高斯修正的正交多項式核函數(shù)，分析其性質并基于分類實驗結果對未歸一化數(shù)據(jù)提出相應的核函數(shù)選擇及其核參數(shù)取值的建議.進一步為回避此類核函數(shù)高斯修正項中核參數(shù)選擇的困難，構造出三角修正的正交多項式核函數(shù)，豐富了正交多項式核函數(shù)種類.新構造的核函數(shù)不僅具有核參數(shù)易于優(yōu)化的特點，而且融合了三角核函數(shù)的尺度不變性，實驗結果驗證了此類核函數(shù)具有良好的分類性能.
　　(4)給出正交多項式核

7、函數(shù)的構造及選擇指導.針對基于不同基礎正交多項式函數(shù)、不同修正項及不同構造方法提出的正交多項式核函數(shù)，深入分析其性質及構造特點，明晰這些類核函數(shù)間的異同點.在32個歸一化標準數(shù)據(jù)集上驗證這些類正交多項式核函數(shù)的分類性能與回歸性能，利用統(tǒng)計分析手段客觀評價其泛化能力優(yōu)劣，并通過與4類常見核函數(shù)的性能比較來說明正交多項式核函數(shù)的通用性.所得結論可為構造及選擇正交多項式核函數(shù)提供理論依據(jù)和技術支持.
　　核選擇是核方法研究中的根本問題.