基于Kernel的數(shù)據(jù)學習算法研究.pdf

1、學習算法的目標是尋找最小化風險泛函的最優(yōu)函數(shù)及其參數(shù)集合。通常選擇最小化訓練集合上的誤差的經(jīng)驗風險最小化原則。統(tǒng)計學習理論給出了另外一種學習原則：結(jié)構(gòu)化風險最小化原則。支持向量機實現(xiàn)了結(jié)構(gòu)風險最小化原則，而其主要特點就是使用Kernel技巧，本報告從以下幾個方面研究了基于Kernel的學習算法： 首先，我們研究構(gòu)造正定核函數(shù)的方法及基于Kernel的馬氏距離判別分析。給出了用正定核函數(shù)的已有的性質(zhì)構(gòu)造連續(xù)論域上的正定核函數(shù)的方法

2、。提出了一種基于正定核函數(shù)的馬氏距離判別實現(xiàn)方法。通過使用Kernel技巧實現(xiàn)在高維的Kernel特征空間中有效地計算馬氏距離。對二元分類問題而言，組內(nèi)方差相等時，馬氏距離確定的判別軌跡與基于Kernel的費舍爾判別函數(shù)平行，并且通過特征空間中兩類均值之間的中點。大量的模擬實驗顯示了該方法的有效性。 其次，提出一種新的支持向量機的更新算法并討論其性質(zhì)，給出了相應的實驗結(jié)果。該過程是使用標準的支持向量算法得到初始的概念，然后利用文

3、中提出的概念更新方法，即求解一個類似標準支持向量機算法的凸二次規(guī)劃問題。更新模型具有與標準支持向量機類似的數(shù)學形式，能夠得到解的稀疏表示；無需額外的計算就可以返回上一步；還能用于估計表達問題所需的樣本的數(shù)量。 然后，我們提出了基于極小極大概率機的多類別分類算法。我們利用最小最大概率機的概率信息和樣本間隔信息構(gòu)造各個分類器在結(jié)果合成階段的權(quán)重，克服了以往絕大多數(shù)算法在合成階段僅僅依靠投票數(shù)量來進行決策和分類器權(quán)重均等的不足。擴展了