基于核主成分分析的特征變換研究.pdf

1、作為核方法在機器學習領域得到普及的典型代表，基于核主成分分析的特征變換在眾多領域得到了廣泛的應用。由于其出色的性能表現(xiàn)，核主成分分析自誕生以來受到了越來越多的關注，成為機器學習和模式識別領域的研究熱點之一。隨著信息技術的發(fā)展，機器學習已經成為推動信息技術革命的加速器，這使得基于核主成分分析的特征變換在未來會得到更廣泛的應用。但是基于核主成分分析的特征變換在理論和應用上還有許多問題尚待解決，如特征變換的魯棒性、有效性、原像求解問題等等。因

2、此對其研究探索具有重要的意義。
　　本文根據(jù)目前基于核主成分分析的特征變換存在的主要問題，開展了一系列研究工作，提出了一些基于核主成分分析的特征變換及其優(yōu)化方法，主要包括:
　　1.基于單一子空間的核主成分分析特征變換方法
　　以心拍分類為應用背景，研究了基于單一子空間的核主成分分析特征變換方法。在此方法上結合離散小波變換、神經網絡等技術給出了一種完整的自動心拍分類系統(tǒng)。該系統(tǒng)由信號預處理、特征變換和模式識別三部分部分

3、構成，核主成分分析的特征變換作為其中關鍵一環(huán)，給出了心拍模式的更完整的非線性表示。實驗表明，本文提出的心拍分類系統(tǒng)在類別導向和個體導向兩種評估方法下都取得了很好的分類結果，性能優(yōu)于當下主流的心拍分類系統(tǒng)。
　　2.基于多子空間的核主成分分析特征變換方法
　　針對基于單一子空間的核主成分分析特征變換方法無法有效保留類間差異信息的缺陷，本文以人臉識別為應用背景，通過在計算核特征臉時引入類別信息，提出了一種基于多子空間的核主成分分

4、析特征變換方法，并據(jù)此提出了一套人臉識別方法。根據(jù)核主成分分析及其變種核熵成分分析，本文實現(xiàn)了該方法的兩種具體實現(xiàn)算法，分類器采用最小重建誤差規(guī)則。實驗結果表明了基于多子空間的核主成分分析特征變換的人臉識別方法相比傳統(tǒng)的基于單一空間的方法具有很明顯的優(yōu)勢，另外，在核函數(shù)的選擇上，多項式核函數(shù)在實驗中的分類效果要好于徑向基核函數(shù)。
　　3.特征空間到輸入空間的特征變換方法
　　特征空間到輸入空間的特征變換方法即所謂的原像問題，

5、這是核方法中的一個重要問題。然而，這是一個不適定的問題，該問題的解通常不唯一甚至不存在。本文提出了一種創(chuàng)新的原像求解算法。在該算法中，通過一種新的保留局部線性的構架，能夠建立針對訓練樣本的逆映射過程。在該構架中，通過鄰域子空間變換隱式地引入了局部非線性變換，使得特征空間和輸入空間之間的局部線性得以保留。通過將該逆映射擴展到測試樣本，能夠得到原像問題的解。本文提出的算法是非迭代的，并且適用于任何核函數(shù)。基于KPCA圖像降噪的實驗結果表明該

6、算法優(yōu)于目前主流的原像求解算法。
　　4.基于核主成分分析的魯棒特征變換方法
　　核主成分分析對于異常點非常敏感，使得特征變換缺乏魯棒性。本文提出了一種魯棒的核主成分分析算法。在經典核主成分分析中特征向量和中心點都能夠表示為特征空間中訓練樣本的線性組合，在這一觀察的基礎上，借用魯棒性統(tǒng)計的思想，本文給出了一種魯棒的損失函數(shù)表達式。該表達式的解能夠通過迭代的方式得到。本文提出的算法能夠對樣本的中心點和特征向量同時作出魯棒性估計