基于核主成分分析的特征變換研究.pdf

1、作為核方法在機(jī)器學(xué)習(xí)領(lǐng)域得到普及的典型代表，基于核主成分分析的特征變換在眾多領(lǐng)域得到了廣泛的應(yīng)用。由于其出色的性能表現(xiàn)，核主成分分析自誕生以來(lái)受到了越來(lái)越多的關(guān)注，成為機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一。隨著信息技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)已經(jīng)成為推動(dòng)信息技術(shù)革命的加速器，這使得基于核主成分分析的特征變換在未來(lái)會(huì)得到更廣泛的應(yīng)用。但是基于核主成分分析的特征變換在理論和應(yīng)用上還有許多問(wèn)題尚待解決，如特征變換的魯棒性、有效性、原像求解問(wèn)題等等。因

2、此對(duì)其研究探索具有重要的意義。
　　本文根據(jù)目前基于核主成分分析的特征變換存在的主要問(wèn)題，開(kāi)展了一系列研究工作，提出了一些基于核主成分分析的特征變換及其優(yōu)化方法，主要包括:
　　1.基于單一子空間的核主成分分析特征變換方法
　　以心拍分類(lèi)為應(yīng)用背景，研究了基于單一子空間的核主成分分析特征變換方法。在此方法上結(jié)合離散小波變換、神經(jīng)網(wǎng)絡(luò)等技術(shù)給出了一種完整的自動(dòng)心拍分類(lèi)系統(tǒng)。該系統(tǒng)由信號(hào)預(yù)處理、特征變換和模式識(shí)別三部分部分

3、構(gòu)成，核主成分分析的特征變換作為其中關(guān)鍵一環(huán)，給出了心拍模式的更完整的非線性表示。實(shí)驗(yàn)表明，本文提出的心拍分類(lèi)系統(tǒng)在類(lèi)別導(dǎo)向和個(gè)體導(dǎo)向兩種評(píng)估方法下都取得了很好的分類(lèi)結(jié)果，性能優(yōu)于當(dāng)下主流的心拍分類(lèi)系統(tǒng)。
　　2.基于多子空間的核主成分分析特征變換方法
　　針對(duì)基于單一子空間的核主成分分析特征變換方法無(wú)法有效保留類(lèi)間差異信息的缺陷，本文以人臉識(shí)別為應(yīng)用背景，通過(guò)在計(jì)算核特征臉時(shí)引入類(lèi)別信息，提出了一種基于多子空間的核主成分分

4、析特征變換方法，并據(jù)此提出了一套人臉識(shí)別方法。根據(jù)核主成分分析及其變種核熵成分分析，本文實(shí)現(xiàn)了該方法的兩種具體實(shí)現(xiàn)算法，分類(lèi)器采用最小重建誤差規(guī)則。實(shí)驗(yàn)結(jié)果表明了基于多子空間的核主成分分析特征變換的人臉識(shí)別方法相比傳統(tǒng)的基于單一空間的方法具有很明顯的優(yōu)勢(shì)，另外，在核函數(shù)的選擇上，多項(xiàng)式核函數(shù)在實(shí)驗(yàn)中的分類(lèi)效果要好于徑向基核函數(shù)。
　　3.特征空間到輸入空間的特征變換方法
　　特征空間到輸入空間的特征變換方法即所謂的原像問(wèn)題，

5、這是核方法中的一個(gè)重要問(wèn)題。然而，這是一個(gè)不適定的問(wèn)題，該問(wèn)題的解通常不唯一甚至不存在。本文提出了一種創(chuàng)新的原像求解算法。在該算法中，通過(guò)一種新的保留局部線性的構(gòu)架，能夠建立針對(duì)訓(xùn)練樣本的逆映射過(guò)程。在該構(gòu)架中，通過(guò)鄰域子空間變換隱式地引入了局部非線性變換，使得特征空間和輸入空間之間的局部線性得以保留。通過(guò)將該逆映射擴(kuò)展到測(cè)試樣本，能夠得到原像問(wèn)題的解。本文提出的算法是非迭代的，并且適用于任何核函數(shù)?；贙PCA圖像降噪的實(shí)驗(yàn)結(jié)果表明該

6、算法優(yōu)于目前主流的原像求解算法。
　　4.基于核主成分分析的魯棒特征變換方法
　　核主成分分析對(duì)于異常點(diǎn)非常敏感，使得特征變換缺乏魯棒性。本文提出了一種魯棒的核主成分分析算法。在經(jīng)典核主成分分析中特征向量和中心點(diǎn)都能夠表示為特征空間中訓(xùn)練樣本的線性組合，在這一觀察的基礎(chǔ)上，借用魯棒性統(tǒng)計(jì)的思想，本文給出了一種魯棒的損失函數(shù)表達(dá)式。該表達(dá)式的解能夠通過(guò)迭代的方式得到。本文提出的算法能夠?qū)颖镜闹行狞c(diǎn)和特征向量同時(shí)作出魯棒性估計(jì)