增強(qiáng)型典型相關(guān)分析研究與應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)從有限的觀察樣本概括特定問題世界的模型，離不開數(shù)據(jù)分析工具的支持，以發(fā)現(xiàn)觀測(cè)數(shù)據(jù)中隱含的各種關(guān)系。典型相關(guān)分析(CCA)是研究存在于兩組變量之間相關(guān)關(guān)系的有力工具。作為一種多元數(shù)據(jù)分析方法，CCA自1936年問世以來，在回歸建模、圖像分析與處理、計(jì)算機(jī)視覺、模式識(shí)別和生物信息學(xué)等領(lǐng)域得到了廣泛的應(yīng)用，并日益受到各領(lǐng)域有關(guān)研究者的重視，而多模態(tài)識(shí)別技術(shù)的興起又為基于CCA的模式識(shí)別方法的研究提供了新的契機(jī)。 本文以CCA數(shù)

2、學(xué)模型為研究對(duì)象展開深入的擴(kuò)展研究，致力于用增強(qiáng)的CCA模型來解決機(jī)器學(xué)習(xí)中兩種主要的學(xué)習(xí)問題：模式識(shí)別與回歸建模。本文的創(chuàng)新性研究成果總結(jié)如下： （1）提出了一個(gè)非線性CCA模型，將一個(gè)非線性問題劃分為一系列線性子問題的組合，用以解決實(shí)際中大量存在的非線性相關(guān)問題，并通過數(shù)據(jù)可視化實(shí)驗(yàn)和姿態(tài)估計(jì)實(shí)驗(yàn)驗(yàn)證了算法的有效性。 （2）建立了一個(gè)CCA單模態(tài)識(shí)別的統(tǒng)一框架，揭示了“樣本－類標(biāo)號(hào)”方式的CCA與線性判別分析之間等價(jià)

3、性產(chǎn)生的潛在機(jī)理；在此基礎(chǔ)上，提出一個(gè)基于樣本分布的軟標(biāo)號(hào)CCA，打破了這種等價(jià)性限制，提高了算法的識(shí)別性能。 （3）提出了一種新的有監(jiān)督學(xué)習(xí)方法－判別型CCA，該方法引入樣本的類信息，并充分考慮了樣本之間的相關(guān)關(guān)系及其對(duì)分類的影響。利用核技巧，進(jìn)一步提出了核化的判別型CCA，用以解決較為復(fù)雜的線性不可分問題；實(shí)驗(yàn)表明這兩種方法具有較高的識(shí)別性能。 （4）在判別型CCA基礎(chǔ)上，提出了一種有樣本缺失的判別型CCA，用以克服

4、實(shí)際中由于各種原因?qū)е碌臉颖救笔栴}，該方法繼承了判別型CCA的優(yōu)點(diǎn)，且具有識(shí)別性能較好、節(jié)約時(shí)間和內(nèi)存、對(duì)缺失樣本數(shù)目相對(duì)不敏感等優(yōu)點(diǎn)。 （5）CCA將相關(guān)性作為樣本間相似性度量。將這種思想推廣到主成分分析（PCA），提出了基于相關(guān)性度量的偽主成分分析。在此基礎(chǔ)上，將這種思想方法推廣到近年來提出的基于二維模式的PCA算法家族中，使之成為有監(jiān)督學(xué)習(xí)方式。此外，在不改變PCA原有算法框架的基礎(chǔ)上，提出了引入類信息的PCA。實(shí)驗(yàn)表明