數(shù)據(jù)降維的廣義相關(guān)分析研究.pdf

1、隨著數(shù)據(jù)采集和存儲技術(shù)的飛速發(fā)展，高維數(shù)據(jù)，如航天遙感數(shù)據(jù)、生物數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)以及金融市場交易數(shù)據(jù)等大量涌現(xiàn)，如何將高維數(shù)據(jù)表示在低維空間中，并由此發(fā)現(xiàn)其內(nèi)在的本質(zhì)結(jié)構(gòu)是機(jī)器學(xué)習(xí)及模式識別領(lǐng)域的重要研究方向之一，現(xiàn)已引起人們廣泛的關(guān)注，相應(yīng)研究方興未艾，其應(yīng)用范圍涉及圖像分析和處理、多媒體處理、醫(yī)學(xué)數(shù)據(jù)分析、海洋氣象預(yù)測、計算機(jī)視覺信息檢索和跨語種文本分類等眾多領(lǐng)域。本文從基于相關(guān)性的經(jīng)典降維方法一典型相關(guān)分析(Canonical Co

2、rrelation Analysis，CCA)入手，分析現(xiàn)有基于相關(guān)性的各種降維方法的優(yōu)缺點，并分別針對單視圖數(shù)據(jù)和多視圖數(shù)據(jù)提出了一系列有效的高維數(shù)據(jù)降維方法。本文工作主要包括四部分：
　　 (1)針對全監(jiān)督的單視圖數(shù)據(jù)設(shè)計新的監(jiān)督型降維方法。用CCA實現(xiàn)全監(jiān)督的單視圖數(shù)據(jù)的降維時，通常將原始數(shù)據(jù)作為第一個視圖，而把與每個樣本對應(yīng)的類標(biāo)號編碼作為第二個視圖。已有研究者證明了采用one-of-C或者one-of-(C-1)編碼時

3、，CCA與原數(shù)據(jù)上直接進(jìn)行線性判別分析(Linear Discriminant Analysis，LDA)等價，但是他們沒有給出等價的原因。我們首先分析其原因，然后結(jié)合分類器設(shè)計，利用樣本與其對應(yīng)類標(biāo)號相關(guān)性最大化來設(shè)計兩種不同的降維方法。這兩種降維方法均利用廣義相關(guān)分析實現(xiàn)了單視圖數(shù)據(jù)的監(jiān)督降維，避免了與LDA等價，降低了訓(xùn)練和測試的復(fù)雜度，在人工數(shù)據(jù)集和真實數(shù)據(jù)集上的實驗結(jié)果進(jìn)一步驗證了該方法的有效性。
　　 (2)仍然針對

4、全監(jiān)督的單視圖數(shù)據(jù)，進(jìn)一步結(jié)合大間隔學(xué)習(xí)，提出了一個新的監(jiān)督型降維方法一大相關(guān)分析方法(Large Correlation Analysis，LCA)。不同于現(xiàn)有的基于相關(guān)分析的降維方法，它們追求最大化所有訓(xùn)練樣本的整體相關(guān)性，而LCA旨在最大化所有訓(xùn)練樣本與其類標(biāo)號的最小相關(guān)性，從而克服了與LDA等價的弊端。LCA的目標(biāo)函數(shù)最終轉(zhuǎn)換為松弛的箱子約束的二次規(guī)劃問題，它可由Projected Barzilai-Borwein Method

5、(PBB)方法有效求解。在部分UCI數(shù)據(jù)集和美國國家郵政局(USPS)手寫字庫上的實驗結(jié)果驗證了LCA方法性能的優(yōu)越性。
　　 (3)對全監(jiān)督全配對的多視圖數(shù)據(jù)，提出一個新的降維方法。受監(jiān)督型流形學(xué)習(xí)方法的啟發(fā)，利用每個視圖數(shù)據(jù)集的局部結(jié)構(gòu)信息和判別信息，構(gòu)建相似度矩陣和類信息矩陣，提出監(jiān)督型局部保持的典型相關(guān)分析(Supervised Locality Preserving Canonical Correlation Anal

6、ysis，SLPCCA)，該方法不但突破了CCA處理數(shù)據(jù)時的線性約束，提高了處理非線性問題的能力，而且克服了局部保持的典型相關(guān)分析(Locality Preserving Canonical Correlation Analysis，LPCCA)忽視類信息的問題，提取的特征更有利于分類。在多特征手寫體數(shù)據(jù)庫(MFD)和美國國家郵政局手寫字庫(USPS)上的實驗結(jié)果驗證了該方法的有效性。
　　 (4)對半監(jiān)督半配對的多視圖數(shù)據(jù)，提

7、出一種新的降維方法。雖然半監(jiān)督半配對的多視圖數(shù)據(jù)在實際應(yīng)用中大量存在，可是現(xiàn)有相關(guān)的降維方法通常僅關(guān)注配對信息或者僅關(guān)注監(jiān)督信息，得到半配對的多視圖數(shù)據(jù)降維方法和半監(jiān)督的多視圖數(shù)據(jù)降維方法，卻沒有同時關(guān)注配對信息和監(jiān)督信息的降維方法，我們同時關(guān)注數(shù)據(jù)的配對信息、判別信息和結(jié)構(gòu)信息，首先提出一個一般性的半監(jiān)督半配對多視圖數(shù)據(jù)降維框架，該框架囊括了現(xiàn)有的一些方法。進(jìn)一步設(shè)計一個具體的降維方法一半監(jiān)督半配對廣義相關(guān)分析(Semi-superv