數(shù)據(jù)降維的廣義相關(guān)分析研究.pdf

1、隨著數(shù)據(jù)采集和存儲(chǔ)技術(shù)的飛速發(fā)展，高維數(shù)據(jù)，如航天遙感數(shù)據(jù)、生物數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)以及金融市場(chǎng)交易數(shù)據(jù)等大量涌現(xiàn)，如何將高維數(shù)據(jù)表示在低維空間中，并由此發(fā)現(xiàn)其內(nèi)在的本質(zhì)結(jié)構(gòu)是機(jī)器學(xué)習(xí)及模式識(shí)別領(lǐng)域的重要研究方向之一，現(xiàn)已引起人們廣泛的關(guān)注，相應(yīng)研究方興未艾，其應(yīng)用范圍涉及圖像分析和處理、多媒體處理、醫(yī)學(xué)數(shù)據(jù)分析、海洋氣象預(yù)測(cè)、計(jì)算機(jī)視覺(jué)信息檢索和跨語(yǔ)種文本分類等眾多領(lǐng)域。本文從基于相關(guān)性的經(jīng)典降維方法一典型相關(guān)分析(Canonical Co

2、rrelation Analysis，CCA)入手，分析現(xiàn)有基于相關(guān)性的各種降維方法的優(yōu)缺點(diǎn)，并分別針對(duì)單視圖數(shù)據(jù)和多視圖數(shù)據(jù)提出了一系列有效的高維數(shù)據(jù)降維方法。本文工作主要包括四部分：
　　 (1)針對(duì)全監(jiān)督的單視圖數(shù)據(jù)設(shè)計(jì)新的監(jiān)督型降維方法。用CCA實(shí)現(xiàn)全監(jiān)督的單視圖數(shù)據(jù)的降維時(shí)，通常將原始數(shù)據(jù)作為第一個(gè)視圖，而把與每個(gè)樣本對(duì)應(yīng)的類標(biāo)號(hào)編碼作為第二個(gè)視圖。已有研究者證明了采用one-of-C或者one-of-(C-1)編碼時(shí)

3、，CCA與原數(shù)據(jù)上直接進(jìn)行線性判別分析(Linear Discriminant Analysis，LDA)等價(jià)，但是他們沒(méi)有給出等價(jià)的原因。我們首先分析其原因，然后結(jié)合分類器設(shè)計(jì)，利用樣本與其對(duì)應(yīng)類標(biāo)號(hào)相關(guān)性最大化來(lái)設(shè)計(jì)兩種不同的降維方法。這兩種降維方法均利用廣義相關(guān)分析實(shí)現(xiàn)了單視圖數(shù)據(jù)的監(jiān)督降維，避免了與LDA等價(jià)，降低了訓(xùn)練和測(cè)試的復(fù)雜度，在人工數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了該方法的有效性。
　　 (2)仍然針對(duì)

4、全監(jiān)督的單視圖數(shù)據(jù)，進(jìn)一步結(jié)合大間隔學(xué)習(xí)，提出了一個(gè)新的監(jiān)督型降維方法一大相關(guān)分析方法(Large Correlation Analysis，LCA)。不同于現(xiàn)有的基于相關(guān)分析的降維方法，它們追求最大化所有訓(xùn)練樣本的整體相關(guān)性，而LCA旨在最大化所有訓(xùn)練樣本與其類標(biāo)號(hào)的最小相關(guān)性，從而克服了與LDA等價(jià)的弊端。LCA的目標(biāo)函數(shù)最終轉(zhuǎn)換為松弛的箱子約束的二次規(guī)劃問(wèn)題，它可由Projected Barzilai-Borwein Method

5、(PBB)方法有效求解。在部分UCI數(shù)據(jù)集和美國(guó)國(guó)家郵政局(USPS)手寫(xiě)字庫(kù)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了LCA方法性能的優(yōu)越性。
　　 (3)對(duì)全監(jiān)督全配對(duì)的多視圖數(shù)據(jù)，提出一個(gè)新的降維方法。受監(jiān)督型流形學(xué)習(xí)方法的啟發(fā)，利用每個(gè)視圖數(shù)據(jù)集的局部結(jié)構(gòu)信息和判別信息，構(gòu)建相似度矩陣和類信息矩陣，提出監(jiān)督型局部保持的典型相關(guān)分析(Supervised Locality Preserving Canonical Correlation Anal

6、ysis，SLPCCA)，該方法不但突破了CCA處理數(shù)據(jù)時(shí)的線性約束，提高了處理非線性問(wèn)題的能力，而且克服了局部保持的典型相關(guān)分析(Locality Preserving Canonical Correlation Analysis，LPCCA)忽視類信息的問(wèn)題，提取的特征更有利于分類。在多特征手寫(xiě)體數(shù)據(jù)庫(kù)(MFD)和美國(guó)國(guó)家郵政局手寫(xiě)字庫(kù)(USPS)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性。
　　 (4)對(duì)半監(jiān)督半配對(duì)的多視圖數(shù)據(jù)，提

7、出一種新的降維方法。雖然半監(jiān)督半配對(duì)的多視圖數(shù)據(jù)在實(shí)際應(yīng)用中大量存在，可是現(xiàn)有相關(guān)的降維方法通常僅關(guān)注配對(duì)信息或者僅關(guān)注監(jiān)督信息，得到半配對(duì)的多視圖數(shù)據(jù)降維方法和半監(jiān)督的多視圖數(shù)據(jù)降維方法，卻沒(méi)有同時(shí)關(guān)注配對(duì)信息和監(jiān)督信息的降維方法，我們同時(shí)關(guān)注數(shù)據(jù)的配對(duì)信息、判別信息和結(jié)構(gòu)信息，首先提出一個(gè)一般性的半監(jiān)督半配對(duì)多視圖數(shù)據(jù)降維框架，該框架囊括了現(xiàn)有的一些方法。進(jìn)一步設(shè)計(jì)一個(gè)具體的降維方法一半監(jiān)督半配對(duì)廣義相關(guān)分析(Semi-superv