多視圖嵌入學(xué)習(xí)方法及其應(yīng)用研究.pdf

1、隨著數(shù)據(jù)采集和存儲技術(shù)的飛速發(fā)展，多視圖數(shù)據(jù)大量涌現(xiàn)。多視圖數(shù)據(jù)從不同視角去刻畫同一物體，因此其能反映同一物體的不同特性。雖然多視圖數(shù)據(jù)能夠提供比傳統(tǒng)單視圖數(shù)據(jù)更為豐富的信息，但是如何有效分析多視圖數(shù)據(jù)一直以來是一個研究難點也是熱點。多視圖數(shù)據(jù)往往存在于高維空間中，且不同視圖之間存在相關(guān)性，因此，有效地學(xué)習(xí)多視圖數(shù)據(jù)中潛在的低維嵌入對于提升學(xué)習(xí)模型的性能、同時降低學(xué)習(xí)算法的復(fù)雜度至關(guān)重要。本文以多視圖數(shù)據(jù)為研究對象，深入研究多視圖嵌入學(xué)

2、習(xí)的相關(guān)技術(shù)，結(jié)合哈希技術(shù)，探討有關(guān)方法在大規(guī)模視覺檢索、圖像分類、自動標(biāo)注等任務(wù)中的應(yīng)用。本文的主要研究成果及貢獻如下:
　　(1)提出了半配對離散哈希方法(SPDH)。目前大部分的跨視圖哈希學(xué)習(xí)方法假定不同視圖間的樣本配對信息是完整的，然而這種假設(shè)在現(xiàn)實場景下一般不成立。本文研究一種更為常見也更具挑戰(zhàn)性的的半配對跨視圖檢索問題，即存在部分樣本的配對信息未知。提出的半配對離散哈希方法(SPDH)能夠挖掘公共子空間的潛在結(jié)構(gòu)，并且

3、對齊配對以及未配對樣本。通過選取一些錨點對，構(gòu)建一種跨視圖的近鄰圖來刻畫半配對數(shù)據(jù)的相似性結(jié)構(gòu)。最后給出一種基于矩陣分解的哈希編碼方式?？紤]哈希碼的離散屬性，提出了一種循環(huán)坐標(biāo)迭代的方法來求解哈希碼，其中每一個比特都存在封閉解。在大量全配對和半配對設(shè)置的實驗上驗證了SPDH在大規(guī)模跨視圖檢索中的有效性。
　　(2)提出了多視圖離散哈希方法(MvDH)。如何充分從多個視圖中挖掘出豐富的信息用于生成優(yōu)質(zhì)的哈希碼是一個亟待解決的問題。提

4、出的多視圖離散哈希方法(MvDH)通過矩陣分解技術(shù)對多視圖數(shù)據(jù)進行分解，生成的哈希碼可以視作多個視圖共享的潛在特征;同時采用譜聚類生成聚類標(biāo)簽。MvDH聯(lián)合學(xué)習(xí)哈希碼和聚類標(biāo)簽，并且建立兩者之間的一致性關(guān)系，從而確保哈希碼具有強有力的鑒別性。采用離散優(yōu)化的方式求解提出的模型，算法能夠保證收斂且計算復(fù)雜度較低。在大量的視覺檢索實驗上驗證了MVDH在性能和可擴展性方面的優(yōu)勢。
　　(3)提出了聯(lián)合嵌入(CoE)和聯(lián)合哈希(CoH)多標(biāo)

5、記學(xué)習(xí)方法。目前大部分嵌入方法無法很好地捕捉多標(biāo)記學(xué)習(xí)中特征與標(biāo)記之間的相關(guān)性，導(dǎo)致預(yù)測性能的下降。為了解決上述問題，首先提出一種聯(lián)合嵌入學(xué)習(xí)算法(CoE)。CoE將特征和標(biāo)記視作兩個不同的視圖，將標(biāo)記預(yù)測問題轉(zhuǎn)化成跨視圖搜索問題，其能降低傳統(tǒng)編碼解碼策略的算法復(fù)雜度。為了提升搜索的質(zhì)量，引入跨視圖學(xué)習(xí)的思想，聯(lián)合學(xué)習(xí)投影向量和潛在的公共子空間，同時保持住該空間內(nèi)嵌入的相似性結(jié)構(gòu)，使得相似的嵌入具有相近的標(biāo)簽。在CoE基礎(chǔ)上，對嵌入引入

6、二值約束，提出聯(lián)合哈希學(xué)習(xí)算法(CoH)，其目標(biāo)是學(xué)習(xí)一個公共的漢明空間。由于漢明距離計算的高效性，CoH能夠進一步提升多標(biāo)記預(yù)測的效率。大量的實驗驗證了CoE和CoH在多標(biāo)記預(yù)測效率以及效果上的有效性。
　　(4)提出了基于圖嵌入的多重集典型相關(guān)分析框架(GbMCC-DR)和基于標(biāo)簽傳播的半監(jiān)督典型相關(guān)分析方法(LPbSCCA)?；诙嘀丶湫拖嚓P(guān)分析(MCCA)的一種等價形式，使用圖結(jié)構(gòu)的形式對相關(guān)性進行統(tǒng)一的刻畫，并且提出了

7、基于圖嵌入的多重集典型相關(guān)分析框架(GbMCC-DR)。針對監(jiān)督場景，在GbMCC-DR框架下，通過引入三種新的監(jiān)督圖，提出了三種新的監(jiān)督型相關(guān)分析方法。同時理論分析證明此框架能夠統(tǒng)一一些現(xiàn)有的方法，如MCCA、PLS、LPCCA、GCCA。針對半監(jiān)督場景，提出了一種基于標(biāo)簽傳播的半監(jiān)督典型相關(guān)分析方法(LPbSCCA)。首先利用稀疏表示使用標(biāo)記樣本的標(biāo)簽信息去估計未標(biāo)記樣本的標(biāo)簽，然后構(gòu)建概率標(biāo)簽下的視圖內(nèi)類內(nèi)散度以及視圖間的相關(guān)性，