跨媒體語(yǔ)義共享子空間學(xué)習(xí)理論與方法研究.pdf

1、隨著信息技術(shù)的快速發(fā)展，現(xiàn)實(shí)世界中不斷涌現(xiàn)著大量的跨媒體數(shù)據(jù)。所謂跨媒體數(shù)據(jù)是指那些表達(dá)的內(nèi)容相似，但以不同模態(tài)、不同來(lái)源、不同背景等形式出現(xiàn)的數(shù)據(jù)。比如，一張描述花豹的網(wǎng)頁(yè)通常采用共生的圖片和文本等不同的模態(tài)刻畫花豹的外形和習(xí)性?？缑襟w數(shù)據(jù)通常呈現(xiàn)出底層特征異構(gòu)、高層語(yǔ)義相關(guān)的特性。傳統(tǒng)的單媒體學(xué)習(xí)方法已無(wú)法適應(yīng)跨媒體數(shù)據(jù)的特征異構(gòu)性。不同于單媒體學(xué)習(xí)，跨媒體學(xué)習(xí)在學(xué)習(xí)過(guò)程中能夠度量不同模態(tài)的媒體對(duì)象之間的相關(guān)性，以實(shí)現(xiàn)不同模態(tài)間的靈

2、活跨越。因此，開展跨媒體學(xué)習(xí)相關(guān)理論與方法的研究具有重要的理論意義和應(yīng)用價(jià)值。
　　本文從跨媒體對(duì)象的底層特征出發(fā)，對(duì)跨媒體共享子空間學(xué)習(xí)中的若干相關(guān)問(wèn)題進(jìn)行了研究。研究?jī)?nèi)容包括:跨媒體數(shù)據(jù)的一致性描述、子空間的增量學(xué)習(xí)、缺失模態(tài)補(bǔ)全等。本文主要的創(chuàng)新性研究成果包括:
　　(1)提出了一種挖掘跨媒體數(shù)據(jù)語(yǔ)義一致模式的通用框架。該框架首先使用一種全新的同構(gòu)相關(guān)冗余變換算法構(gòu)建不同模態(tài)間的高維同構(gòu)空間，以此捕捉更多不同模態(tài)間的互

3、補(bǔ)信息;并提出了一種基于相關(guān)性的聯(lián)合特征學(xué)習(xí)模型，以提取特征同構(gòu)描述之間共享的高層語(yǔ)義子空間。在此基礎(chǔ)上所建立的跨媒體數(shù)據(jù)的一致性描述，在分類和檢索性能上能夠比現(xiàn)有的同類方法獲得將近14％的增益。
　　(2)提出了一種適用于多標(biāo)簽圖像分類的增量共享子空間學(xué)習(xí)方法。通過(guò)利用提出的增量無(wú)損矩陣分解算法，該方法能夠增量地執(zhí)行而無(wú)需使用原始已存在的數(shù)據(jù)，避免了提取共享子空間過(guò)程中的高計(jì)算復(fù)雜度，并且沒有降低算法的分類性能。與其它非增量的共

4、享子空間學(xué)習(xí)方法相比，該方法將計(jì)算時(shí)間降低了大約1個(gè)數(shù)量級(jí)且沒有降低預(yù)測(cè)性能。
　　(3)提出了一種補(bǔ)全跨媒體數(shù)據(jù)缺失模態(tài)的通用框架。該框架首先使用一種全新的同構(gòu)線性相關(guān)分析方法，將跨媒體數(shù)據(jù)線性地映射到一個(gè)特征同構(gòu)空間，以此捕捉不同模態(tài)間的語(yǔ)義互補(bǔ)性和等同分布;同時(shí)，遵從魯棒PCA的思想，為了完成缺失模態(tài)的補(bǔ)全，提出了一種等同分布約束模型，以充分利用基于等同分布約束的大邊緣策略。在此基礎(chǔ)上所恢復(fù)的跨媒體數(shù)據(jù)缺失模態(tài)的描述，在分類