跨媒體語義共享子空間學習理論與方法研究.pdf

1、隨著信息技術(shù)的快速發(fā)展，現(xiàn)實世界中不斷涌現(xiàn)著大量的跨媒體數(shù)據(jù)。所謂跨媒體數(shù)據(jù)是指那些表達的內(nèi)容相似，但以不同模態(tài)、不同來源、不同背景等形式出現(xiàn)的數(shù)據(jù)。比如，一張描述花豹的網(wǎng)頁通常采用共生的圖片和文本等不同的模態(tài)刻畫花豹的外形和習性?？缑襟w數(shù)據(jù)通常呈現(xiàn)出底層特征異構(gòu)、高層語義相關(guān)的特性。傳統(tǒng)的單媒體學習方法已無法適應(yīng)跨媒體數(shù)據(jù)的特征異構(gòu)性。不同于單媒體學習，跨媒體學習在學習過程中能夠度量不同模態(tài)的媒體對象之間的相關(guān)性，以實現(xiàn)不同模態(tài)間的靈

2、活跨越。因此，開展跨媒體學習相關(guān)理論與方法的研究具有重要的理論意義和應(yīng)用價值。
　　本文從跨媒體對象的底層特征出發(fā)，對跨媒體共享子空間學習中的若干相關(guān)問題進行了研究。研究內(nèi)容包括:跨媒體數(shù)據(jù)的一致性描述、子空間的增量學習、缺失模態(tài)補全等。本文主要的創(chuàng)新性研究成果包括:
　　(1)提出了一種挖掘跨媒體數(shù)據(jù)語義一致模式的通用框架。該框架首先使用一種全新的同構(gòu)相關(guān)冗余變換算法構(gòu)建不同模態(tài)間的高維同構(gòu)空間，以此捕捉更多不同模態(tài)間的互

3、補信息;并提出了一種基于相關(guān)性的聯(lián)合特征學習模型，以提取特征同構(gòu)描述之間共享的高層語義子空間。在此基礎(chǔ)上所建立的跨媒體數(shù)據(jù)的一致性描述，在分類和檢索性能上能夠比現(xiàn)有的同類方法獲得將近14％的增益。
　　(2)提出了一種適用于多標簽圖像分類的增量共享子空間學習方法。通過利用提出的增量無損矩陣分解算法，該方法能夠增量地執(zhí)行而無需使用原始已存在的數(shù)據(jù)，避免了提取共享子空間過程中的高計算復雜度，并且沒有降低算法的分類性能。與其它非增量的共

4、享子空間學習方法相比，該方法將計算時間降低了大約1個數(shù)量級且沒有降低預測性能。
　　(3)提出了一種補全跨媒體數(shù)據(jù)缺失模態(tài)的通用框架。該框架首先使用一種全新的同構(gòu)線性相關(guān)分析方法，將跨媒體數(shù)據(jù)線性地映射到一個特征同構(gòu)空間，以此捕捉不同模態(tài)間的語義互補性和等同分布;同時，遵從魯棒PCA的思想，為了完成缺失模態(tài)的補全，提出了一種等同分布約束模型，以充分利用基于等同分布約束的大邊緣策略。在此基礎(chǔ)上所恢復的跨媒體數(shù)據(jù)缺失模態(tài)的描述，在分類