基于嵌入學習的近重復視頻檢索和跨域情感分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術和智能硬件設備的高速發(fā)展，豐富的多媒體數(shù)據(jù)出現(xiàn)在網(wǎng)絡上。視頻和文本作為兩類重要的媒體信息載體，是多媒體信息處理領域中的重要研究對象。嵌入學習在多媒體數(shù)據(jù)存儲、檢索和分類等領域已被廣泛應用，其旨在發(fā)掘并利用數(shù)據(jù)的本質特性生成其對應的低維向量表示。論文以近重復視頻檢索和跨域情感分類為研究課題，提出一些新穎的基于嵌入學習的視頻和文本表示方法，挖掘數(shù)據(jù)的內容信息并生成準確的數(shù)據(jù)簽名。
　　近重復視頻檢索主要研究如何搜索與查詢

2、視頻相同或相近的視頻，其核心任務是視頻信息的準確提取與表示。它是多媒體信息處理領域中一個重要的研究課題，其相關應用包括視頻搜索、視頻推薦和版權保護等。隨著網(wǎng)絡視頻數(shù)量的增加，除了傳統(tǒng)的準確性指標外，許多近重復視頻檢索系統(tǒng)越來越關注系統(tǒng)的高效性和可擴展性?？缬蚯楦蟹诸惖娜蝿帐峭ㄟ^依靠源域中的監(jiān)督數(shù)據(jù)來獲得能夠適用于目標域的情感分類器，其主要研究如何減小不同領域間單詞分布的差異和如何生成準確描述文本數(shù)據(jù)的簽名。
　　為了解決上述問題，

3、同時考慮視頻和文本數(shù)據(jù)的特性，論文提出了基于嵌入學習的數(shù)據(jù)表示方法，包括三種用于近重復視頻檢索的哈希方法和一種用于跨域情感分類的嵌入方法。本論文的主要工作總結如下:
　　1.基于高斯分布的隨機多視角哈希方法
　　為了提高大規(guī)模近重復視頻檢索的準確率和速度，論文采用基于高斯分布的隨機多視角哈希方法將多種視頻關鍵幀的底層特征進行融合，并結合關鍵幀間的結構信息和可利用的監(jiān)督信息，生成視頻的最終哈希碼序列表示。該方法通過最大化廣義的

4、檢索準確率和召回率來學習可靠的映射函數(shù)。并且，方法采用復合的Kullback-Leibler(KL)散度測度來近似估計此檢索分數(shù)，其隨機地匹配了原始特征空間和準哈希碼空間的近鄰結構。實驗結果表明，與其他近重復視頻檢索方法相比，本文的方法獲得了更好的檢索性能和更高的檢索效率。
　　2.基于t分布的隨機多視角哈希方法及其深度哈希擴展
　　為了提升非監(jiān)督學習的魯棒性，論文提出基于t分布的隨機多視角哈希方法。該方法采用基于高斯估計獲

5、得的連續(xù)相似度和基于互惠鄰居獲得的離散相似度來融合多種視頻特征，并通過最小化原始特征空間和準哈希碼空間的概率相似度結構的KL散度來學習哈希函數(shù)。為了減小遠距離映射對象對尺度變化的敏感性，方法采用學生t分布來估計關鍵幀的準哈希碼向量間的相似度，以便將原始空間中的非監(jiān)督近鄰結構更準確地保存到準哈希碼空間中。此外，為了思考非監(jiān)督深度學習的問題和促進大規(guī)模檢索的發(fā)展，論文將該方法擴展到非監(jiān)督的深度學習上。通過應用相同的優(yōu)化目標方程和構建基于一個

6、深度神經(jīng)網(wǎng)絡的哈希映射函數(shù)，開發(fā)一種用于訓練深度哈希網(wǎng)絡的魯棒非監(jiān)督的訓練策略。
　　3.基于嵌入的跨域情感分類方法
　　為了實現(xiàn)跨域情感分類任務，論文提出一種基于嵌入的文本映射方法。該方法采用若干個軸點(pivot)連接源域和目標域，通過構建三個概率相似度匹配模型來學習文本數(shù)據(jù)的映射函數(shù)，并最終生成兩個領域中單詞和文檔數(shù)據(jù)的嵌入向量表示。軸點被用來減小源域和目標域中單詞分布的差異，而三個概率相似度匹配模型則被用來保存文本數(shù)