基于核典型相關分析與神經(jīng)網(wǎng)絡的跨模態(tài)哈希算法研究.pdf

1、近年來，隨著各種模態(tài)數(shù)據(jù)的快速增長，如何實現(xiàn)跨模態(tài)數(shù)據(jù)之間的相互檢索已經(jīng)成為信息檢索領域中的一個研究熱點。哈希算法是一種非常有效的信息檢索方法，具有占用儲存空間小和檢索速度快的優(yōu)點。哈希算法可以分成單模態(tài)哈希算法與跨模態(tài)哈希算法，單模態(tài)哈希算法用于單一模態(tài)數(shù)據(jù)之間的信息檢索，跨模態(tài)哈希算法用于不同模態(tài)數(shù)據(jù)之間的信息檢索。哈希算法的核心思想是先通過哈希函數(shù)將數(shù)據(jù)轉(zhuǎn)換成對應的哈希編碼串，其中哈希編碼串之間的漢明距離與原始數(shù)據(jù)之間的語義相似度

2、相對應，然后通過計算哈希編碼串之間的漢明距離返回檢索結果。
　　本文提出了兩種不同的跨模態(tài)哈希算法:基于核典型相關分析的跨模態(tài)哈希算法(KCMH)和基于神經(jīng)網(wǎng)絡的跨模態(tài)哈希算法(NNCH)。
　　1.提出了基于核典型相關分析的跨模態(tài)哈希算法(KCMH)。首先，通過錨點核典型相關分析算法(AKCCA)進行公共核空間的學習，將不同模態(tài)的數(shù)據(jù)映射到公共核空間中，該部分對同一模態(tài)內(nèi)數(shù)據(jù)之間的相關性和不同模態(tài)間數(shù)據(jù)之間的相關性進行考慮

3、。不同于現(xiàn)有的公共空間的學習算法，AKCCA算法結合了典型相關分析算法、K-means算法以及核技巧，可以非常有效地學習到數(shù)據(jù)之間的非線性關系。在學習到公共核空間之后，利用內(nèi)積與漢明距離的對應關系提出相應的目標函數(shù)。最后，使用迭代優(yōu)化算法進行最優(yōu)化求解。
　　2.提出了基于神經(jīng)網(wǎng)絡的跨模態(tài)哈希算法(NNCH)，該算法成功地將神經(jīng)網(wǎng)絡技術應用到跨模態(tài)哈希算法領域中。神經(jīng)網(wǎng)絡是一種模仿生物大腦活動的簡化生物模型，它在人工智能、計算機視

4、覺以及語音識別等領域有著廣泛應用。在NNCH算法中，提出了獨特且非常有效的網(wǎng)絡結構、損失函數(shù)以及神經(jīng)網(wǎng)絡的訓練方法。NNCH算法的神經(jīng)網(wǎng)絡是由圖片神經(jīng)網(wǎng)絡和文字神經(jīng)網(wǎng)絡組成，其中圖片神經(jīng)網(wǎng)絡主要是對圖片進行二進制編碼，文字神經(jīng)網(wǎng)絡主要是對文字進行二進制編碼，圖片神經(jīng)網(wǎng)絡和文字神經(jīng)網(wǎng)絡通過共享分類器權重的方式連接起來。NNCH算法提出了將Softmax分類損失與哈希特性損失相結合的損失函數(shù)，并且利用該損失函數(shù)和caffe深度學習框架完成神