基于核典型相關(guān)分析與神經(jīng)網(wǎng)絡(luò)的跨模態(tài)哈希算法研究.pdf

1、近年來(lái)，隨著各種模態(tài)數(shù)據(jù)的快速增長(zhǎng)，如何實(shí)現(xiàn)跨模態(tài)數(shù)據(jù)之間的相互檢索已經(jīng)成為信息檢索領(lǐng)域中的一個(gè)研究熱點(diǎn)。哈希算法是一種非常有效的信息檢索方法，具有占用儲(chǔ)存空間小和檢索速度快的優(yōu)點(diǎn)。哈希算法可以分成單模態(tài)哈希算法與跨模態(tài)哈希算法，單模態(tài)哈希算法用于單一模態(tài)數(shù)據(jù)之間的信息檢索，跨模態(tài)哈希算法用于不同模態(tài)數(shù)據(jù)之間的信息檢索。哈希算法的核心思想是先通過(guò)哈希函數(shù)將數(shù)據(jù)轉(zhuǎn)換成對(duì)應(yīng)的哈希編碼串，其中哈希編碼串之間的漢明距離與原始數(shù)據(jù)之間的語(yǔ)義相似度

2、相對(duì)應(yīng)，然后通過(guò)計(jì)算哈希編碼串之間的漢明距離返回檢索結(jié)果。
　　本文提出了兩種不同的跨模態(tài)哈希算法:基于核典型相關(guān)分析的跨模態(tài)哈希算法(KCMH)和基于神經(jīng)網(wǎng)絡(luò)的跨模態(tài)哈希算法(NNCH)。
　　1.提出了基于核典型相關(guān)分析的跨模態(tài)哈希算法(KCMH)。首先，通過(guò)錨點(diǎn)核典型相關(guān)分析算法(AKCCA)進(jìn)行公共核空間的學(xué)習(xí)，將不同模態(tài)的數(shù)據(jù)映射到公共核空間中，該部分對(duì)同一模態(tài)內(nèi)數(shù)據(jù)之間的相關(guān)性和不同模態(tài)間數(shù)據(jù)之間的相關(guān)性進(jìn)行考慮

3、。不同于現(xiàn)有的公共空間的學(xué)習(xí)算法，AKCCA算法結(jié)合了典型相關(guān)分析算法、K-means算法以及核技巧，可以非常有效地學(xué)習(xí)到數(shù)據(jù)之間的非線性關(guān)系。在學(xué)習(xí)到公共核空間之后，利用內(nèi)積與漢明距離的對(duì)應(yīng)關(guān)系提出相應(yīng)的目標(biāo)函數(shù)。最后，使用迭代優(yōu)化算法進(jìn)行最優(yōu)化求解。
　　2.提出了基于神經(jīng)網(wǎng)絡(luò)的跨模態(tài)哈希算法(NNCH)，該算法成功地將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到跨模態(tài)哈希算法領(lǐng)域中。神經(jīng)網(wǎng)絡(luò)是一種模仿生物大腦活動(dòng)的簡(jiǎn)化生物模型，它在人工智能、計(jì)算機(jī)視

4、覺(jué)以及語(yǔ)音識(shí)別等領(lǐng)域有著廣泛應(yīng)用。在NNCH算法中，提出了獨(dú)特且非常有效的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。NNCH算法的神經(jīng)網(wǎng)絡(luò)是由圖片神經(jīng)網(wǎng)絡(luò)和文字神經(jīng)網(wǎng)絡(luò)組成，其中圖片神經(jīng)網(wǎng)絡(luò)主要是對(duì)圖片進(jìn)行二進(jìn)制編碼，文字神經(jīng)網(wǎng)絡(luò)主要是對(duì)文字進(jìn)行二進(jìn)制編碼，圖片神經(jīng)網(wǎng)絡(luò)和文字神經(jīng)網(wǎng)絡(luò)通過(guò)共享分類器權(quán)重的方式連接起來(lái)。NNCH算法提出了將Softmax分類損失與哈希特性損失相結(jié)合的損失函數(shù)，并且利用該損失函數(shù)和caffe深度學(xué)習(xí)框架完成神