基于隱藏層語(yǔ)義關(guān)聯(lián)的跨媒體檢索方法研究.pdf

1、伴隨著計(jì)算機(jī)網(wǎng)絡(luò)和多媒體技術(shù)的發(fā)展，人們不僅僅滿足于用單模態(tài)數(shù)據(jù)來(lái)描述一篇文檔，包含多種模態(tài)的多媒體文檔越來(lái)越頻繁的出現(xiàn)在網(wǎng)絡(luò)中,因此跨媒體檢索也越來(lái)越受到人們的關(guān)注。
　　由于直接把不同模態(tài)底層特征映射到同維空間會(huì)損失大量信息，并且同維的不同模態(tài)特征所表達(dá)的意義也差異巨大，據(jù)此提出了基于隱藏層語(yǔ)義關(guān)聯(lián)的跨媒體檢索方法。該方法首先借鑒了深度學(xué)習(xí)的思想，通過(guò)深度網(wǎng)絡(luò)模型來(lái)完成底層特征到隱藏層特征的映射，其中深度網(wǎng)絡(luò)模型通過(guò)棧式自編碼

2、以及誤差反向傳播技術(shù)構(gòu)建。接著引入典型相關(guān)性分析來(lái)關(guān)聯(lián)不同模態(tài)的隱藏層特征，典型相關(guān)性分析能夠在保持不同模態(tài)特征最大相關(guān)性的基礎(chǔ)上把不同模態(tài)的特征映射到一個(gè)同維空間，使得通過(guò)典型相關(guān)性分析關(guān)聯(lián)后的不同模態(tài)的隱藏層特征具有同維度，且具有相近的意義表達(dá)。然后通過(guò)Softmax回歸模型對(duì)關(guān)聯(lián)后的隱藏層特征進(jìn)行語(yǔ)義分類(lèi)學(xué)習(xí)。最后通過(guò)特征與語(yǔ)義相結(jié)合的檢索算法來(lái)進(jìn)行跨媒體檢索。
　　為了驗(yàn)證方法的有效性及可行性，在wiki百科數(shù)據(jù)集上進(jìn)行了