基于隱藏層語義關(guān)聯(lián)的跨媒體檢索方法研究.pdf

1、伴隨著計算機網(wǎng)絡(luò)和多媒體技術(shù)的發(fā)展，人們不僅僅滿足于用單模態(tài)數(shù)據(jù)來描述一篇文檔，包含多種模態(tài)的多媒體文檔越來越頻繁的出現(xiàn)在網(wǎng)絡(luò)中,因此跨媒體檢索也越來越受到人們的關(guān)注。
　　由于直接把不同模態(tài)底層特征映射到同維空間會損失大量信息，并且同維的不同模態(tài)特征所表達(dá)的意義也差異巨大，據(jù)此提出了基于隱藏層語義關(guān)聯(lián)的跨媒體檢索方法。該方法首先借鑒了深度學(xué)習(xí)的思想，通過深度網(wǎng)絡(luò)模型來完成底層特征到隱藏層特征的映射，其中深度網(wǎng)絡(luò)模型通過棧式自編碼

2、以及誤差反向傳播技術(shù)構(gòu)建。接著引入典型相關(guān)性分析來關(guān)聯(lián)不同模態(tài)的隱藏層特征，典型相關(guān)性分析能夠在保持不同模態(tài)特征最大相關(guān)性的基礎(chǔ)上把不同模態(tài)的特征映射到一個同維空間，使得通過典型相關(guān)性分析關(guān)聯(lián)后的不同模態(tài)的隱藏層特征具有同維度，且具有相近的意義表達(dá)。然后通過Softmax回歸模型對關(guān)聯(lián)后的隱藏層特征進(jìn)行語義分類學(xué)習(xí)。最后通過特征與語義相結(jié)合的檢索算法來進(jìn)行跨媒體檢索。
　　為了驗證方法的有效性及可行性，在wiki百科數(shù)據(jù)集上進(jìn)行了