面向多模態(tài)數(shù)據(jù)的多分類與檢索方法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，包含有文本與圖像等數(shù)據(jù)的多模態(tài)文檔大規(guī)模地出現(xiàn)在人們的日常生活中。在信息的世界中，這些不同模態(tài)的數(shù)據(jù)資源可以無(wú)形地提升感覺(jué)器官接受知識(shí)的能力。盡管如此，由于多模態(tài)數(shù)據(jù)所呈現(xiàn)出的多樣性、復(fù)雜性與隨意性，人們很難從大量的數(shù)據(jù)資源中挖掘出對(duì)自己有用的信息。因此，為了更好地滿足人們?nèi)找嬖鲩L(zhǎng)的各種需求，本文從多分類與檢索的角度研究了多模態(tài)數(shù)據(jù)的智能化管理技術(shù)。
　　許多實(shí)際問(wèn)題的解決方案均涉及到多分類技術(shù)，該技術(shù)可以

2、有效地縮減用戶與計(jì)算機(jī)的理解差異。在傳統(tǒng)的多類Boosting方法中，多類損耗函數(shù)不一定具有猜測(cè)背離性，且多類弱學(xué)習(xí)器的結(jié)合被限制為線性的加權(quán)和。為了獲得高準(zhǔn)確率的最終分類器，多類損耗函數(shù)應(yīng)該具有多類邊緣極大化、貝葉斯一致性與猜測(cè)背離性。除此之外，弱學(xué)習(xí)器的缺點(diǎn)可能會(huì)限制線性分類器的性能，然而它們的非線性結(jié)合可以提供較強(qiáng)的判別力。根據(jù)這兩個(gè)觀點(diǎn)，本文設(shè)計(jì)了一個(gè)自適應(yīng)的多類Boosting分類器，即SOHP-MCBoost算法。在每次迭代

3、中，SOHP-MCBoot算法能夠利用向量加法或Hadamard乘積來(lái)集成最優(yōu)的多類弱學(xué)習(xí)器。這個(gè)自適應(yīng)的過(guò)程可以產(chǎn)生弱學(xué)習(xí)的Hadamard乘積向量和，進(jìn)而挖掘出數(shù)據(jù)集的隱藏結(jié)構(gòu)。
　　對(duì)于一個(gè)多模態(tài)數(shù)據(jù)文檔，模態(tài)內(nèi)損耗可以捕獲到每個(gè)模態(tài)數(shù)據(jù)的語(yǔ)義類信息，而模態(tài)間損耗可以挖掘到不同模態(tài)數(shù)據(jù)之間的語(yǔ)義相關(guān)性。傳統(tǒng)的單模態(tài)Boosting方法沒(méi)有考慮模態(tài)間損耗，這可能會(huì)增大相關(guān)數(shù)據(jù)的語(yǔ)義距離。為了共同地分析多模態(tài)數(shù)據(jù)，本文設(shè)計(jì)了一個(gè)

4、包含模態(tài)內(nèi)損耗與模態(tài)間損耗的多模態(tài)多類Boosting框架。對(duì)于多維泛函空間內(nèi)的優(yōu)化問(wèn)題，這個(gè)框架可以利用梯度下降的策略來(lái)輪流地更新每個(gè)模態(tài)的預(yù)測(cè)器。在獲得最優(yōu)預(yù)測(cè)器之后，Sigmoid函數(shù)可以把相應(yīng)的擬邊緣轉(zhuǎn)換成語(yǔ)義概念類的后驗(yàn)概率。經(jīng)過(guò)這樣的操作過(guò)程，語(yǔ)義空間的跨模態(tài)檢索能夠妥善地保存模態(tài)內(nèi)的語(yǔ)義信息與模態(tài)間的語(yǔ)義相關(guān)性。
　　基于原始特征向量的內(nèi)容相似性可以揭示每個(gè)模態(tài)數(shù)據(jù)集的內(nèi)部結(jié)構(gòu)，而基于語(yǔ)義特征向量的語(yǔ)義相似性反映了不

5、同模態(tài)數(shù)據(jù)之間的相關(guān)性，二者的結(jié)合能夠在一定程度上提高跨模態(tài)與多模態(tài)檢索的性能。在一階馬爾可夫鏈中，每個(gè)目標(biāo)對(duì)象的內(nèi)容特征與語(yǔ)義特征可以分別表示一個(gè)隱藏狀態(tài)及其對(duì)應(yīng)的發(fā)射概率。根據(jù)多類邏輯回歸或隨機(jī)森林，具有一階馬爾可夫鏈的CCSS模型可以把每個(gè)模態(tài)數(shù)據(jù)的原始特征映射到一個(gè)共同的語(yǔ)義空間。通過(guò)在馬爾可夫鏈內(nèi)尋找一條最優(yōu)的狀態(tài)路徑，CCSS模型能夠?yàn)槊總€(gè)查詢對(duì)象返回一條目標(biāo)對(duì)象的索引序列。在這個(gè)序列中，相鄰的目標(biāo)對(duì)象具有類似的內(nèi)容信息與語(yǔ)

6、義信息。
　　不同模態(tài)的數(shù)據(jù)提供了互補(bǔ)的信息，它們的相互作用可以幫助人們?cè)诟邔哟紊细玫乩斫舛嗄B(tài)數(shù)據(jù)文檔。在跨模態(tài)檢索的過(guò)程中，具有兩條一階馬爾可夫鏈的圖模型（CCSSI）不僅考慮了不同模態(tài)數(shù)據(jù)的相互作用，而且結(jié)合了內(nèi)容相似性與語(yǔ)義相似性。一條鏈中的對(duì)象可以轉(zhuǎn)移到該鏈的另一個(gè)對(duì)象，卻不能轉(zhuǎn)移到另一條鏈上的任意對(duì)象。當(dāng)CCSSI模型檢索一條鏈中的對(duì)象時(shí)，另一條鏈中的對(duì)象能夠補(bǔ)充有用的信息。在某一個(gè)時(shí)間步，最相關(guān)對(duì)象的選擇同時(shí)依賴于