基于語義先驗(yàn)約束的多媒體特征表示研究.pdf

1、多媒體計(jì)算技術(shù)是實(shí)現(xiàn)具有類人多模態(tài)感知能力的機(jī)器人等高級人工智能終極目標(biāo)的基石，其具有非常重要的學(xué)術(shù)意義和實(shí)際應(yīng)用價(jià)值。解決多媒體計(jì)算問題的關(guān)鍵是對不同模態(tài)的數(shù)據(jù)構(gòu)建強(qiáng)大的特征表示模型，即多媒體特征表示。傳統(tǒng)的基于人工設(shè)計(jì)的特征表示模型對數(shù)據(jù)的中層結(jié)構(gòu)和高層語義信息的表示能力有限，無法突破“語義鴻溝”。近年來興起的深度學(xué)習(xí)模型借鑒了人類神經(jīng)系統(tǒng)的一些特性，利用了機(jī)器學(xué)習(xí)技術(shù)，具有強(qiáng)大的非線性擬合能力，是最有希望解決多媒體數(shù)據(jù)特征表示問題

2、的研究方向。然而目前絕大多數(shù)深度特征表示模型過于依賴大數(shù)據(jù)本身進(jìn)行完全數(shù)據(jù)驅(qū)動(dòng)的模型自動(dòng)學(xué)習(xí)，忽略了人類通過數(shù)萬年演化及生存經(jīng)驗(yàn)所獲得的對客觀事物的規(guī)律進(jìn)行總結(jié)的知識，很少有研究涉及到如何把人類的知識作為一種語義先驗(yàn)對深度特征表示模型的學(xué)習(xí)訓(xùn)練過程進(jìn)行指導(dǎo)。
　　本文主要探討了多媒體計(jì)算任務(wù)中基于語義先驗(yàn)約束的圖像、文本、視頻等模態(tài)數(shù)據(jù)的深度特征表示研究，充分借鑒了人工智能領(lǐng)域前沿的一些研究成果，對通過語義先驗(yàn)約束提升多媒體特征表

3、示的有效性開展了深入的研究。由于多媒體特征表示有效性的評估依賴于其具體應(yīng)用的多媒體計(jì)算相關(guān)任務(wù)，本文的理論研究與應(yīng)用研究緊密結(jié)合，理論研究服務(wù)于實(shí)際的應(yīng)用場景（視覺關(guān)鍵點(diǎn)坐標(biāo)定位、視頻文字描述自動(dòng)生成、多模態(tài)知識分析等）需要，應(yīng)用研究引導(dǎo)著理論算法的研究方向。本文的主要成果和貢獻(xiàn)包含以下幾個(gè)方面:
　　1、本文提出了一種基于幾何信息先驗(yàn)的圖像深度特征表示學(xué)習(xí)方法。該方法首先通過損失函數(shù)的形式對圖像中具有的人類易感知的幾何學(xué)信息進(jìn)行

4、建模，隨后通過該損失函數(shù)具體約束指導(dǎo)圖像特征表示模型的訓(xùn)練過程，所得到的特征表示可以被用來完成臉部關(guān)鍵點(diǎn)檢測或非剛性物體的運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)等任務(wù)，在不增加現(xiàn)有模型復(fù)雜度的前提下顯著提升性能。
　　2、本文提出了一種基于屬性先驗(yàn)的視頻深度特征表示學(xué)習(xí)方法。該方法首先提出了一種有效的視頻屬性詞典構(gòu)建方法，隨后提出了一種高效的視頻中層特征表示方法可以將一段視頻序列用單幅圖像進(jìn)行表示?；谏鲜霾襟E，本文成功的把復(fù)雜的視頻屬性表示學(xué)習(xí)問題轉(zhuǎn)換為

5、相對容易解決的圖像多標(biāo)簽分類問題。最后本文通過改進(jìn)序列-序列學(xué)習(xí)的編碼網(wǎng)絡(luò)結(jié)構(gòu)將具有屬性先驗(yàn)的視頻深度特征表示引入到視頻文字描述自動(dòng)生成框架中，顯著的提升了所生成文字語句的語義性。
　　3、本文提出了一種基于跨模態(tài)知識關(guān)聯(lián)先驗(yàn)的多模態(tài)深度特征表示學(xué)習(xí)方法。該方法可以直接從網(wǎng)絡(luò)數(shù)據(jù)中學(xué)習(xí)到多模態(tài)數(shù)據(jù)的深度知識表示。本文首先提出了一個(gè)完整的解決方案可以自動(dòng)的從網(wǎng)絡(luò)異質(zhì)非結(jié)構(gòu)化多模態(tài)數(shù)據(jù)中挖掘大規(guī)模結(jié)構(gòu)化多模態(tài)關(guān)系數(shù)據(jù)集。然后基于跨模態(tài)