面向圖像描述的深度神經(jīng)網(wǎng)絡(luò)模型研究.pdf

1、近年來，人工智能和機(jī)器學(xué)習(xí)迅猛發(fā)展，在計(jì)算機(jī)視覺、語音識別和自然語言處理方面均得到了廣泛應(yīng)用。圖像內(nèi)容的語句描述結(jié)合了計(jì)算機(jī)視覺與自然語言處理，完成從圖像到自然語言的轉(zhuǎn)換。它能夠廣泛應(yīng)用到圖像檢索中，也能輔助殘疾人在互聯(lián)網(wǎng)進(jìn)行交流。針對圖像描述任務(wù)，與傳統(tǒng)的方法相比較，深度卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型能識別新圖像中的新事物，并對其進(jìn)行更為自然的語句描述。
　　目前，該任務(wù)的經(jīng)典模型神經(jīng)圖像描述的不足之一是其對圖像細(xì)節(jié)信息

2、的描述并不總是準(zhǔn)確的。本文從研究方法和研究問題兩個(gè)層面入手彌補(bǔ)上述不足，以使得描述更注重圖像區(qū)域細(xì)節(jié)的表達(dá)。針對方法的層面，在圖像描述常用的神經(jīng)圖像描述模型中加入注意機(jī)制，增強(qiáng)模型生成描述語句時(shí)對圖像細(xì)節(jié)的偏重；針對問題的層面，在前人提出的圖像區(qū)域描述任務(wù)基礎(chǔ)上，對全卷積定位網(wǎng)絡(luò)模型的網(wǎng)絡(luò)層增加批歸一化轉(zhuǎn)換，加快模型的訓(xùn)練速度并提升區(qū)域檢測和語句描述的準(zhǔn)確度。本文完成的主要研究工作包括：
　?、俜治隽四壳耙延械膱D像描述任務(wù)研究，特

3、別是指出在谷歌的神經(jīng)圖像描述模型基礎(chǔ)上改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)編碼、循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型、編碼輸入方法或者詞嵌入方法等的現(xiàn)狀。針對圖像區(qū)域描述任務(wù)，闡述了以全卷積定位網(wǎng)絡(luò)模型為核心開展研究工作的現(xiàn)狀；
　?、卺槍ι窠?jīng)圖像描述模型缺乏對圖像細(xì)節(jié)信息的描述問題，提出一種使用注意機(jī)制改進(jìn)描述語句的生成方式。先通過多示例學(xué)習(xí)提取圖像的關(guān)鍵區(qū)域的標(biāo)簽詞語，再將其詞向量作為神經(jīng)圖像描述模型中的長短時(shí)記憶網(wǎng)絡(luò)語言模型的隱含層的輸入，使語言模型在生成描述

4、的詞語時(shí)能更偏向標(biāo)簽詞語；
　?、蹖D像區(qū)域描述任務(wù)的經(jīng)典模型，提出批歸一化轉(zhuǎn)換其網(wǎng)絡(luò)層，以此改善模型訓(xùn)練的收斂速度，同時(shí)提高模型檢測區(qū)域和生成描述的準(zhǔn)確度。在批歸一化卷積層和長短時(shí)記憶隱含層中分別調(diào)整轉(zhuǎn)換算法，使其適應(yīng)網(wǎng)絡(luò)層的結(jié)構(gòu)，且不影響整個(gè)模型端到端的訓(xùn)練；
　?、芊謩e對上述提出的模型使用圖像描述數(shù)據(jù)集和圖像區(qū)域描述數(shù)據(jù)集進(jìn)行訓(xùn)練，并分別使用相應(yīng)的指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行評價(jià)。為了方便比較模型改進(jìn)效果，重新訓(xùn)練了兩個(gè)經(jīng)典模型