基于結(jié)構(gòu)化文本的圖像語義描述生成方法研究.pdf

1、基基基于于于結(jié)結(jié)結(jié)構(gòu)構(gòu)構(gòu)化化化文文文本本本的的的圖圖圖像像像語語語義義義描描描述述述生生生成成成方方方法法法研研研究究究GeneratingImageCaptionsFromStructuralWds學科專業(yè)：軟件工程研究生：馬書博指導教師：王征副教授天津大學軟件學院二〇一六年十二月六日摘要近年來，隨著人工智能技術在多媒體領域的不斷發(fā)展，對圖像生成自然語言描述得到了越來越多的關注。針對不同的圖像信息，我們生成的自然描述將包括圖像中存在的

2、物體以及物體所具有的屬性、活動和場景，這種描述將更能體現(xiàn)圖像的細節(jié)信息，便于人們的理解?；谏鲜鲂枨笠约叭斯ぶ悄芗夹g，特別是深度學習技術的不斷發(fā)展，在本文中，我們主要介紹了基于已經(jīng)生成的結(jié)構(gòu)化文本（例如四元組）來產(chǎn)生圖像的自然描述。所以，本文主要介紹了通過兩個步驟來生成具有豐富信息的圖像自然語言描述的方法。第一部分為結(jié)構(gòu)化文本的生成階段，在這一階段中，我們采用多任務學習的方法來識別圖像中存在的結(jié)構(gòu)本文：。在下一階段中，我們使用基于深度學

3、習的機器翻譯方法，將已經(jīng)生成的結(jié)構(gòu)化文本序列作為源語言，并利用這些識別出的結(jié)構(gòu)化文本來生成具有語義的，有意義的自然語言描述。為了達到這一目的，我們使用了長短期記憶模型（LSTM）編碼解碼機器翻譯模型來將上述結(jié)構(gòu)化文本序列翻譯為目標語言，也就是圖像的自然語言描述。特別地，這些描述主要由物體和它們具有的屬性，比如顏色，大小等，以及物體之間存在的相應的活動關系和場景所組成。與此同時，為了證明第一階段中我們采用多任務學習的方法生成結(jié)構(gòu)化文本的有