基于統(tǒng)計(jì)機(jī)器翻譯的視頻描述自動(dòng)生成.pdf

1、人類使用豐富的自然語言來描述交流視覺可見的信息，例如視頻、圖像等。本文將描述一種針對(duì)視頻的自動(dòng)生成自然語言描述的方法。本文的方法分成兩個(gè)主要步驟：首先，基于視頻內(nèi)容，我們抽取出表征其關(guān)鍵信息的語義表示（其中包括了視頻中的活動(dòng)，活動(dòng)的客體等）。第二步,我們基于抽取出來的語義表示生成自然語言描述。與傳統(tǒng)的自然語言生成不同，在本文中我們將由語義表示到自然語言的轉(zhuǎn)換過程抽象為一個(gè)統(tǒng)計(jì)機(jī)器翻譯問題：視頻的語義表示在統(tǒng)計(jì)機(jī)器翻譯的框架下作為源語言，

2、自然語言描述則作為目標(biāo)語言。我們采用TACoS[1]作為平行語料庫，從中學(xué)習(xí)統(tǒng)計(jì)機(jī)器翻譯模型。TACoS中包含了視頻片段，對(duì)應(yīng)的底層語義信息標(biāo)注以及人工標(biāo)注的視屏片段描述。為了減小從視頻中抽取出的語義表示中包含的噪聲對(duì)生成自然語言質(zhì)量的影響，我們采用word lattice結(jié)構(gòu)來表征多個(gè)具有不同概率的視頻語義表示，進(jìn)而采用word lattice解碼來翻譯得到最終的自然語言描述。實(shí)驗(yàn)結(jié)果顯示，我們的方法無論使用通用的機(jī)器翻譯自動(dòng)評(píng)價(jià)指標(biāo)