圖像與視頻自動(dòng)語義標(biāo)注方法研究.pdf

1、基于文本檢索的成熟技術(shù)來解決圖像檢索的問題已經(jīng)取得了很大成功,像Google和Baidu等商業(yè)搜索引擎都已推出了自己的基于文本的圖像檢索服務(wù)。但是遺憾的是,互聯(lián)網(wǎng)上大規(guī)模的數(shù)字媒體中僅有非常少量的數(shù)據(jù)是帶有文本標(biāo)簽和文字描述的,而且數(shù)據(jù)還在快速增加。為了更好的管理和利用這些數(shù)據(jù),讓這些信息豐富的數(shù)據(jù)發(fā)揮更大的價(jià)值,對(duì)圖像和視頻的語義提取成為了近年研究的熱點(diǎn)。過去十年,基于統(tǒng)計(jì)模型和分類模型提出了多種解決方案,但是都沒有達(dá)到令人滿意的效果

2、。
　　 多示例多標(biāo)簽學(xué)習(xí)(MIML)是近年才出現(xiàn)的一種新的學(xué)習(xí)框架,由于其對(duì)多義性對(duì)象的出色表達(dá)能力而被運(yùn)用到圖像分類和標(biāo)注任務(wù)中。MIML將樣本看作由多個(gè)示例組成的示例包,并將其與多個(gè)語義標(biāo)注關(guān)聯(lián)。與傳統(tǒng)的學(xué)習(xí)技術(shù)相比,MIML對(duì)多語義的復(fù)雜物體的表示更自然,而實(shí)驗(yàn)也表明MIML在圖像場(chǎng)景分類等問題上都比傳統(tǒng)的學(xué)習(xí)技術(shù)有更好的效果。MIML中對(duì)圖像的多示例表示是解決圖像多義性表達(dá)的關(guān)鍵,其生成方式對(duì)標(biāo)注結(jié)果有重要的影響。本文

3、分析比較了基于區(qū)域和基于網(wǎng)格的兩種圖像多示例生成方式,并采用一種新的圖像分割算法進(jìn)行基于區(qū)域的多示例生成。圖像的多示例表示加大了圖像間相似度的計(jì)算復(fù)雜度,本文采用一種多示例核函數(shù)來度量多示例數(shù)據(jù)的相似性,在不損失其多義性表示的基礎(chǔ)上降低了計(jì)算復(fù)雜度。
　　 視頻標(biāo)注作為圖像標(biāo)注的延伸近年得到廣泛研究,大多數(shù)方法都是將視頻看作一組關(guān)鍵幀圖像的組合,從而借鑒圖像標(biāo)注的理論方法來解決視頻標(biāo)注的問題,也取得了不錯(cuò)的效果。但是經(jīng)典的圖像標(biāo)

4、注方法沒有時(shí)間維度,而時(shí)間維度是視頻中很重要的信息。視頻中一個(gè)鏡頭往往是描述同一個(gè)語義,即這個(gè)鏡頭中的所有幀圖像的語義概念都是相同的,所以考慮視頻的時(shí)間維度將會(huì)大大提高視頻標(biāo)注的準(zhǔn)確度。本文同樣將視頻看作一組關(guān)鍵幀圖像的組合對(duì)視頻的自動(dòng)標(biāo)注進(jìn)行了研究,并考慮視頻中的時(shí)間維度,提出一種基于時(shí)間一致性的核函數(shù)提高視頻標(biāo)注的準(zhǔn)確性。另外,為了提高模型的標(biāo)注準(zhǔn)確性和泛化能力,本文還探索了集成學(xué)習(xí)在圖像和視頻自動(dòng)標(biāo)注的應(yīng)用。
　　 本文主

5、要做了一下幾個(gè)方面的研究:1)分析現(xiàn)有的基于多示例的圖像標(biāo)注算法,探索比較了兩種多示例生成方法對(duì)結(jié)果的影響。2)提出一種基于MIML框架解決圖像標(biāo)注的問題的方法,我們首先采用一種新的圖像分割方式提取圖像的多示例表示,并采用多示例核函數(shù)度量其相似性,然后提出一個(gè)基于多種特征的集成學(xué)習(xí)算法。3)提出一種基于時(shí)間一致性的核函數(shù),充分利用視頻中關(guān)鍵幀之間的時(shí)間一致性提高視頻標(biāo)注的準(zhǔn)確性。為了驗(yàn)證算法的有效性,本文將在Core15k數(shù)據(jù)集,IAP