基于上下文的視頻多語義標(biāo)注研究及實現(xiàn).pdf

1、如何對當(dāng)前環(huán)境下海量的視頻數(shù)據(jù)進(jìn)行有效的檢索和管理成為了多媒體技術(shù)領(lǐng)域的一個挑戰(zhàn)。對視頻添加語義標(biāo)注是解決這個問題的主要方式，然而由于現(xiàn)實中視頻內(nèi)容復(fù)雜多變，而且視頻語義的復(fù)雜性、模糊性和主觀性使得低層特征和高層語義之間存在著“語義鴻溝”，導(dǎo)致現(xiàn)有的標(biāo)注方法很難達(dá)到滿意的效果。視頻豐富的內(nèi)容在語義上存在一定的關(guān)聯(lián)性，在時間上也存在上下文關(guān)聯(lián)性，因此，充分利用這兩個特性將有助于縮小視頻的“語義鴻溝”，提高標(biāo)注的準(zhǔn)確性，以滿足海量數(shù)據(jù)檢索和

2、管理的要求。
　　本文基于視頻數(shù)據(jù)的時間和語義的上下文關(guān)聯(lián)特性，對視頻進(jìn)行標(biāo)注及優(yōu)化，來解決現(xiàn)有視頻語義標(biāo)注過程中重復(fù)勞動多、效率低下和效果不佳的問題。完成的工作主要包括：
　　一、提出一個基于視頻內(nèi)容上下文的多語義自動標(biāo)注方法。該方法從視頻層次結(jié)構(gòu)信息和視頻語義信息兩方面進(jìn)行標(biāo)注，在結(jié)構(gòu)上從上到下將視頻、特征幀和圖像區(qū)域構(gòu)建成一個樹模型；在語義信息上將劃分好的區(qū)域根據(jù)訓(xùn)練好的分類模型轉(zhuǎn)換為相應(yīng)的文本標(biāo)注。
　　二、提

3、出一個基于壓縮域和和聚類的特征幀提取方法。本文是以現(xiàn)有視頻基于聚類和基于壓縮域的特征幀提取算法為基礎(chǔ)加以改進(jìn)，利用壓縮域中I幀為中心進(jìn)行聚類，然后根據(jù)幀之間的相似度重新計算聚類中心，以此得到視頻特征幀幀，并根據(jù)聚類大小得到每個特征幀對視頻的貢獻(xiàn)度。最后通過實驗證明此方法有很好的切分性能。
　　三、根據(jù)視頻的結(jié)構(gòu)信息構(gòu)建視頻樹模型整合視頻標(biāo)注結(jié)果。對于提取出的視頻特征幀，進(jìn)行區(qū)域劃分，然后再將劃分好的區(qū)域轉(zhuǎn)為文本；然后再利用Imag

4、eNet2014數(shù)據(jù)集訓(xùn)練Caffe框架，以得到圖像分類模型，將劃分的區(qū)域利用Caffe進(jìn)行檢測，得到區(qū)域的對象概念。然后根據(jù)視頻的垂直結(jié)構(gòu)，構(gòu)建視頻樹模型，得到初步的視頻標(biāo)注結(jié)果。
　　四、提出了一個基于模糊圖的視頻標(biāo)注優(yōu)化方法。分析視頻語義概念間的關(guān)聯(lián)性，針對風(fēng)景領(lǐng)域的視頻數(shù)據(jù)，統(tǒng)計視頻中對象概念出現(xiàn)的頻率以及它們之間的關(guān)聯(lián)關(guān)系，然后將概念間的關(guān)聯(lián)關(guān)系構(gòu)建語義模糊圖，利用模糊圖結(jié)合視頻樹模型對標(biāo)注結(jié)果進(jìn)行優(yōu)化。
　　本文