面向視頻理解的視頻表征模型及應(yīng)用研究.pdf

1、視頻理解是研究視頻圖像并進(jìn)行計(jì)算機(jī)解釋，實(shí)現(xiàn)人類視覺(jué)理解外部世界的一門學(xué)科。其主要任務(wù)是對(duì)視頻進(jìn)行分割、識(shí)別，并進(jìn)一步獲取有用信息，最后再將這些有用信息與應(yīng)用的語(yǔ)義環(huán)境進(jìn)行關(guān)聯(lián)。由于視頻結(jié)構(gòu)復(fù)雜、語(yǔ)義信息豐富，因此視頻的理解一直是視頻相關(guān)分析中的重點(diǎn)和難點(diǎn)。在目前檢索、標(biāo)注、分類等技術(shù)研究中，人們往往從視頻/圖像所描述的對(duì)象、場(chǎng)景或事件等高層次概念和語(yǔ)義上來(lái)建立對(duì)視頻相似性的理解。然而，計(jì)算機(jī)對(duì)視頻相似性的理解則是在諸如顏色、紋理、形狀

2、等底層特征的基礎(chǔ)之上進(jìn)行度量。由于人和計(jì)算機(jī)對(duì)視頻相似性的判斷依據(jù)存在差異，造成人所理解的“語(yǔ)義相似”與計(jì)算機(jī)所理解的“視覺(jué)相似”之間產(chǎn)生“語(yǔ)義鴻溝”。合理選擇視頻的屬性特征是視頻理解的關(guān)鍵步驟，也是后續(xù)各類應(yīng)用研究的關(guān)鍵。簡(jiǎn)潔有效的視頻表征不僅有利于視頻的壓縮存儲(chǔ)，而且有利于視頻的高效查找和管理。綜上所述，如何根據(jù)視頻的特有知識(shí)有效填補(bǔ)視頻理解中存在的“語(yǔ)義鴻溝”，對(duì)視頻的有效管理和分析應(yīng)用具有重要的研究意義。
　　本文旨在進(jìn)一

3、步縮小視頻理解中存在的“語(yǔ)義鴻溝”，重點(diǎn)研究視頻的有效表征及其在相關(guān)領(lǐng)域中的應(yīng)用。首先，研究了基于全局特征的表征方法及應(yīng)用；其次，基于局部特征提出一種多視角多層次并且融合語(yǔ)義信息的視頻表征模型；最后針對(duì)特殊視頻給出了融合領(lǐng)域知識(shí)的表征模型及其相關(guān)應(yīng)用。本文的主要工作和創(chuàng)新之處在于以下幾個(gè)方面：
　　1.提出一種在壓縮變換域中基于全局特征的視頻幀加權(quán)表征模型，并在此基礎(chǔ)上提出一種層次化(幀-鏡頭-視頻)的相似性度量方式。此外，進(jìn)一步

4、探討層次化度量模型在視頻例子檢索中的應(yīng)用。
　　2.提出一種多層次多視角的主題表征模型(Multi-Layer Multi-View Topic Model, mlmv-LDA)。針對(duì)全局特征在視頻幀表征時(shí)的不足，進(jìn)一步尋求面向視頻圖像局部特征的多表達(dá)域、多視角、多種特征層次下的解決途徑，建立視頻元數(shù)據(jù)與各種應(yīng)用需求的橋梁，有效填補(bǔ)了計(jì)算機(jī)和人對(duì)視頻理解時(shí)存在的“語(yǔ)義鴻溝”。提出的表征模型融合了建立在局部特征描述子之上的若干種中層

5、特征以及高層特征，并結(jié)合主題模型中隱含狄利克雷分布（Latent Dirichlet Allocation LDA）來(lái)學(xué)習(xí)每個(gè)視頻的隱含主題分布，以對(duì)底層視覺(jué)特征和高層語(yǔ)義特征進(jìn)行有效融合。
　　3.提出一種針對(duì)廣告視頻的帶后驗(yàn)概率的主題表征模型(posterior probability involved in LDA, ppLDA)。針對(duì)特定視頻的表征問(wèn)題，本文以廣告視頻作為特定的研究對(duì)象，將廣告視頻中包含的品牌信息(Logo

6、)和高層對(duì)象之間的共現(xiàn)概率信息整合到隱含狄利克雷分布(Latent Dirichelt Allocation, LDA)中進(jìn)行學(xué)習(xí)，這是一種讀特定視頻領(lǐng)域知識(shí)和主題學(xué)習(xí)模型的有效融合。最后，還進(jìn)一步探究了所提出的表征模型在分類中的應(yīng)用。
　　4.提出一種面向視頻高層語(yǔ)義表征的多標(biāo)簽學(xué)習(xí)框(Directed Probability Label Graph，DPLG)。該學(xué)習(xí)框架主要針對(duì)含有特定對(duì)象或標(biāo)記的視頻對(duì)象，是以廣告視頻作為該