視頻語義標(biāo)注的若干問題研究.pdf

1、近年來隨著存儲設(shè)備、傳輸和壓縮技術(shù)的發(fā)展，數(shù)字視頻以極高的速度增長。如何有效的管理這些視頻成為一個急待解決的問題。常用的方案是發(fā)展自動分析技術(shù)從視頻中提取“元數(shù)據(jù)” (metadata)來對視頻內(nèi)容進(jìn)行語義層的描述。有了這些元數(shù)據(jù)的幫助，就能有效的建立視頻檢索、摘要、發(fā)布和處理的工具和系統(tǒng)。視頻或視頻鏡頭的自動語義標(biāo)注(在TRECVID任務(wù)中也稱為高層特征提取)是獲取這些元數(shù)據(jù)的一個基本步驟。手工進(jìn)行視頻集合的標(biāo)注是最直接的方法，然而這

2、樣做非常耗時耗力，因此研究人員們提出了很多種基于機(jī)器學(xué)習(xí)的視頻自動標(biāo)注方法。 目前基于學(xué)習(xí)的標(biāo)注方法已經(jīng)取得了一定的成功，然而由于底層視覺特征和高層語義概念之間的“語義鴻溝”的存在，基于機(jī)器學(xué)習(xí)的視頻標(biāo)注中仍然存在一些值得研究的問題，包括訓(xùn)練集的構(gòu)造、如何利用大量的未標(biāo)注數(shù)據(jù)、挖掘視頻數(shù)據(jù)中的上下文知識，以及典型性排序問題。本論文針對這些問題進(jìn)行了深入的研究并取得了如下成果： (1)針對訓(xùn)練集的構(gòu)造問題，提出構(gòu)造一個包含

3、所有數(shù)據(jù)的時間和空間分布信息的小樣本集進(jìn)行人工標(biāo)注作為訓(xùn)練集，這樣在保證標(biāo)注性能的同時又能大大降低人工勞動。本文給出了構(gòu)造的訓(xùn)練集逼近原始數(shù)據(jù)集程度的評價指標(biāo)并在此基礎(chǔ)上提出了構(gòu)造訓(xùn)練集的優(yōu)化準(zhǔn)則和近似解法。在一個家庭視頻數(shù)據(jù)集合上的實(shí)驗驗證了本文構(gòu)造方法的有效性。 (2)把半監(jiān)督學(xué)習(xí)的兩個基本假設(shè)之一的結(jié)構(gòu)假設(shè)直接嵌入進(jìn)基于圖的半監(jiān)督學(xué)習(xí)方法的關(guān)鍵點(diǎn)相似性度量中，提出了各向異性流形排序算法，進(jìn)一步提高了半監(jiān)督學(xué)習(xí)方法的性能。并

4、且從基于偏微分方程的擴(kuò)散角度對該算法進(jìn)行了分析，揭示了各向異性流形排序算法和普通基于圖的方法的本質(zhì)區(qū)別：本方法中的標(biāo)記信息傳播過程是各向異性的，而通常的基于圖的方法都是各向同性的。在標(biāo)準(zhǔn)新聞視頻集合TRECVID數(shù)據(jù)集上的實(shí)驗顯示了該方法明顯優(yōu)于SVM和其它常用的基于圖的半監(jiān)督學(xué)習(xí)方法。 (3)分析了近期研究人員提出的局部鄰域傳播(LNP)的方法潛在的線性語義假設(shè)針對視頻數(shù)據(jù)的不足，并受啟發(fā)于核技巧(kernel trick)在

5、模式識別領(lǐng)域取得的巨大成功，通過核方法把底層特征映射到一個非線性的特征空間中，解決了線性映射的限制，在映射空間中結(jié)合半監(jiān)督學(xué)習(xí)中的一致性假設(shè)和非線性降維方法，提出了核映射局部鄰域信息傳播算法，進(jìn)一步提高了視頻語義標(biāo)注的性能。 (4)探索了視頻數(shù)據(jù)的兩種上下文知識，即時間一致性和語義相關(guān)性，并把這兩種特性結(jié)合進(jìn)機(jī)器學(xué)習(xí)方法，提出了兩種利用上下文知識的視頻標(biāo)注方法：時間一致高斯隨機(jī)場方法和基于多關(guān)系圖的標(biāo)記傳播算法，實(shí)驗說明了結(jié)合這