基于內(nèi)容的交互式視頻檢索.pdf

1、隨著互聯(lián)網(wǎng)和多媒體技術(shù)的迅速發(fā)展，視頻信息資源日益豐富，面對(duì)海量視頻信息，如何快速有效地進(jìn)行視頻內(nèi)容分析和檢索成為當(dāng)前視頻信息領(lǐng)域研究的熱點(diǎn)?；趦?nèi)容的視頻檢索綜合了視頻處理、圖像理解、模式識(shí)別、數(shù)據(jù)庫(kù)等領(lǐng)域的知識(shí)，使用視頻底層特征作為檢索依據(jù)，克服基于文字檢索方式的不足，具有廣闊的應(yīng)用前景。 論文針對(duì)基于內(nèi)容的交互式視頻檢索技術(shù)中鏡頭邊界檢測(cè)、鏡頭相似性度量、視頻檢索相關(guān)反饋以及相關(guān)反饋中半監(jiān)督學(xué)習(xí)等問題展開研究，主要工作如下

2、： (1)提出一種基于運(yùn)動(dòng)補(bǔ)償?shù)淖赃m應(yīng)閾值鏡頭邊界檢測(cè)方法：用一個(gè)累積幀存儲(chǔ)每一幀間的差異，放大漸變的特征變化，利用塊匹配算法對(duì)運(yùn)動(dòng)進(jìn)行估計(jì)和補(bǔ)償，減少物體運(yùn)動(dòng)對(duì)鏡頭邊界檢測(cè)的影響，并根據(jù)幀顏色亮度和飽和度與閾值之間的關(guān)系，自適應(yīng)地選取閾值，提高鏡頭邊界檢測(cè)的準(zhǔn)確性。通過對(duì)不同視頻片段鏡頭分割實(shí)驗(yàn)，結(jié)果表明本文的提出的算法能夠在較小計(jì)算強(qiáng)度下很好地實(shí)現(xiàn)鏡頭漸變檢測(cè)。 (2)提出一種基于組合相似性的鏡頭相似性度量方法：首先

3、通過視覺聚類方法對(duì)鏡頭進(jìn)行關(guān)鍵幀提取，把鏡頭看作關(guān)鍵幀序列組成的組合，把兩個(gè)鏡頭的相似性度量建立在組合相似性上，然后基于核方法，通過一個(gè)非線性映射，把原始數(shù)據(jù)空間映射到一個(gè)高維特征空間，在這個(gè)空間中可以假設(shè)特征向量表示的關(guān)鍵幀序列服從高斯分布，利用常用概率距離公式得到兩分布之間距離值，以此衡量?jī)蓚€(gè)鏡頭的相似程度。該方法從整體上度量?jī)蓚€(gè)鏡頭之間相似性，克服了關(guān)鍵幀(幀)之間點(diǎn)點(diǎn)比較的缺點(diǎn)，實(shí)驗(yàn)結(jié)果表明，該方法的檢索效果明顯優(yōu)于傳統(tǒng)的基于歐

4、氏距離的方法和最近鄰線(NFL)方法。 (3)在檢索過程中引入人的因素，提出一種基于貝葉斯相關(guān)反饋的交互式視頻檢索方法：視頻庫(kù)中每一個(gè)鏡頭與查詢例子的相似程度由該鏡頭目標(biāo)概率來衡量，每一次迭代過程中根據(jù)目標(biāo)概率變化從視頻庫(kù)中選擇若干鏡頭供用戶標(biāo)記，系統(tǒng)根據(jù)用戶標(biāo)記的相關(guān)和不相關(guān)鏡頭估計(jì)用戶模型，利用用戶模型結(jié)合上一次迭代得到的目標(biāo)概率通過貝葉斯公式得到視頻庫(kù)中每一個(gè)鏡頭新一輪的目標(biāo)概率，使得與查詢例子相似的鏡頭目標(biāo)概率值不斷增加

5、。實(shí)驗(yàn)結(jié)果表明，在不同鏡頭相似性度量下，該方法均可明顯提高檢索性能，且只需要很少的反饋次數(shù)就能達(dá)到很好的檢索效果。 (4)在交互式視頻檢索中，針對(duì)相關(guān)反饋在線學(xué)習(xí)中訓(xùn)練樣本少、存在大量未標(biāo)記樣本、在線特征選擇問題和訓(xùn)練樣本的不對(duì)稱性等問題，提出一種基于高斯隨機(jī)場(chǎng)模型(GRFM)半監(jiān)督學(xué)習(xí)視頻檢索相關(guān)反饋方法：利用半監(jiān)督學(xué)習(xí)算法根據(jù)用戶標(biāo)記的相關(guān)和不相關(guān)鏡頭，結(jié)合本輪目標(biāo)概率更新后視頻庫(kù)中大量未標(biāo)記鏡頭，首先利用標(biāo)記和未標(biāo)記鏡頭建