視頻搜索結(jié)果的重排序研究.pdf

1、互聯(lián)網(wǎng)中視頻數(shù)據(jù)在近幾年呈爆炸式增長(zhǎng)并且廣泛分布，使得視頻搜索成為當(dāng)前視頻研究的重點(diǎn)和熱點(diǎn)。由于文本搜索的成功應(yīng)用，現(xiàn)今通用的大型視頻搜索引擎，如Google、Yahoo!、Llve、百度等主要還是利用視頻數(shù)據(jù)周?chē)奈谋拘畔?，采用基于文本搜索的方法?shí)現(xiàn)視頻搜索和排序。然而，視頻內(nèi)容及其所包含的復(fù)雜意義通常是語(yǔ)言工具難以完整描述與表達(dá)的。為了解決這種原始文本搜索的缺陷，視頻搜索結(jié)果的重排序逐漸引起了眾多研究者的關(guān)注。重排序，是指基于原始搜

2、索排序的基礎(chǔ)上，通過(guò)挖掘數(shù)據(jù)內(nèi)在關(guān)聯(lián)、或者借鑒外部知識(shí)和人工干預(yù)，對(duì)原始搜索結(jié)果進(jìn)行重新排序的過(guò)程，目的是提高搜索質(zhì)量和提升用戶搜索體驗(yàn)。 本論文首先提出一種新穎的基于查詢獨(dú)立的學(xué)習(xí)框架，接著從三個(gè)階段研究了視頻搜索結(jié)果的重排序中的關(guān)鍵問(wèn)題，即自重排序(僅從自身挖掘相關(guān)知識(shí))、樣例重排序(利用用戶提供的查詢樣例)和群重排序(利用從外部搜索引擎的結(jié)果中挖掘的知識(shí))。顯然這三個(gè)階段涵蓋了現(xiàn)今的大部分視覺(jué)信息重排序的框架和方法。本文對(duì)

3、視頻重排序方法進(jìn)行了深入的研究，主要工作和創(chuàng)新之處歸納為以下幾點(diǎn)： (1)對(duì)于查詢獨(dú)立的學(xué)習(xí)框架，本文提出了在“查詢-鏡頭”對(duì)中學(xué)習(xí)相關(guān)性關(guān)系。與傳統(tǒng)的查詢依賴的學(xué)習(xí)框架不同，該種方法的訓(xùn)練模型和任何查詢沒(méi)有直接關(guān)系，故訓(xùn)練樣本在所有的查詢中能達(dá)到共享，更適用于實(shí)際的應(yīng)用。在這種查詢獨(dú)立的學(xué)習(xí)框架下，各種機(jī)器學(xué)習(xí)的方法都可以擴(kuò)張并應(yīng)用，從而進(jìn)一步提出了一種基于SVM模型的全監(jiān)督查詢獨(dú)立的學(xué)習(xí)方法和一種基于多圖模型的半監(jiān)督的查詢獨(dú)

4、立學(xué)習(xí)方法。經(jīng)過(guò)大量實(shí)驗(yàn)證實(shí)，查詢獨(dú)立的學(xué)習(xí)方法明顯優(yōu)于傳統(tǒng)的查詢依賴的學(xué)習(xí)方法，從算法的運(yùn)算量角度看，查詢獨(dú)立的學(xué)習(xí)方法也更具有實(shí)用性。 (2)對(duì)于自重排序，本文提出一種基于典型性的視頻結(jié)果的重排序方法。傳統(tǒng)的基于學(xué)習(xí)的重排序方法往往只關(guān)心訓(xùn)練樣本的相關(guān)性或多樣性，卻忽略了樣本的典型性。本文提出在考慮相關(guān)性和多樣性的同時(shí)應(yīng)兼顧樣本的典型性。首先根據(jù)樣本的概率分布定義視頻/圖像的典型性，并將樣本選擇看成一個(gè)既考慮樣本典型性又兼顧

5、原始搜索結(jié)果的優(yōu)化問(wèn)題，最后基于選擇的高典型性樣本并利用SVM構(gòu)建重排序模型，實(shí)驗(yàn)表明該模型具有較好的泛化能力和較強(qiáng)的魯棒性。 (3)對(duì)于樣例重排序，本文提出一種基于查詢樣例的全監(jiān)督視頻重排序方法。傳統(tǒng)的全監(jiān)督的視頻重排序方法常根據(jù)經(jīng)驗(yàn)將重排序問(wèn)題轉(zhuǎn)化為二類的分類問(wèn)題，樣本完全根據(jù)分類的置信度進(jìn)行排序。文中提出了重排序?qū)嶋H上應(yīng)是一個(gè)優(yōu)化問(wèn)題，即一個(gè)序列中的任意兩個(gè)樣本都能正確排序即可達(dá)到全局最優(yōu)，而不是簡(jiǎn)單地區(qū)分每一個(gè)樣本是否相

6、關(guān)。在這樣的框架下，進(jìn)一步提出兩種重排序算法，即直接重排序和插入重排序。實(shí)驗(yàn)證實(shí)，新的重排序方法可以較大程度地改進(jìn)原始的搜索結(jié)果，與其他一些經(jīng)典的重排序方法相比，也具有較大的優(yōu)勢(shì)。 (4)對(duì)于群重排序，是本文中提出的重排序問(wèn)題的新的發(fā)展階段，旨在從互聯(lián)網(wǎng)中挖掘相關(guān)的視覺(jué)原型并利用到重排序中。據(jù)大量資料的調(diào)研，群重排序是首次將互聯(lián)網(wǎng)中的群包數(shù)據(jù)應(yīng)用到搜索結(jié)果的重排序當(dāng)中，與傳統(tǒng)的自重排序和樣例重排序有顯著的不同。首先利用多個(gè)搜索引