視頻語(yǔ)義信息提取的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)的發(fā)展，產(chǎn)生了越來(lái)越多的視頻數(shù)據(jù)。相比較于傳統(tǒng)的文本信息，視頻的內(nèi)容更加豐富、直觀和生動(dòng)。但是視頻由于其非結(jié)構(gòu)化和內(nèi)容的多義性，使得無(wú)法對(duì)它進(jìn)行有效的檢索。如何對(duì)這些視頻進(jìn)行有效地組織，存儲(chǔ)，管理和檢索，使用戶(hù)能快速獲得所需要的信息，已成為一種迫切的需求。傳統(tǒng)的信息檢索方案，因其不能自動(dòng)、客觀地概括視頻的內(nèi)容，已越來(lái)越不能滿(mǎn)足信息技術(shù)發(fā)展的需要。20世紀(jì)90年代初，開(kāi)始了一種新技術(shù)的研究，這就是目前人們普遍關(guān)注的基于

2、內(nèi)容的視頻檢索技術(shù)（CBVR，Content-Based Video Retrieval）。 早先的視頻信息檢索方案，是通常人工瀏覽視頻、人工標(biāo)注信息來(lái)實(shí)現(xiàn)的。但它不能客觀、準(zhǔn)確、全面地概括視頻的內(nèi)容?，F(xiàn)有的內(nèi)容檢索技術(shù)則是基于底層特征的，它將視頻序列分割為鏡頭，并在鏡頭內(nèi)選擇關(guān)鍵幀，然后提取鏡頭的運(yùn)動(dòng)特征和關(guān)鍵幀中的視覺(jué)特征，并存入視頻數(shù)據(jù)庫(kù)。最后根據(jù)用戶(hù)提交的查詢(xún)按照一定特征進(jìn)行視頻檢索，將檢索結(jié)果按相似性程度交給用戶(hù)。這種

3、檢索方式是基于底層特征的，非語(yǔ)義層面的。然而，人們更習(xí)慣于使用高層概念進(jìn)行相似性判斷。當(dāng)中存在的低層特征和高層語(yǔ)義之間的“語(yǔ)義鴻溝”問(wèn)題，使得CBVR還難以適用于普通用戶(hù)。如何填平“語(yǔ)義鴻溝”，達(dá)到語(yǔ)義級(jí)別的視頻檢索，成為最具挑戰(zhàn)的研究?jī)?nèi)容。 為實(shí)現(xiàn)根據(jù)語(yǔ)義查詢(xún)，本論文針對(duì)視頻高層語(yǔ)義提?。ɑ蛞曨l標(biāo)注）展開(kāi)研究，利用支持向量機(jī)（SVM）提取視頻的語(yǔ)義特征。在當(dāng)前普遍缺乏訓(xùn)練樣本的前提下，將主動(dòng)學(xué)習(xí)引入語(yǔ)義提取當(dāng)中，在人工干預(yù)盡量

4、少的情況下，獲得更好的結(jié)果。然而已有的主動(dòng)學(xué)習(xí)算法多采用單模態(tài)的方法，即將特征向量串聯(lián)成一個(gè)大維數(shù)向量，來(lái)進(jìn)行學(xué)習(xí)。考慮到視頻特征的多樣性和復(fù)雜性，本文提出一種基于SVM的多模態(tài)主動(dòng)學(xué)習(xí)算法，在每一輪主動(dòng)學(xué)習(xí)中，根據(jù)每個(gè)模態(tài)反饋的樣本進(jìn)行人工標(biāo)注。每個(gè)模態(tài)使用SVM學(xué)習(xí)其概念。通過(guò)該方法，更充分地挖掘了人工標(biāo)注的勞動(dòng)，避免反饋樣本局限于特定區(qū)域。 本文的主要工作如下：1、首先論述了視頻檢索的研究背景和研究現(xiàn)狀；2、在研究視頻檢索