基于時(shí)空短語(yǔ)的視頻檢索.pdf

1、隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的高速發(fā)展,視頻資源日益豐富,應(yīng)用也越來(lái)越普遍。視頻資源由于包含了生動(dòng)豐富的信息,吸引了越來(lái)越多的研究者和用戶的重視。如何從海量的多媒體信息庫(kù)中找到需要的多媒體信息已經(jīng)成為一個(gè)重要的課題。傳統(tǒng)的基于文字的方法已不能滿足人們查找信息的要求。為了解決這些難題,20世紀(jì)90年代出現(xiàn)了基于內(nèi)容的視頻檢索技術(shù)(CBVR,Content-based VideoRetrieval),就是由計(jì)算機(jī)對(duì)于視頻內(nèi)容自動(dòng)分析,用戶可以通

2、過提交樣例數(shù)據(jù)或者描述信息查找自己想要的視頻數(shù)據(jù)。
　　 本文在基于內(nèi)容視頻檢索研究成果的基礎(chǔ)上,根據(jù)特征軌跡間的時(shí)空關(guān)系,提出了基于時(shí)空詞(spatiotemporal-word)的構(gòu)建方法與鏡頭內(nèi)時(shí)空短語(yǔ)(spatiotemporal-phrase)的構(gòu)建方法,并將視頻鏡頭表示為基于時(shí)空短語(yǔ)的矢量,這樣使得基于內(nèi)容的視頻檢索簡(jiǎn)化為類似于基于文本的檢索的方法,這樣做有利于提高檢索效率。實(shí)驗(yàn)證明,本文方法取得了較好的檢索效果,為

3、以后進(jìn)一步研究打下了基礎(chǔ)。
　　 本文首先對(duì)整個(gè)視頻進(jìn)行預(yù)處理。(1)為了不丟失鏡頭內(nèi)圖像信息,本系統(tǒng)使用所有幀參與特征提取,與傳統(tǒng)的只考慮關(guān)鍵幀的方法相比,這增加了預(yù)處理階段的時(shí)間開銷,但不影響用戶在線檢索的時(shí)間。(2)用SIFT方法提取幀圖像上的特征和進(jìn)行特征描述。(3)計(jì)算幀間的特征匹配,根據(jù)相鄰幀間特征匹配的程度分割視頻為一系列鏡頭。(4)在每個(gè)鏡頭內(nèi)跟蹤特征,檢測(cè)特征軌跡,獲取特征軌跡的表示。(5)用K均值聚類法對(duì)特征

4、軌跡進(jìn)行聚類,生成具有時(shí)空屬性的時(shí)空詞。(6)對(duì)每個(gè)鏡頭,根據(jù)特征軌跡間的空間距離關(guān)系構(gòu)建時(shí)空短語(yǔ),把鏡頭表示為一個(gè)由出現(xiàn)在鏡頭內(nèi)的時(shí)空短語(yǔ)的頻數(shù)構(gòu)成的矢量,即鏡頭矢量。
　　 查詢階段,由用戶給出查詢物體的示例圖像,提取查詢圖像上的特征,將特征描述子量化成時(shí)空詞,根據(jù)查詢圖像上特征問的空間位置關(guān)系構(gòu)建時(shí)空短語(yǔ),進(jìn)而把查詢圖像表示為一個(gè)與鏡頭矢量相同長(zhǎng)度的矢量,即查詢矢量。計(jì)算查詢矢量與每個(gè)鏡頭矢量的反余弦值,即查詢矢量與每個(gè)鏡