基于時空顯著性的視頻場景解析.pdf

1、場景解析是理解圖像和視頻至關(guān)重要的一步。作為近年來計算機(jī)視覺領(lǐng)域最活躍的研究方向之一，場景解析在自動車輛導(dǎo)航、遙感、地表外貌自動識別、圖像檢索等諸多領(lǐng)域都具有十分廣泛的應(yīng)用前景。
　　通常，場景理解涉及兩個部分：場景內(nèi)容的提取和場景內(nèi)容的識別。本文利用顯著性模擬視覺注意機(jī)制提取場景中的顯著區(qū)域，然后使用改進(jìn)的圖像場景解析算法完成視頻場景內(nèi)容的分層標(biāo)注。主要研究工作如下：
　　1)針對現(xiàn)有時空顯著性檢測模型對于運(yùn)動特征的描述不

2、是過于簡單導(dǎo)致不足以包含豐富的運(yùn)動信息，就是太過復(fù)雜導(dǎo)致耗時太多的問題，提出一種基于慢特征分析的時空顯著性檢測模型。該方法首先以非監(jiān)督的方式從不同視頻序列的時空立方體中學(xué)習(xí)緩慢特征函數(shù)，然后利用兩層級聯(lián)的緩慢特征核來提取像素級的高層運(yùn)動特征用于計算時間顯著性，最后將獲得的時間顯著圖與基于布爾圖的空間顯著圖融合生成最終的時空顯著圖。在JPEGS視頻序列數(shù)據(jù)集上的實(shí)驗結(jié)果表明，提出的方法優(yōu)于其他的時空顯著模型，獲得了更好的顯著區(qū)域提取效果。

3、
　　2)針對通常的非參數(shù)圖像場景解析方法中利用人工特征的圖像檢索存在噪聲圖像導(dǎo)致不高的像素識別，以及利用 KNN的超像素分類傾向于忽略稀少類別而帶來較低的類別識別這兩個問題，提出一種自動特征學(xué)習(xí)的場景解析方法。該方法首先利用深度學(xué)習(xí)框架提取CNN特征代替?zhèn)鹘y(tǒng)的人工特征（如gist特征和空間金字塔匹配）用于場景相似性的圖像檢索，然后將 KNN與集成分類器技術(shù)相結(jié)合，通過合并不同概率分類器的似然得分來調(diào)整 KNN分類的似然估計，從而

4、增強(qiáng)稀少類別的分類性能。在兩個公開數(shù)據(jù)集SIFTflow和LMSun上的實(shí)驗結(jié)果表明，CNN特征在場景相似性描述上優(yōu)于人工特征，大大提高了場景標(biāo)注的像素識別率；另外KNN與集成分類器的融合使得場景標(biāo)注的類別識別率得到顯著提高。
　　3)針對傳統(tǒng)的非參數(shù)解析方法沒有考慮到場景中顯著區(qū)域所帶來的語義重要性，導(dǎo)致一些具有稀少特性的顯著區(qū)域標(biāo)注不正確這一問題，提出一種基于感興趣區(qū)域的視頻場景標(biāo)注算法。該方法首先利用時空顯著性模擬人眼視覺注