基于機器學習的立體視頻視覺顯著模型研究.pdf

1、圖像視覺顯著度的研究一直以來都是計算機視覺領(lǐng)域的一個重要研究課題。研究圖像視覺顯著度不僅可以幫助人們理解人類的視覺注意機制，而且在圖像裁剪、視頻壓縮以及圖像的伸縮變換等方向具有遠大的應(yīng)用前景。經(jīng)過多年的努力，研究者在二維圖像的視覺顯著度研究中已經(jīng)獲得了許多重要的成果。然而隨著立體影像制作、播放技術(shù)的快速發(fā)展，視覺顯著度研究迎來了新的挑戰(zhàn)。因為立體影像引入的深度感知會影響人們的視覺注意，進而影響圖像的視覺顯著度。
　　一直以來研究者

2、都在努力構(gòu)建一個能夠準確預(yù)測圖像視覺顯著度的模型。特征綜合、引導搜索等認知理論表明構(gòu)建一個優(yōu)秀的視覺顯著度模型關(guān)鍵在于特征選取和特征融合這兩個方面。本文也從這兩個方面出發(fā)，努力構(gòu)建一個能夠盡可能準確預(yù)測立體視頻顯著度的模型。在提取特征時本文依據(jù)人類的視覺注意機制提取了立體視頻幀的DCT變換特征、Itti三通道特征、子帶特征、顏色空間特征、深度、運動、中心偏向等全局顯著特征以及使用卷積神經(jīng)網(wǎng)絡(luò)獲取了局部顯著特征。對以上特征經(jīng)過分析、對比和

3、實驗，針對不同的特征融合方法選用了不同的顯著特征組合。然后分別采用支持向量機和卷積神經(jīng)網(wǎng)絡(luò)進行多特征融合。其中在使用卷積神經(jīng)網(wǎng)絡(luò)進行特征融合時，針對本文選用的顯著特征組合，對卷積神經(jīng)網(wǎng)絡(luò)的一般性架構(gòu)進行了優(yōu)化，去除了下采樣層，使其學習效率和學習效果得到了提升。
　　最后將本文提出的模型與其它數(shù)個立體視覺顯著度模型采用顯著圖直觀評價、ROC和P-R曲線、AUC、F-measure、PLCC和KLD等多種評估方法進行對比評估。同時分析