高維可視信號的結構化處理.pdf

1、可視信號（包括圖像、視頻、光場等）因其高維特性以及受光照、背景噪聲、尺度變化和非剛性形變等因素的影響，相比傳統(tǒng)低維信號（如雷達信號、聲音信號等）呈現更復雜的變化和更抽象的含義。針對高維可視信號的認知問題，本文將復雜的研究對象分解為多個相對簡單和穩(wěn)定的視覺單元進行結構化表示，并利用結構化預測的方法探索視覺單元的內在聯系并聯合建模。從低層視覺認知到高層視覺認知，本文針對樣例、物體、場景和配文圖像四類視覺對象，從姿態(tài)、部件、語義元素和認知概念

2、四個方面對它們進行結構化表示，并通過直推式學習、核方法、多任務學習和概率圖模型四種方法進行結構化預測，應用于視頻分割、物體識別、場景分類和圖像理解任務。
　　本文介紹了一種直推式多分量視頻分割算法，用于在視頻序列中分割出預定義的感興趣物體樣例。借鑒圖像協(xié)同分割的核心思想，本文提出的視頻分割方法通過同時最大化幀間前景相似性并最小化幀內前景-背景相似性的方式聯合分割多幀視頻圖像。本文提出的視頻分割方法利用有約束的參數化最小割算法從分割

3、空間合理采樣分割假設，并設計了一個能量函數從前景相似性、前景-背景差異、邊緣強度和視覺顯著性四方面評估每個分割假設。最終采用蒙特卡洛逼近方法將分割假設加權組合形成最優(yōu)前景分割。同時，本文構建了多分量前景模型用來捕捉視頻中前景物體的形態(tài)變化，對前景物體外觀差異巨大的視頻具有更強的魯棒性。為了將視頻幀組織成不同的分量，本文設計了一個樹結構的圖模型，稱為時域樹。它通過概率聚類將外觀相似并且時間一致的幀聚合成一個分支，并通過直推式學習訓練泛化能

4、力更強的分量模型。
　　本文提出了一種基于結構核函數和多尺度基于部件模型的物體識別算法。多尺度基于部件的模型在可變形基于部件模型的基礎上引入了多尺度部件表示，能夠更準確地捕捉物體由于姿態(tài)、視角和類內多樣性等因素造成的部件尺度變化。本模型將物體的外觀特征表示為一個整體視覺特征和多個部件的視覺特征。部件的空間布局在三維空間中表示，包含了二維平面坐標及尺度。其次，本文提出了一種結構核函數，將局部核的強大區(qū)分能力與基于部件模型的靈活表達能

5、力相結合，取得更強的物體識別性能。鑒于同一類物體的不同個體應該具有相似的整體外觀、獨特的局部部件和特定的空間布局，文本提出的結構核函數從整體外觀相似度、部件外觀相似度和部件空間布局相似度三個方面衡量兩個物體的相似度。此外，局部核函數具有靈活的參數配置，可以針對不同類型的物體通過數據驅動的方式進行學習，從而更準確地刻畫不同類型物體的視覺特性。
　　本文設計了一種基于多任務語義碼本學習和上下文感知的圖像表示的場景分類方法。首先，本文提

6、出的多任務語義碼本學習算法用一個獨有的語義碼本編碼特定語義類別的局部特征，從而能夠更精準地刻畫該語義類別的顏色、形狀和紋理特性。不同于傳統(tǒng)的單獨碼本學習方法，本文學習一個緊致的全局碼本，而各語義碼本均是這個全局碼本的一個稀疏子集。一方面，某些碼字可以被多個語義類別共享，從而刻畫了不同語義類別之間的內在關聯。另一方面，某個語義類別也可以包含一些專有的碼字，進而體現了該語義類別的獨特性。為了學習多個不同類型的語義碼本，本文設計了一個多任務碼

7、本學習算法。該算法通過交替利用凸優(yōu)化方法最小化聚類誤差，并利用亞模優(yōu)化方法最優(yōu)化語義碼字分配，從而獲得最優(yōu)的碼字和碼字分配?；谏鲜鰧W到的全局碼本和語義碼本，本文進一步提出了一種上下文感知的圖像表示方法，通過上下文量化、語義響應計算和語義聚合三個步驟進行場景表示，取得了更準確的場景分類效果。
　　本文開發(fā)了一種基于文本、物體和場景之間跨域關系的聯合圖像理解方法。具體來說，本文將文本和物體之間的關系表示成文本中的名詞與物體類別之間的

8、匹配概率，并設計了一個實例級有約束的雙邊匹配問題求解。另一方面，物體或文本與場景之間的關系被表示成物體或名詞在不同類型場景中的出現概率。本文提出了一種利用圖像級標注信息，包括圖像的場景類別和圖像中的各類物體的基數，來有效學習上述跨域關系的方法?；趯W到的文本、物體和場景之間的關系，本文進一步提出一種圖像綜合理解模型，用于聯合預測圖像所屬的場景類別、圖像中存在的物體類別、各類物體包含的實例基數，以及物體實例的位置。借助現有物體檢測及場景分