高維可視信號(hào)的結(jié)構(gòu)化處理.pdf

1、可視信號(hào)（包括圖像、視頻、光場(chǎng)等）因其高維特性以及受光照、背景噪聲、尺度變化和非剛性形變等因素的影響，相比傳統(tǒng)低維信號(hào)（如雷達(dá)信號(hào)、聲音信號(hào)等）呈現(xiàn)更復(fù)雜的變化和更抽象的含義。針對(duì)高維可視信號(hào)的認(rèn)知問題，本文將復(fù)雜的研究對(duì)象分解為多個(gè)相對(duì)簡(jiǎn)單和穩(wěn)定的視覺單元進(jìn)行結(jié)構(gòu)化表示，并利用結(jié)構(gòu)化預(yù)測(cè)的方法探索視覺單元的內(nèi)在聯(lián)系并聯(lián)合建模。從低層視覺認(rèn)知到高層視覺認(rèn)知，本文針對(duì)樣例、物體、場(chǎng)景和配文圖像四類視覺對(duì)象，從姿態(tài)、部件、語(yǔ)義元素和認(rèn)知概念

2、四個(gè)方面對(duì)它們進(jìn)行結(jié)構(gòu)化表示，并通過直推式學(xué)習(xí)、核方法、多任務(wù)學(xué)習(xí)和概率圖模型四種方法進(jìn)行結(jié)構(gòu)化預(yù)測(cè)，應(yīng)用于視頻分割、物體識(shí)別、場(chǎng)景分類和圖像理解任務(wù)。
　　本文介紹了一種直推式多分量視頻分割算法，用于在視頻序列中分割出預(yù)定義的感興趣物體樣例。借鑒圖像協(xié)同分割的核心思想，本文提出的視頻分割方法通過同時(shí)最大化幀間前景相似性并最小化幀內(nèi)前景-背景相似性的方式聯(lián)合分割多幀視頻圖像。本文提出的視頻分割方法利用有約束的參數(shù)化最小割算法從分割

3、空間合理采樣分割假設(shè)，并設(shè)計(jì)了一個(gè)能量函數(shù)從前景相似性、前景-背景差異、邊緣強(qiáng)度和視覺顯著性四方面評(píng)估每個(gè)分割假設(shè)。最終采用蒙特卡洛逼近方法將分割假設(shè)加權(quán)組合形成最優(yōu)前景分割。同時(shí)，本文構(gòu)建了多分量前景模型用來捕捉視頻中前景物體的形態(tài)變化，對(duì)前景物體外觀差異巨大的視頻具有更強(qiáng)的魯棒性。為了將視頻幀組織成不同的分量，本文設(shè)計(jì)了一個(gè)樹結(jié)構(gòu)的圖模型，稱為時(shí)域樹。它通過概率聚類將外觀相似并且時(shí)間一致的幀聚合成一個(gè)分支，并通過直推式學(xué)習(xí)訓(xùn)練泛化能

4、力更強(qiáng)的分量模型。
　　本文提出了一種基于結(jié)構(gòu)核函數(shù)和多尺度基于部件模型的物體識(shí)別算法。多尺度基于部件的模型在可變形基于部件模型的基礎(chǔ)上引入了多尺度部件表示，能夠更準(zhǔn)確地捕捉物體由于姿態(tài)、視角和類內(nèi)多樣性等因素造成的部件尺度變化。本模型將物體的外觀特征表示為一個(gè)整體視覺特征和多個(gè)部件的視覺特征。部件的空間布局在三維空間中表示，包含了二維平面坐標(biāo)及尺度。其次，本文提出了一種結(jié)構(gòu)核函數(shù)，將局部核的強(qiáng)大區(qū)分能力與基于部件模型的靈活表達(dá)能

5、力相結(jié)合，取得更強(qiáng)的物體識(shí)別性能。鑒于同一類物體的不同個(gè)體應(yīng)該具有相似的整體外觀、獨(dú)特的局部部件和特定的空間布局，文本提出的結(jié)構(gòu)核函數(shù)從整體外觀相似度、部件外觀相似度和部件空間布局相似度三個(gè)方面衡量?jī)蓚€(gè)物體的相似度。此外，局部核函數(shù)具有靈活的參數(shù)配置，可以針對(duì)不同類型的物體通過數(shù)據(jù)驅(qū)動(dòng)的方式進(jìn)行學(xué)習(xí)，從而更準(zhǔn)確地刻畫不同類型物體的視覺特性。
　　本文設(shè)計(jì)了一種基于多任務(wù)語(yǔ)義碼本學(xué)習(xí)和上下文感知的圖像表示的場(chǎng)景分類方法。首先，本文提

6、出的多任務(wù)語(yǔ)義碼本學(xué)習(xí)算法用一個(gè)獨(dú)有的語(yǔ)義碼本編碼特定語(yǔ)義類別的局部特征，從而能夠更精準(zhǔn)地刻畫該語(yǔ)義類別的顏色、形狀和紋理特性。不同于傳統(tǒng)的單獨(dú)碼本學(xué)習(xí)方法，本文學(xué)習(xí)一個(gè)緊致的全局碼本，而各語(yǔ)義碼本均是這個(gè)全局碼本的一個(gè)稀疏子集。一方面，某些碼字可以被多個(gè)語(yǔ)義類別共享，從而刻畫了不同語(yǔ)義類別之間的內(nèi)在關(guān)聯(lián)。另一方面，某個(gè)語(yǔ)義類別也可以包含一些專有的碼字，進(jìn)而體現(xiàn)了該語(yǔ)義類別的獨(dú)特性。為了學(xué)習(xí)多個(gè)不同類型的語(yǔ)義碼本，本文設(shè)計(jì)了一個(gè)多任務(wù)碼

7、本學(xué)習(xí)算法。該算法通過交替利用凸優(yōu)化方法最小化聚類誤差，并利用亞模優(yōu)化方法最優(yōu)化語(yǔ)義碼字分配，從而獲得最優(yōu)的碼字和碼字分配。基于上述學(xué)到的全局碼本和語(yǔ)義碼本，本文進(jìn)一步提出了一種上下文感知的圖像表示方法，通過上下文量化、語(yǔ)義響應(yīng)計(jì)算和語(yǔ)義聚合三個(gè)步驟進(jìn)行場(chǎng)景表示，取得了更準(zhǔn)確的場(chǎng)景分類效果。
　　本文開發(fā)了一種基于文本、物體和場(chǎng)景之間跨域關(guān)系的聯(lián)合圖像理解方法。具體來說，本文將文本和物體之間的關(guān)系表示成文本中的名詞與物體類別之間的

8、匹配概率，并設(shè)計(jì)了一個(gè)實(shí)例級(jí)有約束的雙邊匹配問題求解。另一方面，物體或文本與場(chǎng)景之間的關(guān)系被表示成物體或名詞在不同類型場(chǎng)景中的出現(xiàn)概率。本文提出了一種利用圖像級(jí)標(biāo)注信息，包括圖像的場(chǎng)景類別和圖像中的各類物體的基數(shù)，來有效學(xué)習(xí)上述跨域關(guān)系的方法。基于學(xué)到的文本、物體和場(chǎng)景之間的關(guān)系，本文進(jìn)一步提出一種圖像綜合理解模型，用于聯(lián)合預(yù)測(cè)圖像所屬的場(chǎng)景類別、圖像中存在的物體類別、各類物體包含的實(shí)例基數(shù)，以及物體實(shí)例的位置。借助現(xiàn)有物體檢測(cè)及場(chǎng)景分