圖像解譯數(shù)據(jù)庫與物體識別的計算機理研究.pdf

1、有體系地建立一個大型的人工標(biāo)注圖像/視頻解譯標(biāo)準(zhǔn)數(shù)據(jù)庫，對計算機視覺領(lǐng)域的研究工作來說至關(guān)重要?；谶@個目的，我們開發(fā)了一個交互式的標(biāo)注系統(tǒng)（Interactive Image Parser，簡稱為IIP），其中每個功能模塊對應(yīng)一些特定的標(biāo)注任務(wù)。
　　 合理的組合這些功能模塊，可以完成各種復(fù)雜的視覺信息標(biāo)注任務(wù)。對于一張自然場景圖像，通過IIP以場景層-物體層-中低層這種分層解譯的方式，提供全面豐富的視覺標(biāo)注信息，其中大部分信

2、息都是其它數(shù)據(jù)庫所沒有的。此外，在與或圖知識框架下將這些視覺信息統(tǒng)一組織起來。
　　 基于上述圖像解譯數(shù)據(jù)庫，我們提出了一個I2T（Image Parsing to TextGeneration）的框架，將圖像/視頻內(nèi)容轉(zhuǎn)化為對應(yīng)的自然語言描述。I2T 框架將比較困難的基于內(nèi)容的圖像/視頻檢索任務(wù)轉(zhuǎn)換為比較簡單的文本搜索任務(wù)。該框架分為三個部分：（I）圖像解譯數(shù)據(jù)庫，通過圖像解譯引擎IIP 將輸入圖像/視頻幀分解為各種對應(yīng)的視覺

3、模式，即將一個場景表示成為解譯圖，這一點在本質(zhì)上類似于將自然語言解析為單個的句子。（ii）通過網(wǎng)絡(luò)本體語言將解譯圖轉(zhuǎn)化為語義表達。（iii）文本生成引擎將語義表達轉(zhuǎn)化為自然語言描述的文本報告。上述框架依賴于兩個知識庫。第一個是視覺知識庫，為圖像解譯提供至頂向下的指導(dǎo)，作為圖像本體論服務(wù)于解譯圖向語義表達的轉(zhuǎn)換。視覺知識庫的核心是與或圖表達，視覺元素字典包括像素、邊、拐角、部分、物體、場景以及定義這些視覺元素間的組合、空間、時間、功能等的

4、關(guān)系。第二個知識庫是一個通用的知識庫，通過語義網(wǎng)將多個不同專業(yè)領(lǐng)域的本體論相互連接起來，進一步地豐富了視覺內(nèi)容的語義表達。最后以監(jiān)控視頻為例，通過I2T 框架推演出視頻事件，并產(chǎn)生視頻監(jiān)控場景的自然語言描述?；诤８酆统鞘袌鼍暗膶嶒灡砻髁吮疚姆椒ǖ目尚行浴?br>　　 在圖像解譯數(shù)據(jù)庫強大的數(shù)據(jù)支持下，我們通過定量的方法評估與或圖分層模型中自底向上/自頂向下計算過程的信息量貢獻。對于與或圖中的任一節(jié)點A 定義了三種計算推理過程：α過程

5、基于物體實例的圖像特征識別；β過程通過自底向上的方式綁定孩子節(jié)點來識別A；γ過程通過父節(jié)點自頂向下預(yù)測A。我們采用特定的方法將這三個計算過程隔離開來，通過算法和心理學(xué)實驗測試評估各過程的信息量貢獻。最后在貝葉斯框架下，將α、β、γ過程顯式地結(jié)合起來進行推理計算?；谥械蛯右曈X元素和高層視覺中的人臉、車的實驗結(jié)果表明：（I)α、β、γ過程的有效性依賴于圖像中物體實例的尺度大小和遮擋情況；（ii）一般情況下高層視覺物體的α過程的貢獻最大，對