基于三維模型匹配的單張圖像物體深度恢復(fù).pdf

1、從視頻和圖片中恢復(fù)三維信息是計(jì)算機(jī)視覺(jué)領(lǐng)域里的一個(gè)基本問(wèn)題，有著廣泛的應(yīng)用。例如，高質(zhì)量的深度信息不僅可以直接用來(lái)重建場(chǎng)景的三維結(jié)構(gòu)、輔助機(jī)器人導(dǎo)航，而且還能幫助計(jì)算機(jī)更好地識(shí)別和理解圖像中的物體和場(chǎng)景。特別是隨著機(jī)器人、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等應(yīng)用的興起，如何讓計(jì)算機(jī)更好地根據(jù)所拍攝的圖像或視頻去分析和理解三維世界變得越來(lái)越重要。由于很多時(shí)候，我們只能獲取單張圖像，因此如何為單幀圖像恢復(fù)深度具有重要的理論研究意義和應(yīng)用價(jià)值。隨著三維模型數(shù)

2、據(jù)集的快速增長(zhǎng)，許多研究人員開(kāi)始嘗試?yán)眠@些先驗(yàn)?zāi)Ｐ蛠?lái)進(jìn)行單幀圖像的物體深度恢復(fù)。但是，現(xiàn)有的方法一般要求輸入圖片與訓(xùn)練集中的數(shù)據(jù)有較高的匹配度，難以處理輸入圖片中的物體與模型庫(kù)中的三維模型差異較大的情況;而且，很多方法要求物體的分割信息作為物體深度恢復(fù)的先驗(yàn)信息，這很大程度上限制了算法的應(yīng)用場(chǎng)景。
　　本研究提出了一個(gè)無(wú)需預(yù)先分割的單張圖像物體自動(dòng)深度恢復(fù)方法。首先，將圖片與訓(xùn)練集中的數(shù)據(jù)進(jìn)行圖片匹配，求得候選集，并根據(jù)候選集圖

3、片的結(jié)構(gòu)特征進(jìn)行自適應(yīng)分塊，在此基礎(chǔ)上進(jìn)行分塊匹配，將分塊匹配的結(jié)果作為深度預(yù)測(cè)的依據(jù)，有效解決了輸入圖片與數(shù)據(jù)集中的三維模型無(wú)法很好匹配的情況。其次，基于分塊匹配的結(jié)果對(duì)物體進(jìn)行自動(dòng)分割，實(shí)現(xiàn)了高質(zhì)量的物體自動(dòng)分割和深度估計(jì)。再次，針對(duì)通過(guò)匹配得到的深度在物體不連續(xù)邊界區(qū)域比較粗糙的情況，提出使用改進(jìn)的分割結(jié)果來(lái)進(jìn)行約束，對(duì)空洞區(qū)域進(jìn)行深度補(bǔ)全，并進(jìn)行雙邊濾波使得深度平滑化，從而有效提高了深度恢復(fù)的質(zhì)量。一系列的實(shí)驗(yàn)結(jié)果和與其它方法的