基于TOF深度攝像機的深度超分辨率恢復(fù)和深度融合研究.pdf

1、三維技術(shù)在遠程醫(yī)療、軍事訓(xùn)練、教育教學(xué)、游戲娛樂、三維電視等領(lǐng)域有著廣闊的應(yīng)用前景和商業(yè)價值。對深度信息的精確獲取是三維研究和三維實際應(yīng)用中所必需的關(guān)鍵技術(shù)。近年來，隨著三維技術(shù)的不斷發(fā)展，許多的應(yīng)用諸如:人機交互、三維電視、場景重建、手勢識別、增強現(xiàn)實等都對獲取場景的深度信息提出了更高的要求。這些應(yīng)用需要更加稠密精確的深度信息，也需要更加快速的獲取深度信息。本論文作者所在的實驗室提出了較完整的具有創(chuàng)新性自然三維電視系統(tǒng)概念，其目的在于

2、還原實際拍攝場景的真實深度，并向觀眾提供舒適可信的三維觀賞體驗。自然三維電視關(guān)鍵技術(shù)就在于真實獲取場景的深度信息，根據(jù)深度信息重構(gòu)出多個視點，以實現(xiàn)自由視點觀看實際場景。因此視點重構(gòu)技術(shù)對深度信息的精度就提出了更高的要求。
　　目前主流的深度信息獲取方式有兩種:被動深度獲取和主動深度獲取。被動深度獲取方法出現(xiàn)較早，其核心即立體匹配算法，主要思路是根據(jù)多相機拍攝所得到的同一場景一組圖像，尋找場景中的同一點在這組圖像中的匹配點。但是被

3、動立體算法無法獲取遮擋區(qū)域的信息，并且局部窗口算法或者全局優(yōu)化算法均各自存在不可克服的缺點。本實驗室進行的前期研究就是基于被動深度獲取的思路獲取場景深度，并以此為基礎(chǔ)來實現(xiàn)三維自由視點顯示，但這種方法所得到的深度圖質(zhì)量難以滿足要求，最終的三維顯示效果還有待提高。因此本論文決定使用主動深度獲取方法來提高所得到深度信息的精度。主動立體采用特定的深度攝像機直接測量場景的真實深度。其中應(yīng)用范圍較廣的是ToF攝像機（全稱為time-of-flig

4、ht camera），它能實時采集場景深度信息，其工作原理是通過發(fā)射源發(fā)射可控頻率調(diào)制光線來進行測距。本文基于ToF深度攝像機對深度攝像機所測量深度的誤差進行矯正，深度超分辨率恢復(fù)，以及結(jié)合立體匹配的深度融合做了一系列的實驗和研究，主要的創(chuàng)新點和貢獻如下:
　　1.本文簡要闡述了ToF深度攝像機的光學(xué)成像機制;本文針對影響ToF深度攝像機獲取數(shù)據(jù)精確的最主要兩類噪聲（環(huán)境光噪聲和多徑誤差噪聲）進行了深入分析，提出了有效的針對性噪聲

5、消除方法。具體而言，根據(jù)從不同類型的室內(nèi)場景實際拍攝數(shù)據(jù)分析這兩類噪聲產(chǎn)生的機理，建立了這兩類噪聲產(chǎn)生誤差的數(shù)學(xué)模型;然后根據(jù)數(shù)學(xué)誤差模型提出了相應(yīng)的ToF原始深度圖的濾波算法，實驗表明可有效地消除ToF深度攝像機所捕獲深度圖的原始誤差。
　　2.由于受到ToF深度相機成像原理的限制，所獲取深度圖分辨率往往不高，因此存在深度圖低分辨率與彩色場景圖高分辨率難以匹配這一不足。為了提升ToF深度圖的分辨率，本文根據(jù)ToF深度圖特有性質(zhì)，

6、結(jié)合壓縮感知相關(guān)理論，提出了一種聯(lián)合字典學(xué)習(xí)算法，用于ToF深度圖超分辨率恢復(fù)。該算法從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到超完備字典，基于超完備字典去重建原始低分辨率深度圖而得到高分辨率深度圖。為了提升算法性能，本文在聯(lián)合字典學(xué)習(xí)和重建過程中也提出了相應(yīng)的分類和索引機制。
　　3.為了進一步獲取高質(zhì)量稠密深度圖，本文從ToF深度攝像機獲取的深度圖出發(fā)，結(jié)合立體匹配算法的優(yōu)點，提出了一種基于ToF深度圖的主被動深度獲取融合算法。該算法設(shè)計了ToF深