雙目立體視覺的若干理論問題研究及應用.pdf

1、雙目立體視覺，是現(xiàn)代計算機視覺技術(shù)的重要研究分支；其目的是利用兩個攝像機同時拍攝場景中同一個三維物體，由二維圖像恢復可見場景物體表面的三維幾何信息。同計算機視覺中面對的其他問題一樣，雙目立體視覺問題屬于不適定的求逆問題。論文研究了雙目立體視覺的若干理論問題的求解方法及應用，即基于平面單應矩陣特征線的雙攝像機貪婪標定算法；利用區(qū)域上下文特征信息、自適應穩(wěn)健非線性成本增強和基于分割自適應權(quán)重成本聚合的稠密局部初始立體匹配方法；基于自適應權(quán)重

2、策略視差校準和多方向權(quán)重化最小二乘擬合填充的貪婪視差估計方法；基于積分圖像的光照魯棒不變特征和區(qū)域協(xié)方差描述子、歐氏對數(shù)測度協(xié)方差矩陣的稀疏場景快速匹配算法。
　　 由于現(xiàn)代CCD光學制造工藝水平顯著提高，攝像機標定可通過引入攝像機內(nèi)部參數(shù)的部分先驗信息來標定內(nèi)參數(shù)并提高標定效果。論文首先基于CCD攝像機模型和平面模板提出一種貪婪且新穎的雙攝像機線性標定方法：基于平面單應矩陣的特征線線性求解雙目攝像機系統(tǒng)的內(nèi)部參數(shù)和外部參數(shù)。對

3、多個平面單應矩陣，基于特征線構(gòu)造有幾何意義的成本函數(shù)；采用穩(wěn)健總誤差最小二乘擬合的線性非迭代方法，計算雙目攝像機的主點；引入像素單元縱橫比的先驗信息，再恢復雙攝像機的焦距。然后根據(jù)空間一致性約束關(guān)系，計算雙攝像機的外部參數(shù)?；诜抡婕罢鎸崍D像的實驗表明，基于特征線簡單且線性的雙攝像機標定方法，能獲得比較可靠的標定結(jié)果，具有較好的應用前景。線性標定后，若雙目攝像機需考慮非線性畸變模型，定義有效目標函數(shù)并基于最大似然估計思想，采用Leven

4、berg-Marquardt非線性優(yōu)化算法獲得可靠的非線性解。
　　 稠密局部初始立體匹配，可視為立體場景圖像之間致密地基于顯著圖像特征的對應問題，包括基于局部特征的匹配成本計算、匹配成本增強、匹配成本聚合和局部最優(yōu)化求解。論文提出四步的如下初始立體匹配方案。首先，對立體圖像中每一像素點，均利用對數(shù)極坐標得到的局部上下文結(jié)構(gòu)，并嵌入秩變換或?qū)Ρ榷刃畔?，?gòu)造魯棒的局部特征描述向量；根據(jù)特征相似約束，致密地計算匹配像素點對的特征描述

5、子之間的差異，或利用獨特性不相似測度DDSM，得到魯棒初始匹配成本。其次，將構(gòu)造穩(wěn)健匹配代價視為從含高斯噪聲的信號中完全地消除宿外點，利用Geman-McClure(GMC)函數(shù)非線性歸一化處理水平極線上的匹配成本，提出了一種新穎的自適應匹配成本增強方法。然后，為了快速得到魯棒的匹配成本，提出利用分割信息自適應權(quán)重來實現(xiàn)改進型的成本聚合（從致密式權(quán)重化策略至僅在水平和垂直雙方向上雙通式迭代的權(quán)重化策略），以此累積求和局部窗口區(qū)域內(nèi)的上述

6、匹配成本。最后，基于優(yōu)勝者全選局部優(yōu)化和中值濾波得到初始視差圖。Middlebury標準立體數(shù)據(jù)集和真實立體圖對的實驗表明，提出的初始立體匹配算法，能得到較可靠的初始視差。
　　 為了進一步改善匹配性能，提出基于貪婪策略和局部視覺特征的穩(wěn)健視差估計方法。對初始匹配視差，首先利用像素點局部鄰域內(nèi)視差出現(xiàn)頻數(shù)，根據(jù)可變權(quán)重（如有無圖像分割假設約束），來校準當前像素的視差值，以期得到不包含噪聲、足夠平滑、有精確邊界的視差圖。對即得的雙

7、目視差圖，做不可靠視差檢測；利用分割約束貪婪填充窄遮擋。然后，可不考慮分割信息，利用極線最小二乘填充其余窄遮擋；但該方法對復雜遮擋區(qū)域效果不佳，于是提出無分割信息的多方向權(quán)重化最小二乘擬合外插式地填充解決寬遮擋區(qū)域的歧義：最后，根據(jù)左右視差存在高度冗余，基于視差映射方法進一步解決寬遮擋問題。標準測試圖像對和真實圖像對的實驗表明，論文中貪婪策略視差估計算法，能有效提高立體匹配性能并改善匹配效果，得到可靠的最終匹配視差。與傳統(tǒng)相應算法相比，

8、有無分割的雙通式權(quán)重化視差校準，計算效率上有顯著優(yōu)勢；同時，多方向自適應權(quán)重擬合填充寬遮擋，填充質(zhì)量上也有明顯優(yōu)勢。針對臨床醫(yī)學疾病診斷應用和室內(nèi)基于可見光人體測量與識別（如人臉表面成像）等應用，論文展示了完整的稠密立體匹配算法在相應領(lǐng)域的匹配實驗效果。
　　 稀疏場景的圖像匹配，是近年圖像處理領(lǐng)域的熱門研究方向之一；由于匹配場景的稀疏性，該類方法計算成本相對較低。根據(jù)積分圖像的概念及其性質(zhì)，結(jié)合立體視覺可能的成像條件，論文利用