機器人雙目立體視覺若干關(guān)鍵理論問題及其技術(shù)實現(xiàn)研究.pdf

1、雙目立體視覺是計算機視覺的一個重要分支，它由不同位置的兩臺攝像機或者一臺攝像機經(jīng)過移動和旋轉(zhuǎn)拍攝同一場景，通過計算空間點在兩幅圖像中對應(yīng)點的視差，然后經(jīng)過一系列的投影逆變換，從而獲得該空間點的三維坐標值。相比其他類的立體視覺方法，如全息照相術(shù)、透鏡板三維成像等，雙目立體視覺直接模擬人類雙眼處理場景的方式，可靠簡便。雙目立體視覺涉及人工智能、計算機圖形學(xué)和認知心理學(xué)等領(lǐng)域中許多具有挑戰(zhàn)性的難題，國外已有一些文獻對相關(guān)問題進行了深入的研究，

2、而且已將雙目立體視覺技術(shù)廣泛應(yīng)用于生產(chǎn)、生活中。但是，國內(nèi)對雙目立體視覺的研究還處在初始階段，尚需廣大的科技工作者共同努力，為其發(fā)展做出自己應(yīng)有的貢獻。
　　 因此，本課題圍繞雙目立體視覺技術(shù)實現(xiàn)的相關(guān)步驟，針對制約雙目立體視覺技術(shù)發(fā)展的若干核心理論和關(guān)鍵問題，通過理論研究和實驗驗證相結(jié)合的方式，深入系統(tǒng)的研究了雙目立體視覺技術(shù)實現(xiàn)的組成部分和基本原理，涉及雙目立體視覺像機的標定方法和圖像立體匹配算法的理論研究，旨在找到解決雙目

3、立體視覺若干關(guān)鍵問題和核心技術(shù)的一套方法。全文共分為七章，各章內(nèi)容安排如下：
　　 第1章，回顧了計算機視覺理論研究的發(fā)展歷程，調(diào)研了國內(nèi)外雙目立體視覺理論研究和技術(shù)應(yīng)用的現(xiàn)狀，以立體視覺為重點分析了雙目立體視覺的應(yīng)用前景，探討了相關(guān)研究的關(guān)鍵技術(shù)和存在的問題，闡明了本課題的研究意義、研究難點和研究內(nèi)容。
　　 第2章，首先簡要的介紹了攝像機的線性和非線性透視投影模型，然后重點分析了雙目立體視覺系統(tǒng)的景深原理以及數(shù)學(xué)模型

4、，同時針對雙目立體視覺的極線方程和極線校正過程等進行了深入的闡述。最后詳細的研究了圖像立體匹配實現(xiàn)中所涉及的常用約束條件。
　　 第3章，針對雙目立體視覺攝像機的標定問題，首先介紹了基于3D立體標靶和基于2D平面模板的單攝像機標定的標準方法，同時研究了雙目立體視覺攝像機的標定原理。然后分析了開放計算機視覺函數(shù)庫Open Source Computer Vision Library(OpenCV)中的攝像機模型，對攝像機的標定過程

5、進行了深入的研究。特別地，充分考慮了透鏡的徑向畸變和切向畸變的影響及其方程的求解方法。最后，通過對四組不同類型的棋盤格圖像進行實驗，實現(xiàn)了基于OpenCV的雙目立體視覺攝像機的標定。從實驗數(shù)據(jù)可以看出，標定時所采用圖像的棋盤格數(shù)目越多，攝像機標定的精度越高；在棋盤格大小相同的前提下，使用不對稱的棋盤格要比使用對稱的棋盤格標定精度高。而且，整個標定過程不需要人工的參與，標定速度快，標定結(jié)果亦能夠滿足實際應(yīng)用標定精度的要求。
　　

6、第4章，首先對圖像立體匹配一般步驟中所涉及的匹配代價計算、代價計數(shù)統(tǒng)計等進行了介紹。然后重點研究了傳統(tǒng)非參數(shù)變換立體匹配算法的實現(xiàn)過程，分析了傳統(tǒng)非參數(shù)變換立體匹配算法存在的局限性，提出將交換窗口內(nèi)所有像素的灰度值進行平均，并將平均值作為變換窗口中心像素的灰度值。同時，為了在立體匹配時能夠考慮像素間的空間位置信息，將變換窗口內(nèi)各鄰域與中心像素的相對位置大于一個單位的像素，它的灰度值用其周圍四個像素的灰度雙線性插值后的值替代，并將匹配窗口

7、的像素灰度值進行非參數(shù)變換后再進行立體匹配．最后，通過對四組標準的圖像對進行立體匹配實驗，Middlebury大學(xué)權(quán)威測試平臺反饋回來的實驗結(jié)果表明，與目前其他基于局部的單一立體匹配算法相比，該算法得到的誤匹配像素百分比與其他算法相當，在無紋理區(qū)域、遮擋區(qū)域和深度不連續(xù)區(qū)域也能得到滿意的視差圖。此外，通過對非理想光照條件的真實場景的圖像進行立體匹配，仍然獲得了理想的結(jié)果。
　　 第5章，針對具有復(fù)雜背景圖像的立體匹配，首先介紹了

8、各種常用的基于區(qū)域的局部立體匹配的相似性測度函數(shù)，并分別用兩組標準圖像對和兩組真實場景圖像對這些相似性測度函數(shù)的立體匹配性能進行測試，得到視差圖質(zhì)量和算法執(zhí)行時間最佳的相似性測度函數(shù)。然后針對復(fù)雜背景圖像的高誤匹配區(qū)域，分別引入左右一致性濾波器、置信濾波器和唯一性濾波器對初始視差圖進行后處理。同時，通過對存儲器和高速緩存進行優(yōu)化，并且采用SSE2并行處理指令加速，快速實現(xiàn)了復(fù)雜背景圖像的立體匹配。實驗結(jié)果表明，經(jīng)過上述處理的立體匹配在可

9、靠性和實時性方面均有很大改善。
　　 第6章，首先重點研究了物體基元的三維重建，特別是空間點的三維重建。然后，在第3章攝像機參數(shù)已經(jīng)標定和第4章提出的立體匹配算法基礎(chǔ)之上，對復(fù)雜的真實場景進行空間點的三維重建，并且利用OpenGL對重建后的密集點云進行顯示，同時計算出重建后離左攝像機最近的一個物點的三維信息，對本文算法的綜合應(yīng)用作了實踐和驗證。
　　 第7章，對本課題的研究工作做了總結(jié)，指出了研究工作中的創(chuàng)新點，并對后續(xù)