機(jī)器人雙目立體視覺(jué)若干關(guān)鍵理論問(wèn)題及其技術(shù)實(shí)現(xiàn)研究.pdf

1、雙目立體視覺(jué)是計(jì)算機(jī)視覺(jué)的一個(gè)重要分支，它由不同位置的兩臺(tái)攝像機(jī)或者一臺(tái)攝像機(jī)經(jīng)過(guò)移動(dòng)和旋轉(zhuǎn)拍攝同一場(chǎng)景，通過(guò)計(jì)算空間點(diǎn)在兩幅圖像中對(duì)應(yīng)點(diǎn)的視差，然后經(jīng)過(guò)一系列的投影逆變換，從而獲得該空間點(diǎn)的三維坐標(biāo)值。相比其他類(lèi)的立體視覺(jué)方法，如全息照相術(shù)、透鏡板三維成像等，雙目立體視覺(jué)直接模擬人類(lèi)雙眼處理場(chǎng)景的方式，可靠簡(jiǎn)便。雙目立體視覺(jué)涉及人工智能、計(jì)算機(jī)圖形學(xué)和認(rèn)知心理學(xué)等領(lǐng)域中許多具有挑戰(zhàn)性的難題，國(guó)外已有一些文獻(xiàn)對(duì)相關(guān)問(wèn)題進(jìn)行了深入的研究，

2、而且已將雙目立體視覺(jué)技術(shù)廣泛應(yīng)用于生產(chǎn)、生活中。但是，國(guó)內(nèi)對(duì)雙目立體視覺(jué)的研究還處在初始階段，尚需廣大的科技工作者共同努力，為其發(fā)展做出自己應(yīng)有的貢獻(xiàn)。
　　 因此，本課題圍繞雙目立體視覺(jué)技術(shù)實(shí)現(xiàn)的相關(guān)步驟，針對(duì)制約雙目立體視覺(jué)技術(shù)發(fā)展的若干核心理論和關(guān)鍵問(wèn)題，通過(guò)理論研究和實(shí)驗(yàn)驗(yàn)證相結(jié)合的方式，深入系統(tǒng)的研究了雙目立體視覺(jué)技術(shù)實(shí)現(xiàn)的組成部分和基本原理，涉及雙目立體視覺(jué)像機(jī)的標(biāo)定方法和圖像立體匹配算法的理論研究，旨在找到解決雙目

3、立體視覺(jué)若干關(guān)鍵問(wèn)題和核心技術(shù)的一套方法。全文共分為七章，各章內(nèi)容安排如下：
　　 第1章，回顧了計(jì)算機(jī)視覺(jué)理論研究的發(fā)展歷程，調(diào)研了國(guó)內(nèi)外雙目立體視覺(jué)理論研究和技術(shù)應(yīng)用的現(xiàn)狀，以立體視覺(jué)為重點(diǎn)分析了雙目立體視覺(jué)的應(yīng)用前景，探討了相關(guān)研究的關(guān)鍵技術(shù)和存在的問(wèn)題，闡明了本課題的研究意義、研究難點(diǎn)和研究?jī)?nèi)容。
　　 第2章，首先簡(jiǎn)要的介紹了攝像機(jī)的線性和非線性透視投影模型，然后重點(diǎn)分析了雙目立體視覺(jué)系統(tǒng)的景深原理以及數(shù)學(xué)模型

4、，同時(shí)針對(duì)雙目立體視覺(jué)的極線方程和極線校正過(guò)程等進(jìn)行了深入的闡述。最后詳細(xì)的研究了圖像立體匹配實(shí)現(xiàn)中所涉及的常用約束條件。
　　 第3章，針對(duì)雙目立體視覺(jué)攝像機(jī)的標(biāo)定問(wèn)題，首先介紹了基于3D立體標(biāo)靶和基于2D平面模板的單攝像機(jī)標(biāo)定的標(biāo)準(zhǔn)方法，同時(shí)研究了雙目立體視覺(jué)攝像機(jī)的標(biāo)定原理。然后分析了開(kāi)放計(jì)算機(jī)視覺(jué)函數(shù)庫(kù)Open Source Computer Vision Library(OpenCV)中的攝像機(jī)模型，對(duì)攝像機(jī)的標(biāo)定過(guò)程

5、進(jìn)行了深入的研究。特別地，充分考慮了透鏡的徑向畸變和切向畸變的影響及其方程的求解方法。最后，通過(guò)對(duì)四組不同類(lèi)型的棋盤(pán)格圖像進(jìn)行實(shí)驗(yàn)，實(shí)現(xiàn)了基于OpenCV的雙目立體視覺(jué)攝像機(jī)的標(biāo)定。從實(shí)驗(yàn)數(shù)據(jù)可以看出，標(biāo)定時(shí)所采用圖像的棋盤(pán)格數(shù)目越多，攝像機(jī)標(biāo)定的精度越高；在棋盤(pán)格大小相同的前提下，使用不對(duì)稱(chēng)的棋盤(pán)格要比使用對(duì)稱(chēng)的棋盤(pán)格標(biāo)定精度高。而且，整個(gè)標(biāo)定過(guò)程不需要人工的參與，標(biāo)定速度快，標(biāo)定結(jié)果亦能夠滿足實(shí)際應(yīng)用標(biāo)定精度的要求。
　　

6、第4章，首先對(duì)圖像立體匹配一般步驟中所涉及的匹配代價(jià)計(jì)算、代價(jià)計(jì)數(shù)統(tǒng)計(jì)等進(jìn)行了介紹。然后重點(diǎn)研究了傳統(tǒng)非參數(shù)變換立體匹配算法的實(shí)現(xiàn)過(guò)程，分析了傳統(tǒng)非參數(shù)變換立體匹配算法存在的局限性，提出將交換窗口內(nèi)所有像素的灰度值進(jìn)行平均，并將平均值作為變換窗口中心像素的灰度值。同時(shí)，為了在立體匹配時(shí)能夠考慮像素間的空間位置信息，將變換窗口內(nèi)各鄰域與中心像素的相對(duì)位置大于一個(gè)單位的像素，它的灰度值用其周?chē)膫€(gè)像素的灰度雙線性插值后的值替代，并將匹配窗口

7、的像素灰度值進(jìn)行非參數(shù)變換后再進(jìn)行立體匹配．最后，通過(guò)對(duì)四組標(biāo)準(zhǔn)的圖像對(duì)進(jìn)行立體匹配實(shí)驗(yàn)，Middlebury大學(xué)權(quán)威測(cè)試平臺(tái)反饋回來(lái)的實(shí)驗(yàn)結(jié)果表明，與目前其他基于局部的單一立體匹配算法相比，該算法得到的誤匹配像素百分比與其他算法相當(dāng)，在無(wú)紋理區(qū)域、遮擋區(qū)域和深度不連續(xù)區(qū)域也能得到滿意的視差圖。此外，通過(guò)對(duì)非理想光照條件的真實(shí)場(chǎng)景的圖像進(jìn)行立體匹配，仍然獲得了理想的結(jié)果。
　　 第5章，針對(duì)具有復(fù)雜背景圖像的立體匹配，首先介紹了

8、各種常用的基于區(qū)域的局部立體匹配的相似性測(cè)度函數(shù)，并分別用兩組標(biāo)準(zhǔn)圖像對(duì)和兩組真實(shí)場(chǎng)景圖像對(duì)這些相似性測(cè)度函數(shù)的立體匹配性能進(jìn)行測(cè)試，得到視差圖質(zhì)量和算法執(zhí)行時(shí)間最佳的相似性測(cè)度函數(shù)。然后針對(duì)復(fù)雜背景圖像的高誤匹配區(qū)域，分別引入左右一致性濾波器、置信濾波器和唯一性濾波器對(duì)初始視差圖進(jìn)行后處理。同時(shí)，通過(guò)對(duì)存儲(chǔ)器和高速緩存進(jìn)行優(yōu)化，并且采用SSE2并行處理指令加速，快速實(shí)現(xiàn)了復(fù)雜背景圖像的立體匹配。實(shí)驗(yàn)結(jié)果表明，經(jīng)過(guò)上述處理的立體匹配在可

9、靠性和實(shí)時(shí)性方面均有很大改善。
　　 第6章，首先重點(diǎn)研究了物體基元的三維重建，特別是空間點(diǎn)的三維重建。然后，在第3章攝像機(jī)參數(shù)已經(jīng)標(biāo)定和第4章提出的立體匹配算法基礎(chǔ)之上，對(duì)復(fù)雜的真實(shí)場(chǎng)景進(jìn)行空間點(diǎn)的三維重建，并且利用OpenGL對(duì)重建后的密集點(diǎn)云進(jìn)行顯示，同時(shí)計(jì)算出重建后離左攝像機(jī)最近的一個(gè)物點(diǎn)的三維信息，對(duì)本文算法的綜合應(yīng)用作了實(shí)踐和驗(yàn)證。
　　 第7章，對(duì)本課題的研究工作做了總結(jié)，指出了研究工作中的創(chuàng)新點(diǎn)，并對(duì)后續(xù)