多目視覺測量技術(shù)開題報(bào)告

1、<p>　　多目視覺測量技術(shù)開題報(bào)告</p><p><b>　　緒論</b></p><p>　　1.1研究背景和意義</p><p>　　多目視覺測量技術(shù)是計(jì)算機(jī)視覺技術(shù)的一個(gè)較小的研究分支。隨著計(jì)算機(jī)運(yùn)算能力的提高和圖像采集成本的下降，計(jì)算機(jī)視覺技術(shù)發(fā)展越來越成熟，應(yīng)用日益廣泛。多目視覺測量技術(shù)通俗來講，就是通過處理從多個(gè)角度采

2、集的圖像，獲得場景的深度信息，進(jìn)而用于三維場景的重建，構(gòu)建三維立體模型。其中，基于雙目視覺的測量理論尤為成熟，理解了雙目視覺，可推及多目視覺技術(shù)。本文也將重點(diǎn)放在雙目視覺技術(shù)的研究上。</p><p>　　多目視覺測量技術(shù)相對于一般測量技術(shù)具有非接觸，高進(jìn)度，高效率，自動(dòng)化程度高的特點(diǎn)，具有非常廣闊的應(yīng)用前景。隨著機(jī)器人技術(shù)產(chǎn)業(yè)的爆發(fā)增長，機(jī)器人具有了非常靈活的運(yùn)動(dòng)控制系統(tǒng)，但機(jī)器人大多依賴于既有程序，對周圍環(huán)境

3、的感知能力幾乎為零。機(jī)器人迫切需要像人類一樣的雙眼去感知外界環(huán)境，多目視覺技術(shù)正好填補(bǔ)了這項(xiàng)空缺。</p><p>　　首先，多目視覺測量技術(shù)在導(dǎo)航中應(yīng)用廣泛。如無人機(jī)，Google的無人駕駛汽車都是通過采集圖像來獲取大量的環(huán)境信息，進(jìn)而用于機(jī)器的行為控制。這項(xiàng)技術(shù)已經(jīng)很成熟了，如美國卡梅隆大學(xué)的Navlab智能車的RALPH視覺系統(tǒng)，德國聯(lián)邦大學(xué)的VaMoRs的BVV視覺系統(tǒng)，百度的無人車研究團(tuán)隊(duì)的導(dǎo)航系統(tǒng)也是

4、基于計(jì)算機(jī)視覺技術(shù)。</p><p>　　虛擬現(xiàn)實(shí)被認(rèn)為是下一個(gè)朝陽產(chǎn)業(yè)，以3D眼睛為代表的一系列虛擬現(xiàn)實(shí)設(shè)備也融入了多目視覺技術(shù)，由此通過平面圖像的處理，使人產(chǎn)生3D感覺。增強(qiáng)現(xiàn)實(shí)技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的升級版，其中對于真實(shí)環(huán)境信息的獲取，3D立體環(huán)境的重建都是多目視覺測量系統(tǒng)的具體應(yīng)用。</p><p>　　當(dāng)今很火的3D打印技術(shù)也不例外，只需用戶提供從不同角度拍攝的照片，機(jī)器就能自動(dòng)生成

5、對應(yīng)的三維模型并打印出來，當(dāng)然，此項(xiàng)技術(shù)構(gòu)建的三維模型不是很精確，對拍攝的照片有較高的質(zhì)量要求。我們可以應(yīng)用軟件感受一下，比如Google的photoscan，smart3D，Autodesk 123D Catch等。</p><p>　　多目視覺技術(shù)的從原理上理解較為簡單，可用三角測距的原理概況，難點(diǎn)在于每幅圖像上有上億的像素點(diǎn)，三維重建技術(shù)是基于若干幅圖像上的像素基于匹配而得到相應(yīng)的深度信息。所以圖像匹配算法

6、直接決定了三維重建能否成功，是多目視覺測量技術(shù)的關(guān)鍵一步。由此也發(fā)展出了很多匹配算法，如區(qū)域匹配（也叫稠密匹配），特征匹配（也加稀疏匹配），相位匹配，在后文我會(huì)做相應(yīng)的介紹。</p><p>　　1.2 雙目立體視覺技術(shù)</p><p>　　立體視覺是計(jì)算機(jī)視覺中的一個(gè)重要分支，一直是計(jì)算機(jī)視覺研究的重點(diǎn)和熱點(diǎn)之一，它直接模擬了人類視覺處理景物的方式，可以在多種條件下靈活地測量景物的立體信

7、息，其作用是其他計(jì)算機(jī)視覺方法所不能取代，對它的研究，無論是從視覺機(jī)理角度還是在工程應(yīng)用中都具有十分重要的意義。本文主要研究基于雙目立體視覺的測量技術(shù)。</p><p>　　一個(gè)比較典型的雙目立體視覺檢測系統(tǒng)一般以計(jì)算機(jī)為中心，由光源系統(tǒng)，雙目視覺傳感器、高速圖像采集系統(tǒng)以及圖像處理系統(tǒng)、控制系統(tǒng)等組成。計(jì)算機(jī)是整個(gè)雙目立體視覺檢測系統(tǒng)的核心，它除了控制整個(gè)系統(tǒng)的各個(gè)模塊的正常運(yùn)行外，還承擔(dān)著視覺檢測系統(tǒng)的最后結(jié)

8、果運(yùn)算和輸出。由圖像采集系統(tǒng)輸出的數(shù)字圖像可以直接傳輸?shù)接?jì)算機(jī)，由計(jì)算機(jī)采用純軟件方式完成所有的圖像處理和其它計(jì)算。如果純軟件處理不能滿足視覺檢測系統(tǒng)的要求，則需要專用硬件處理系統(tǒng)，如數(shù)字信號(hào)處理器(DSP)或者FPGA等設(shè)計(jì)的全硬件處理器，它可以實(shí)時(shí)高速完成各種低層次的圖像處理算法，減輕計(jì)算機(jī)的負(fù)荷，提高整個(gè)系統(tǒng)的速度。因此一個(gè)實(shí)用的雙目立體視覺檢測系統(tǒng)的結(jié)構(gòu)、性能、處理時(shí)間和價(jià)格等都必須根據(jù)具體應(yīng)用而定。</p>&l

9、t;p>　　視覺傳感器是整個(gè)視覺系統(tǒng)信息的直接來源，它的主要功能是獲取視覺系統(tǒng)要處理的兩幅最原始圖像。最為常用的圖像傳感器是面陣或線陣CCD攝像機(jī)，它們具有高分辨率、高靈敏度、可靠性好、幾何畸變小、無圖像滯后和圖像漂移等優(yōu)點(diǎn)，是在線測量應(yīng)用中非常適宜的圖像傳感器。圖像采集系統(tǒng)由專用視頻解碼器、圖像緩沖器以及控制接口電路組成。它可以實(shí)時(shí)地將視覺傳感器獲取的模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)，并將圖像直接傳輸給計(jì)算機(jī)進(jìn)行顯示或處理，或者將

10、數(shù)字圖像傳輸給專用圖像處理系統(tǒng)進(jìn)行視覺信號(hào)的實(shí)時(shí)前端處理。隨著專用視頻解碼芯片和FPGA的出現(xiàn)，現(xiàn)在的大多數(shù)高速圖像采集系統(tǒng)由少數(shù)幾個(gè)芯片就可以完成。圖像采集系統(tǒng)與計(jì)算機(jī)的接口采用工業(yè)標(biāo)準(zhǔn)總線，如ISA總線，VME總線或者PCI總線等。使得圖像采集系統(tǒng)到計(jì)算機(jī)的實(shí)時(shí)圖像數(shù)據(jù)傳輸成為可能。</p><p>　　1.3 國內(nèi)外的研究現(xiàn)狀</p><p>　　計(jì)算機(jī)視覺作為一個(gè)新的交叉學(xué)科的是近

11、三四十年前的事，由于其重要性，其發(fā)展非常迅速。公認(rèn)的第一個(gè)提出相對完善的視覺理論框架的是Marr教授。20世紀(jì)80年代，國外的計(jì)算機(jī)視覺理論框架基本形成，基礎(chǔ)理論趨于完善。我國由于早期計(jì)算機(jī)設(shè)備和理論的欠缺，研究較少。進(jìn)入90年代后，由于計(jì)算機(jī)的普及和國民應(yīng)用的需求，國家對計(jì)算機(jī)視覺技術(shù)格外重視，投入了很多的財(cái)力物力，該領(lǐng)域產(chǎn)生了很多的研究成果。近十年，我國與美國，日本在該領(lǐng)域的差距顯著縮小，產(chǎn)生了大量相關(guān)論文，但在算法及軟件實(shí)現(xiàn)上還有

12、很大差距。</p><p>　　視覺測量技術(shù)的基本流程大致為1）圖像采集，2）圖像先期處理，3）圖像后期處理，4）信息及數(shù)據(jù)輸出。其中，隨著技術(shù)發(fā)展，相機(jī)的硬件成本越來越低，圖像采集的精度越來越高，降級了視覺測量技術(shù)的研究門檻。相機(jī)傳感器主要分為CCD和CMOS，CCD的成像質(zhì)量很高，但CMOS具有較低的成本優(yōu)勢，質(zhì)量也在逐步提高。圖像先期處理主要為圖像的增強(qiáng)與濾波，便于機(jī)器或人工對圖像的觀察，分析和后處理，可以

13、應(yīng)用MATLAB等。后期處理則主要基于一定的算法進(jìn)行大量計(jì)算，常用openCV，openGL等。最后得到計(jì)算結(jié)果并輸出。</p><p>　　從開始的圖像識(shí)別，到單目視覺，再到多目視覺技術(shù)的發(fā)展歷程看，采集的圖像信息越來越多，處理的圖像計(jì)算量越來越大、算法越來越復(fù)雜，得到的信息也越來越豐富。MIT的人工智能實(shí)驗(yàn)室的計(jì)算機(jī)世視覺技術(shù)研究始終走在世界前列，而國內(nèi)的研究更加偏重于應(yīng)用，如人臉識(shí)別，唇語識(shí)別，應(yīng)用于機(jī)器人

14、上的多目視覺測量技術(shù)更是研究熱點(diǎn)。</p><p>　　上海交通大學(xué)的張秀彬和應(yīng)俊豪教授及其團(tuán)隊(duì)在計(jì)算機(jī)視覺領(lǐng)域研究很深，發(fā)表了很多論文，并申請了一系列發(fā)明專利。我詳細(xì)的閱讀了張秀彬和應(yīng)俊豪教授的很多專著和論文，雖然有一些理論和方法很難理解，但對于計(jì)算機(jī)視覺有了較好的理解。</p><p>　　國內(nèi)外的研究重點(diǎn)在于基于圖像的匹配算法。由于圖像的分辨率，色彩等存在巨大差異，同一種匹配算法可能

15、對于甲圖像具有很好的匹配效果，對于乙圖像則出現(xiàn)匹配誤差很大。故而發(fā)展出了很多適用于各種情況的算法，新算法也層出不窮。如何發(fā)現(xiàn)各個(gè)算法之間的規(guī)律，寫出高效的算法成為研究人員的新課題。</p><p>　　毫無疑問，視覺測量技術(shù)將繼續(xù)朝著高精度，智能化，低成本的方向發(fā)展，深入到工農(nóng)業(yè)生產(chǎn)的各個(gè)方面。同時(shí)，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，實(shí)時(shí)在線的云端視覺測量技術(shù)將是新的趨勢。</p><p>　　1.4

16、主要研究內(nèi)容與論文安排</p><p>　　本課題來源于研究生的研究課題的子課題，多目視覺技術(shù)包含的內(nèi)容很多，尤其是關(guān)于圖像處理有很多論文，研究人員提出了很多處理思想和技術(shù)。本人作為一個(gè)學(xué)習(xí)者，努力研習(xí)前人的結(jié)果，形成自己的理論體系。</p><p>　　本論文避免陳舊的說理和公式推導(dǎo)，著重于以下三個(gè)方面：</p><p>　　1）雙目視覺測量的數(shù)學(xué)模型，</

17、p><p>　　2）多目視覺的計(jì)算機(jī)算法概述，</p><p>　　3）基于多目視覺的三維重建軟件的實(shí)驗(yàn)及結(jié)果，軟件為VisualSFM。</p><p>　　[1] Miksik O，Mikolajczyk K．Evaluation of Local Detectors and Descriptors for Fast Feature Matching[C]．2012

18、 21st International Conference on Pattern Recognition(ICPR)，2012：268I-2684．</p><p>　　[2] Boyoon Jung，Gaurav S．Sukhatme．Real—Time Motion Tracking from a Mobile Robot[J]．International Journal of Social RobotiC

19、S，2010，2(1)：63—78．</p><p>　　[3] Ratheesh Kalarot，Georgy Gimel，John Mirris．3D Object Tracking with a High．Resolution GPU Based Real—Time Stereo[C]．Proceedings of the 27th Conference on Image and Vision Comput

20、ing，201 2：394-399．</p><p>　　[4] Urs A．Muller,Lawrence D．Jackel，Yann LeCun，et a1．Real—Time Adaptive Off-Road Vehicle Navigation and Terrain Classification [C]．Proceedings of Unmanned Systems Technology XV,20

21、1 3，874 1：347-369．</p><p>　　[5] Kaichang Di，Man Peng．Wide Baseline Mapping for Mars Rovers[J]．</p><p>　　Photogrammetric Engineering and Remote Sensing，20 1 1，77(6)：609—6 1 8．</p><p>

22、;　　[6] 劉澤源．光柵投影三維人體測量系統(tǒng)標(biāo)定方法與應(yīng)用研究[D]．湖南師范大學(xué)碩士學(xué)位論文，2012，：21．49．</p><p>　　[7] 李浩．基于雙目立體視覺的三維測距與定位[D]．華南理工大學(xué)碩士學(xué)位論</p><p>　　文，2012：11-16．</p><p>　　[8] 吳婷，徐科軍，趙銳．空間機(jī)器人中相機(jī)標(biāo)定方法探討[J]．合肥工業(yè)大學(xué)學(xué)

23、報(bào)(自然科學(xué)版)，2005，28(4)：35 1．356．</p><p>　　[9]劉小群．基于雙目立體視覺的立體匹配算法研究[D]．中南大學(xué)碩士學(xué)位論文，2011：10．25．</p><p>　　[10] 陳宇云．灰度圖像的邊緣檢測研究[D]．電子科技大學(xué)碩士學(xué)位論文 2009：29．39．</p><p>　　[11] 曹茂永．?dāng)?shù)字圖像處理[M]．北京：北京

24、大學(xué)出版社，2007：72．98．</p><p>　　[12] 李艷玲，黃春艷，趙娟．基于灰色關(guān)聯(lián)度的圖像自適應(yīng)中值濾波算[J]．計(jì)算機(jī)仿真，2010，27(1)：35．42．</p><p>　　[熊顯名，馬蓓，張文韜．一種改進(jìn)的去除灰度圖像椒鹽噪聲方法的研究[J]．國外電子測量技術(shù)，201 0，29(5)：32．35．</p><p>　　[13] 阮秋琦．?dāng)?shù)

25、字圖像處理基礎(chǔ)[M]．北京：清華大學(xué)出版社，2009 130．144．</p><p>　　[14] 毛本清，金小梅．自適應(yīng)直方圖均衡化算法在圖像增強(qiáng)處理的應(yīng)用[J]．河北北方學(xué)院學(xué)報(bào)，2010，26(5)：64．68．</p><p>　　[15] 白明，莊嚴(yán)，王偉．雙目立體匹配算法的研究與進(jìn)展[J]．控制與決策，2008，23(7)：72 1-729．</p><p

26、>　　[16] 桑瑞娟，王妲，張華等．一種改進(jìn)的區(qū)域雙目立體匹配方法[J]．傳感器與微系統(tǒng)，2012，3 1(8)：48．56．</p><p>　　[17] 姚姍姍．基于雙目立體視覺的三維重建[D]．哈爾濱工程大學(xué)碩士學(xué)位論文，2011：45．51．</p><p>　　[18] 王昕，馬巖，楊劍等．區(qū)域立體匹配算法的實(shí)現(xiàn)與改進(jìn)明．光學(xué)精密工程，2008，16(10)：2002—2