ladybug系列多目全景視覺技術(shù)的應(yīng)用研究

1、第35卷第12期夠0傾j暈。室備V0135No122017年12月MACHINERY&ELECTRONICSDec2017Ladybug系列多目全景視覺技術(shù)的應(yīng)用研究曹文君1，(1佛山職業(yè)技術(shù)學(xué)院，廣東佛山528137；2趙祚喜2華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣東廣州510642)摘要：目前，國內(nèi)外關(guān)于全景相機的應(yīng)用大部分集中在單視點全景視覺系統(tǒng)，其缺陷是畸變大，在避障中一般不用來測距；而多目全景相機能夠同時獲取360。環(huán)境的多張圖像，通過簡易

2、算法實現(xiàn)圖像無畸變拼接。針對Ladybug系列相機對多目全景視覺技術(shù)在避障測距上的應(yīng)用開展探索。主要對Ladybug的結(jié)構(gòu)與基本參數(shù)、3類坐標(biāo)系的轉(zhuǎn)換關(guān)系、同步獲取圖像功能進行了研究。最后，利用上述研究獲得參數(shù)及立體匹配、透視關(guān)系計算實際距離。測距結(jié)果表明測距誤差在可接受范圍內(nèi)。關(guān)鍵詞：多目全景視覺；避障；測距；坐標(biāo)轉(zhuǎn)換；立體匹配中圖分類號：TP391文獻(xiàn)標(biāo)識碼：A文章編號：1001—2257(2017)12—0027—04Studyo

3、nApplicationofMulti——ViewPanoramicVisionTechnologytoLadybugSeriesCAOWenjunl，ZHAOZuoxi2(1FoshanPolytechnic，F(xiàn)oshan528137，China；2CollegeofEngineering，SouthChinaAgriculturalUniversity，Guangzhou510642，China)Abstract：Atpresent

4、，mostapplicationsofpanoramiccamerasathomeandabroadfocusonsingleviewpointpanoramicvisionsystem，thedefectofwhichisthehighlevelofdistortion，thusitcannotbeusedfordistancemeasurementinobstacleavoidanceOnthecontrary，themulti—v

5、iewpanoramicvisioncameracancapturemultipleimagessimultaneouslyin360。，andtheseimagescanbemontagedwithoutdis—tortionthroughsimplealgorithmsThisresearchfirstlyexploredtheapplicationofmulti—viewpanoramicvisiontechnologyofLad

6、ybugseriesintoobstacleavoidanceanddistancemeasurement，andthenmainlystudiedthestructureandbasicparameters，thetransformingrelationofthethreecoordinatesystemsinLa—dybugseriesandthefunctionofsynchronousimageacquisitionFinall

7、y，theactualdistancewascalculatedbyusingparametersgainedinthewholeprocess，stereomatching，andperspectiverelationprincipleThefinalresultofrangingshowsthattheerroriswithintheacceptablerangeKeywords：multiviewpanoramiccamera；o

8、bstacleavoidance；distancemeasurement；coordinatetransform；stereomatching0引言傳統(tǒng)視覺傳感器如單目、雙目等形式，由于視場范圍受鏡頭限制，只可達(dá)到相機前方的幾十度甚至更小的范圍。作為一種擁有廣大視場的視覺傳感器，全景視覺能夠解決解決傳統(tǒng)視覺中許多還未解決的問題，比如匹配點超出邊界范圍的問題。國內(nèi)外在全景視覺的研究上取得了一定的成果，MingLi[11等人提出了一個基于人

9、工地標(biāo)和全方位視覺的農(nóng)業(yè)車輛導(dǎo)航定位系統(tǒng)，實現(xiàn)了信息的完整處理與自主導(dǎo)航。Chia[23等提出了一種結(jié)合了紅外傳感器和全景相機的機器人定位及路徑規(guī)劃方法，收稿日期：2017一07—30作者簡介：■文君(1988一)，女，湖南益陽人，助教，研究方向為車輛視覺導(dǎo)航，視覺檢測；趙祚謇(1968一)，男，湖南張家界人，博士研究生導(dǎo)師，研究方向為車輛工程，計算機應(yīng)用技術(shù)，農(nóng)業(yè)電氣化與自動化。27萬方數(shù)據(jù)曹文君等：Ladybug系列多目全景視覺技術(shù)

10、的應(yīng)用研究設(shè)計與研究垂直。通過調(diào)用庫函數(shù)中的有關(guān)內(nèi)外參數(shù)的函數(shù)，獲取相機的焦距與外參(局部坐標(biāo)與全局坐標(biāo)轉(zhuǎn)換的平移向量與旋轉(zhuǎn)矩陣)。獲取內(nèi)外參數(shù)程序如圖3所示。圖3獲取內(nèi)外參數(shù)程序利用上述程序可以獲得相機焦距，如表2、表3、表4所示。表2相機焦距(Tx，L，L)一(O0418，一O0021。0)(Tx，L，T；)一(00108，一00399，O)(Tx，L，T：)一(一00347，一00230，0)(L，L，L)一(一00118，一00

11、311，0)(Tx，L，t)一(o0145，00392，o)5(L，L，Tz)一(000157，一000124，00628)(R：，R。，R：)一(一2065，1565，一2068)(R，，R。，R：)一(2536，1561，1274)(R：，R，，R：)一(一2429，1557，1338)(R，，R，，R：)一(2734，1569，0523)(R，，R，，R：)一(一2065，1565，一2068)(R，，Ry，R：)一(O00501

12、，000958，000304)根據(jù)克雷格矩陣可將上述參數(shù)轉(zhuǎn)化成下列矩陣式(2)：M==嘏：胡，c品：嘏，嘏：一翊：翊。胡：翊，盹一s品：此?。簊品：嘏，翊：s品，北胡：以翊：翊，眈一c品：s疋丁，一sj，避c品，翊：c品，?。?0OZ—MIyZL1(3)式中的C表示COS，s表示sin?？赏ㄟ^M矩陣將局部坐標(biāo)系中的點轉(zhuǎn)化為全局坐標(biāo)心中的點，如(3)式所示(z。，Y’，z。，1)表示在全局坐標(biāo)中的空間點齊次坐標(biāo)，(z，Y，z，1)表示在局

13、部坐標(biāo)系中的點坐標(biāo)。3圖像的同步抓取實現(xiàn)Ladybu93通過火線來確定圖像拍攝時間與當(dāng)前時間的關(guān)系。這項功能主要應(yīng)用于Ladybu93與外部設(shè)備(例如激光雷達(dá)和GPS)的連接。同時，同步抓取圖像功能能夠解決機器人在實時避障中反應(yīng)的滯后，并同時得到360。信息。La—dybu93能同時處理、保存6個鏡頭所拍攝的圖像，能夠很好解決信息同步的問題。其主要程序如圖4所示。圖4中在操作步驟下標(biāo)明了每一步所使用的其函數(shù)庫中函數(shù)。圖4圖像的同步抓取流