ladybug系列多目全景視覺(jué)技術(shù)的應(yīng)用研究

1、第35卷第12期夠0傾j暈。室備V0135No122017年12月MACHINERY&ELECTRONICSDec2017Ladybug系列多目全景視覺(jué)技術(shù)的應(yīng)用研究曹文君1，(1佛山職業(yè)技術(shù)學(xué)院，廣東佛山528137；2趙祚喜2華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣東廣州510642)摘要：目前，國(guó)內(nèi)外關(guān)于全景相機(jī)的應(yīng)用大部分集中在單視點(diǎn)全景視覺(jué)系統(tǒng)，其缺陷是畸變大，在避障中一般不用來(lái)測(cè)距；而多目全景相機(jī)能夠同時(shí)獲取360。環(huán)境的多張圖像，通過(guò)簡(jiǎn)易

2、算法實(shí)現(xiàn)圖像無(wú)畸變拼接。針對(duì)Ladybug系列相機(jī)對(duì)多目全景視覺(jué)技術(shù)在避障測(cè)距上的應(yīng)用開(kāi)展探索。主要對(duì)Ladybug的結(jié)構(gòu)與基本參數(shù)、3類坐標(biāo)系的轉(zhuǎn)換關(guān)系、同步獲取圖像功能進(jìn)行了研究。最后，利用上述研究獲得參數(shù)及立體匹配、透視關(guān)系計(jì)算實(shí)際距離。測(cè)距結(jié)果表明測(cè)距誤差在可接受范圍內(nèi)。關(guān)鍵詞：多目全景視覺(jué)；避障；測(cè)距；坐標(biāo)轉(zhuǎn)換；立體匹配中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1001—2257(2017)12—0027—04Studyo

3、nApplicationofMulti——ViewPanoramicVisionTechnologytoLadybugSeriesCAOWenjunl，ZHAOZuoxi2(1FoshanPolytechnic，F(xiàn)oshan528137，China；2CollegeofEngineering，SouthChinaAgriculturalUniversity，Guangzhou510642，China)Abstract：Atpresent

4、，mostapplicationsofpanoramiccamerasathomeandabroadfocusonsingleviewpointpanoramicvisionsystem，thedefectofwhichisthehighlevelofdistortion，thusitcannotbeusedfordistancemeasurementinobstacleavoidanceOnthecontrary，themulti—v

5、iewpanoramicvisioncameracancapturemultipleimagessimultaneouslyin360。，andtheseimagescanbemontagedwithoutdis—tortionthroughsimplealgorithmsThisresearchfirstlyexploredtheapplicationofmulti—viewpanoramicvisiontechnologyofLad

6、ybugseriesintoobstacleavoidanceanddistancemeasurement，andthenmainlystudiedthestructureandbasicparameters，thetransformingrelationofthethreecoordinatesystemsinLa—dybugseriesandthefunctionofsynchronousimageacquisitionFinall

7、y，theactualdistancewascalculatedbyusingparametersgainedinthewholeprocess，stereomatching，andperspectiverelationprincipleThefinalresultofrangingshowsthattheerroriswithintheacceptablerangeKeywords：multiviewpanoramiccamera；o

8、bstacleavoidance；distancemeasurement；coordinatetransform；stereomatching0引言傳統(tǒng)視覺(jué)傳感器如單目、雙目等形式，由于視場(chǎng)范圍受鏡頭限制，只可達(dá)到相機(jī)前方的幾十度甚至更小的范圍。作為一種擁有廣大視場(chǎng)的視覺(jué)傳感器，全景視覺(jué)能夠解決解決傳統(tǒng)視覺(jué)中許多還未解決的問(wèn)題，比如匹配點(diǎn)超出邊界范圍的問(wèn)題。國(guó)內(nèi)外在全景視覺(jué)的研究上取得了一定的成果，MingLi[11等人提出了一個(gè)基于人

9、工地標(biāo)和全方位視覺(jué)的農(nóng)業(yè)車輛導(dǎo)航定位系統(tǒng)，實(shí)現(xiàn)了信息的完整處理與自主導(dǎo)航。Chia[23等提出了一種結(jié)合了紅外傳感器和全景相機(jī)的機(jī)器人定位及路徑規(guī)劃方法，收稿日期：2017一07—30作者簡(jiǎn)介：■文君(1988一)，女，湖南益陽(yáng)人，助教，研究方向?yàn)檐囕v視覺(jué)導(dǎo)航，視覺(jué)檢測(cè)；趙祚謇(1968一)，男，湖南張家界人，博士研究生導(dǎo)師，研究方向?yàn)檐囕v工程，計(jì)算機(jī)應(yīng)用技術(shù)，農(nóng)業(yè)電氣化與自動(dòng)化。27萬(wàn)方數(shù)據(jù)曹文君等：Ladybug系列多目全景視覺(jué)技術(shù)

10、的應(yīng)用研究設(shè)計(jì)與研究垂直。通過(guò)調(diào)用庫(kù)函數(shù)中的有關(guān)內(nèi)外參數(shù)的函數(shù)，獲取相機(jī)的焦距與外參(局部坐標(biāo)與全局坐標(biāo)轉(zhuǎn)換的平移向量與旋轉(zhuǎn)矩陣)。獲取內(nèi)外參數(shù)程序如圖3所示。圖3獲取內(nèi)外參數(shù)程序利用上述程序可以獲得相機(jī)焦距，如表2、表3、表4所示。表2相機(jī)焦距(Tx，L，L)一(O0418，一O0021。0)(Tx，L，T；)一(00108，一00399，O)(Tx，L，T：)一(一00347，一00230，0)(L，L，L)一(一00118，一00

11、311，0)(Tx，L，t)一(o0145，00392，o)5(L，L，Tz)一(000157，一000124，00628)(R：，R。，R：)一(一2065，1565，一2068)(R，，R。，R：)一(2536，1561，1274)(R：，R，，R：)一(一2429，1557，1338)(R，，R，，R：)一(2734，1569，0523)(R，，R，，R：)一(一2065，1565，一2068)(R，，Ry，R：)一(O00501

12、，000958，000304)根據(jù)克雷格矩陣可將上述參數(shù)轉(zhuǎn)化成下列矩陣式(2)：M==嘏：胡，c品：嘏，嘏：一翊：翊。胡：翊，盹一s品：此?。簊品：嘏，翊：s品，北胡：以翊：翊，眈一c品：s疋丁，一sj，避c品，翊：c品，丁：00OZ—MIyZL1(3)式中的C表示COS，s表示sin?？赏ㄟ^(guò)M矩陣將局部坐標(biāo)系中的點(diǎn)轉(zhuǎn)化為全局坐標(biāo)心中的點(diǎn)，如(3)式所示(z。，Y’，z。，1)表示在全局坐標(biāo)中的空間點(diǎn)齊次坐標(biāo)，(z，Y，z，1)表示在局

13、部坐標(biāo)系中的點(diǎn)坐標(biāo)。3圖像的同步抓取實(shí)現(xiàn)Ladybu93通過(guò)火線來(lái)確定圖像拍攝時(shí)間與當(dāng)前時(shí)間的關(guān)系。這項(xiàng)功能主要應(yīng)用于Ladybu93與外部設(shè)備(例如激光雷達(dá)和GPS)的連接。同時(shí)，同步抓取圖像功能能夠解決機(jī)器人在實(shí)時(shí)避障中反應(yīng)的滯后，并同時(shí)得到360。信息。La—dybu93能同時(shí)處理、保存6個(gè)鏡頭所拍攝的圖像，能夠很好解決信息同步的問(wèn)題。其主要程序如圖4所示。圖4中在操作步驟下標(biāo)明了每一步所使用的其函數(shù)庫(kù)中函數(shù)。圖4圖像的同步抓取流