立體圖像對的極線校正

1、朱慶生，胡章平，劉然，等：立體圖像對的極線校正200930(17)40270引言在計算機立體視覺研究領域，立體圖像對的特征點匹配一直是一個關鍵問題[12]。它的目的是從立體圖像對的兩幅圖像中找出對應的特征點。目前大多數(shù)匹配算法都是基于這樣一個假設前提：立體圖像對的兩幅圖像對應的特征點在同一掃描線上[3]。這樣就將匹配的搜索范圍從二維降到了一維，加快了匹配速度，提高了匹配精度[4]。有些文獻將滿足這一假設前提稱為滿足掃描線特性[5]。但是

2、，現(xiàn)實中得到的大多數(shù)立體圖像對不滿足掃描線特性，對應的特征點往往存在垂直視差，并且大多數(shù)點對的垂直視差也不是一個相同的值，不能通過平移圖像來達到消除垂直視差的目的。針對這種情況，有些學者提出采用極線校正的方法使立體圖像對的兩幅圖像滿足掃描線特性。極線校正又稱為圖像校正[6]、投影校正[37]，指的是對兩幅圖像各進行一次投影變換，使得兩幅圖像對應的極線在同一條掃描線上[14]，從而滿足掃描線特性。目前已有許多極線校正方法。Seitz等人給

3、出了兩幅圖像滿足掃描線特性的充要條件，并據(jù)此給出了一種確定投影變換矩陣的方法[8]；Francesco等人提出了一種無需基本矩陣的極線校正方法，該方法只依賴于圖像匹配點的坐標，利用線性最小二乘估計和非線性最優(yōu)化方法來計算投影變換矩陣[3]；Mallon等人給出了一種僅依賴于基本矩陣的方法，該方法根據(jù)基本矩陣求出極點，然后將極點旋轉到X軸，接著將極點投影到無窮遠處，最后使得兩幅圖像對應的極線在同一條掃描線上[7]；林國余等人在Hartle

4、y和Francesco算法的基礎上進行了改進，給出了一種有效的魯棒性極線校正方法，并使其適合兩個平行放置的攝像機之間具有較小移動的情況[1]。以上方法各有優(yōu)點和局限。本文在無需基本矩陣的方法基礎上，引入了深度旋轉等約束，采用完全基于基本矩陣的方法計算出投影變換矩陣的初始值，再代入目標函數(shù)進行最優(yōu)化，從而克服了最優(yōu)化時對初始值敏感的特點，同時又不過分依賴基本矩陣的計算。1極線幾何設立體圖像對的兩幅圖像分別是I0和I1，F(xiàn)是其對應的基本矩陣

5、，則對每一對匹配點u0∈I0和u1∈I1，有u1TFu0=0(1)收稿日期：20080923；修訂日期：20081116。基金項目：國家自然科學基金項目(60773082F0205)；國家863高技術研究發(fā)展計劃基金項目(2006AA10Z233)；重慶大學研究生科技創(chuàng)新基金項目(200701Y1A0080194)。作者簡介：朱慶生(1956－)，男，安徽人，教授，博士生導師，研究方向為數(shù)字農(nóng)業(yè)、圖形圖像學等；胡章平(1982－)，男，

6、四川人，碩士研究生，研究方向為計算機視覺；劉然(1978－)，男，湖南人，博士，研究方向為計算機視覺；許小艷(1980－)，女，湖南人，博士研究生，研究方向為計算機視覺。Email：hzhping350@立體圖像對的極線校正朱慶生，胡章平，劉然，許小艷(重慶大學計算機學院，重慶400044)摘要：將Seitz方法和Francesco方法結合起來，給出了一種改進的極線校正方法。該方法利用改進的八點算法算出基本矩陣，根據(jù)基本矩陣采用Seit

7、z方法計算投影變換矩陣，最后以算出的投影變換矩陣為初值采用Francesco方法對其進行最優(yōu)化，從而有效地避免了最優(yōu)化時陷入局部最優(yōu)的可能，同時又不過分依賴基本矩陣的精度。通過對Francesco方法、Mallon方法和該方法進行對比實驗，可以發(fā)現(xiàn)該方法具有更高的校正精度，圖像的扭曲也比較小。關鍵詞：極線幾何極線校正立體圖像對圖像校正投影校正中圖法分類號：TP391文獻標識碼：A文章編號：10007024(2009)17402704Ep

8、ipolarlinerectificationfstereopairsZHUQingshengHUZhangpingLIURanXUXiaoyan(CollegeofComputerScienceChongqingUniversityChongqing400044China)Abstract：CombiningSeitzmethodwithFrancescomethodaimprovedmethodtorectifyepipolarli

9、nesfstereopairsisintroduced.InthismethodthefundamentalmatrixiscalculatedusingtheimprovedeightpointalgithmthenasaninputfSeitzmethodtogettheprojectivetransfmationmatrices.FinallythesematricesareusedtoinitializetheFrancesco

10、methodfoptimizationavoidinginthiswaylocalminimaaswellasthedependenceontheprecisionofthefundamentalmatrix.ExperimentalresultsshowthatthepresentedmethodwksmeaccuratelywithlowimagedisttionincontrasttoFrancescomethodMallonme

11、thod.Keywds：epipolargeometryepipolarlinerectificationstereopairsimagerectificationprojectiverectification多媒體技術計算機工程與設計ComputerEngineeringDesign朱慶生，胡章平，劉然，等：立體圖像對的極線校正200930(17)40292.2對齊極線由2.1節(jié)可知，Rd00I0和Rd11I1的圖像平面是相互平行的，

12、并且各自的極線是平行的。但是這些極線通常與x軸存在夾角，因此下一步就是將這些極線旋轉至水平。預先設R=cossin0sincos0001(11)其中=arctan。如圖2所示，在Rd00I0中，所有的極線都平行于oe0，因此極線需要旋轉的角度為0，旋轉變換矩陣為R0。R0不影響Rd00I0中的點的第3個坐標分量。對于Rd11I1，也需做類似的旋轉[11]，旋轉的角度為1，對應的矩陣為R1。將上述一系列變換矩陣代入式(4)，可知此時基本矩

13、陣已變?yōu)镕=((R11)T((Rd11)1)T)F((Rd00)1R10)(12)由式(10)、(11)可知，(Rd00)T=(Rd00)1，(Rd11)T=(Rd11)1，R1=RT=R，因此式(12)可化簡為F=R1R11FR00R0(13)F是兩個圖像平面變成平行平面、并且極線水平之后的基本矩陣。但此時對應的極線不一定在同一掃描線上。因此必須對其中一幅圖像進行變換，使對應的極線縱坐標相同。假設以I0為參考圖像，則I1與之相比需要先

14、進行y軸方向的比例變換(設比例變換因子為a)，然后進行y軸方向的平移(設平移量為b)，才能將對應的掃描線對齊。0=1(14)其中：0、1——I0和I1中對應點的縱坐標。對應的變換矩陣是T=1000001(15)因此，H1=TR1R11。將其代入式(4)，聯(lián)立式(13)，可得F=0000010(16)式(17)說明，參數(shù)、由F決定。當0時，兩幅圖像中極線的上下順序是相反的，也就是圖像顛倒了，此時1需增加，對應的矩陣為R1=R1。綜上，兩幅

15、圖像的投影變換矩陣為H0=R0R00H1=TR1R11(17)H0和H1的值只取決于P0的選擇。文獻[11]給出了一組最優(yōu)值，即0=002020=00202(18)2.3求解H如上所述，在已知F的情況下，Hi可僅由ei的坐標計算出來。不過，采用最優(yōu)化式(9)的方法來確定Hi時，是要避開使用F的。這樣，依賴于F的參數(shù)1、1、、均不能用ei的坐標計算求解。因此，在引入式(17)所示的約束和式(18)的最優(yōu)值以后，式(9)中未知參數(shù)的個數(shù)減為

16、8個；又由于(1)2(1)2=1，設1=cos，則1=sin。因此未知參數(shù)可減為7個，它們是、、、、(=01)。只要已知7對或7對以上的匹配點的坐標，就可以通過最小化的方法確定Hi。最小化是一個非線性最小二乘最優(yōu)化問題。這里采用LevenbergMarquardt算法對最小化[3]。由于該算法對初始值很敏感，因此可以先采用Hartley的改進的八點算法算出F，進而算出、、、、的值，然后將這些值作為初始值，采用LevenbergMarqu

17、ardt算法對進行最小化，從而保證7個參數(shù)收斂于正確解。值得注意的是，如果的初始值0小于0，則需用1代替1進行計算。最后，利用最優(yōu)化后得到的7個參數(shù)的值按照2.1節(jié)和2.2節(jié)描述的步驟計算出Hi。采用LevenbergMarquardt算法得到Hi以后，還需驗證最后得到的是否與0符號一致。如果不一致則需要調整算法的參數(shù)重新計算。一般情況下，LevenbergMarquardt算法會讓最終收斂于0附近，從而保證與0的符號一致。2.4生成校

18、正后的圖像如圖3所示，得到Hi之后，對Ii實施變換Hi便可得到校正后的圖像HiIi。但是這樣做會使得新圖像HiIi中的某些點不能在Ii中找到對應的點，從而產(chǎn)生“空洞(holes)”現(xiàn)象。采用下面逆向映射的方法能夠消除空洞：(1)計算圖像HiIi；(2)求解HiIi的最小邊界矩形i；(3)對i進行平移，使i左上角的點平移到坐標系的positivedirection圖2兩圖像分別繞d0和d1旋轉后得到的平行視圖directionofrota