攝像機標(biāo)定和三維重建

1、攝像機標(biāo)定和三維重建,胡占義中國科學(xué)院自動化研究所模式識別國家重點實驗室,主要內(nèi)容,1、引言2、圖象的形成過程3、傳統(tǒng)標(biāo)定方法DLT方法，RAC方法和簡易標(biāo)定方法4、 預(yù)備知識5、攝像機自標(biāo)定6、基于主動視覺的攝像機標(biāo)定7、分層重建理論8、多視點幾何,引言,幾個問題什么是攝像機標(biāo)定 ？為什么要對攝像機進行標(biāo)定 ？為什么要研究不同的攝像機標(biāo)定方法？什么是三維重建 ？為什么要進行三維重建 ？,引言

2、,三維重建是人類視覺的主要目的，也是計算機視覺的最主要的研究方向. (Marr 1982)所謂三維重建就是指從二幅和二幅以上圖象恢復(fù)空間點三維坐標(biāo)的過程。三維重建的三個關(guān)鍵步驟 圖象對應(yīng)點的確定 攝像機標(biāo)定 二圖象間攝像機運動參數(shù)的確定,三維重建示意圖,圖象的形成過程和攝像機針孔模型,1、世界坐標(biāo)系： 2、攝像機坐標(biāo)系：3、圖像坐標(biāo)系:,,,坐標(biāo)系,攝像機光學(xué)成像過程的四個步驟,1、剛體變換公式,齊次坐標(biāo)形式,f

3、=OB 為透鏡的焦距m=OC 為像距n=AO 為物距,一般地由于 于是 這時可以將透鏡成像模型近似地用小孔模型代替,2、透視投影——透鏡成像原理圖,寫成齊次坐標(biāo)形式為,2、透視投影——小孔成像模型,寫成齊次坐標(biāo)形式為,2、中心透視投影模型,,,,,,,,,Position with distortion,Ideal

4、Position,dr :radial distortiondt :tangential distortion,3、畸變校正——徑向和切向畸變,徑向畸變離心畸變薄透鏡畸變,徑向失真切向失真,,,,,,,,3、畸變校正——其它畸變類型,桶形畸變a和枕形畸變b,薄棱鏡畸變,在 中的坐標(biāo)為 象素在軸上的物理尺寸為,Affine Transformation :,4、圖像數(shù)字化,齊次坐標(biāo)形式:,其中,攝像機的內(nèi)參數(shù)矩

5、陣 K,,線性攝像機成像模型,圖像物理坐標(biāo)系,圖像像素坐標(biāo)系,攝像機坐標(biāo)系,世界坐標(biāo)系,圖像像素坐標(biāo)系,世界坐標(biāo)系,,,最終得到：,,,,這是忽略畸變的線性成像模型,,傳統(tǒng)的攝像機標(biāo)定方法,特點要求攝像機標(biāo)定塊，算法復(fù)雜，精度高,,直接線性變換（DLT變換）,DLT: Direct Linear Transformation,Abdal-Aziz和Karara于70年代初提出了直接線性變換像機定標(biāo)的方法，他們從攝影測量學(xué)的角度

6、深入的研究了像機圖像和環(huán)境物體之間的關(guān)系，建立了像機成像幾何的線性模型，這種線性模型參數(shù)的估計完全可以由線性方程的求解來實現(xiàn)。,直接線性變換是將像點和物點的成像幾何關(guān)系在齊次坐標(biāo)下寫成透視投影矩陣的形式：,,其中 為圖像坐標(biāo)系下的點的齊次坐標(biāo)， 為世界坐標(biāo)系下的空間點的歐氏坐標(biāo)， 為 的透視投影矩陣， 為未知尺度因子。,,,,,,消去 ，可以得到方程組:,當(dāng)已知 個空間點和對應(yīng)的圖像上的點時

7、，可以得到一個含有2* 個方程的方程組：,,,其中 為 的矩陣， 為透視投影矩陣元素組成的向量 。,,,像機定標(biāo)的任務(wù)就是尋找合適的 ，使得 為最小，即,,給出約束：,,,,,,,為 的前11個元素組成的向量， 為 前11列組成的矩陣， 為 第12列組成的向量。,是否合理？,約束 不具有旋轉(zhuǎn)和平移

8、的不變性,解將隨著世界坐標(biāo)系的選取不同而變化.,證明：世界坐標(biāo)系作剛性坐標(biāo)變換,,,則,顯然在一般的情況下,,另一個約束 具有旋轉(zhuǎn)和平移的不變性,,,,,,,,,,,,由,,,,,,,,向量 , , 是兩兩垂直的單位向量,,R. Tsai 的 RAC的定標(biāo)算法,,,,,,80年代中期Tsai提出的基于RAC的定標(biāo)方法是計算機視覺像機定標(biāo)方面的一項重要工作，該方法的核心是利用徑向

9、一致約束來求解除 （像機光軸方向的平移）外的其它像機外參數(shù)，然后再求解像機的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過程快捷，準(zhǔn)確。,簡 介,像機模型 徑向一致約束 定標(biāo)算法,主要內(nèi)容,,,,,,,,,,,,,,,,,,,,,,世界坐標(biāo)系和攝像機坐標(biāo)系的關(guān)系,像機模型,,,,,,,,,,,,,,,,,,,,,,攝像機坐標(biāo)系和圖像坐標(biāo)系的關(guān)系,像機模型,,,,理想圖

10、像坐標(biāo)到實際圖像坐標(biāo)的變換（只考慮徑向偏差）,像機模型,從實際圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換,,,,,,,像機模型,徑向一致約束,,,,,,,,,,,,,,,徑向一致約束:,,定標(biāo)算法,,2.求解有效焦距 、 方向上的平移和畸變參數(shù),定標(biāo)算法——步驟一,1.求解外像機參數(shù)旋轉(zhuǎn)矩陣 和 、 方向上的平移,,,由一個空間點 和其圖像投影點 ,根據(jù)徑向一致約束性 可以得到下面的方程,,其中,,

11、定標(biāo)算法——步驟一,如果得到一系列數(shù)目大于7個的標(biāo)志點和它們的對應(yīng)投影圖像點，就變成了一個過限制方程組，可以由最小二乘法,解出以下的7個變量,,,2.計算,,,,由,定標(biāo)算法——步驟一,,,,,,,,4.計算旋轉(zhuǎn)矩陣 和 ，并確定 的符號,先假定取正號，由以下的公式可以計算出旋轉(zhuǎn)矩陣 和,,,定標(biāo)算法——步驟一,,,,取世界坐標(biāo)系中任一標(biāo)志點 ,則可以計算出其在,像機坐標(biāo)系中的坐標(biāo),同時取這個坐標(biāo)點在圖像

12、上的投影點,在實際像機系統(tǒng)中， 應(yīng)該 和同號，如果計算出兩者異號，,,,,則 取為負號。最后求解,,,定標(biāo)算法——步驟二,,,對于一個標(biāo)志點，可以得到以下的兩個方程,當(dāng)不存在徑向畸變時， 。,式變?yōu)?式,定標(biāo)算法——步驟二,對于一系列的標(biāo)志點，則形成了一個超定的方程組，可以,用線性最小二乘法求出 和 。,,,當(dāng)存在徑向畸變時，仍應(yīng)用式 求出 和 的初始值，然后,,,,將求出的 和 連同 作為條件

13、，對式 進行非線性優(yōu)化，,,估計出 、 和 的真實值。,張正友的平面標(biāo)定方法,張正友的平面標(biāo)定方法,,基本原理：,,在這里假定模板平面在世界坐標(biāo)系 的平面上 其中， 為攝像機的內(nèi)參數(shù)矩陣， 為模板平面上點的齊次坐標(biāo)， 為模板平面上點投影到圖象平面上對應(yīng)點的齊次坐標(biāo)， 和 分別是攝像機坐標(biāo)系相對于世

14、界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量,,,其中,根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即 和 ，每幅圖象可以獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束,由于攝像機有5個未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時，就可以線性唯一求解出,張正友的平面標(biāo)定方法,張正友方法所用的平面模板,張正友的平面標(biāo)定方法,算法描述,張正友的平面標(biāo)定方法,打印一張模板并貼在一個平面上從不同角度拍攝若干