基于FPGA的實(shí)時(shí)立體視覺系統(tǒng)研究.pdf

1、立體視覺能夠從同一場(chǎng)景不同視角拍攝的圖像數(shù)據(jù)獲得物體表面的深度信息，重建三維場(chǎng)景結(jié)構(gòu)，在無人駕駛車、星球車等智能移動(dòng)機(jī)器上得到了廣泛應(yīng)用。盡管立體視覺的實(shí)時(shí)實(shí)現(xiàn)已發(fā)展成為立體視覺領(lǐng)域的研究熱點(diǎn)，但多數(shù)實(shí)時(shí)立體視覺系統(tǒng)都是針對(duì)小分辨率圖對(duì)（例如320×240）。
　　 本文基于單片現(xiàn)場(chǎng)可編程門陣列(FPGA)設(shè)計(jì)了一套立體視覺系統(tǒng)，實(shí)時(shí)實(shí)現(xiàn)了512×512分辨率圖對(duì)的幾何校正、Census局部變換以及相關(guān)匹配三個(gè)算法流程。立體匹配

2、是立體視覺系統(tǒng)中最耗時(shí)也是最耗資源的一歲。由于區(qū)域匹配算法運(yùn)算復(fù)雜度低，且易于采用硬件加速技術(shù)，所以實(shí)時(shí)立體視覺系統(tǒng)一般都采用區(qū)域匹配算法。本文提出了一種基于Census局部變換的非參數(shù)化匹配算法，不僅對(duì)亮度不均、噪聲等情況具有很好的魯棒性，而且只涉及比較、異或和累加運(yùn)算，非常適合FPGA邏輯電路實(shí)現(xiàn)與加速。整個(gè)立體視覺系統(tǒng)的算法集中在立體視覺平臺(tái)上實(shí)現(xiàn)。平臺(tái)以Virtex5-LXT系列FPGA為處理核心，包括SRAM、Nand-Fla

3、sh ROM、SDRAM以及FIFO四種存儲(chǔ)控制器，采用SERDES接口下行輸入左右視圖原始數(shù)據(jù)，采用以太網(wǎng)接口上行輸出匹配結(jié)果及相應(yīng)視差值。在立體視覺算法的實(shí)現(xiàn)中，采用了乒乓結(jié)構(gòu)、窗口數(shù)據(jù)緩存以及Box濾波等硬件加速方法來優(yōu)化設(shè)計(jì)。為了提高實(shí)時(shí)性，系統(tǒng)充分利用FPGA并行計(jì)算結(jié)構(gòu)和流水線技術(shù)，僅僅增加不到一半的硬件資源，而提升了近一倍的運(yùn)算速度。對(duì)于左右一致性校驗(yàn)的流程進(jìn)行了調(diào)整和優(yōu)化，在一次相關(guān)運(yùn)算中分別獲得以左右視圖為基準(zhǔn)的匹配結(jié)