基于FPGA的實時立體視覺系統(tǒng)研究.pdf

1、立體視覺能夠從同一場景不同視角拍攝的圖像數(shù)據(jù)獲得物體表面的深度信息，重建三維場景結(jié)構(gòu)，在無人駕駛車、星球車等智能移動機器上得到了廣泛應用。盡管立體視覺的實時實現(xiàn)已發(fā)展成為立體視覺領域的研究熱點，但多數(shù)實時立體視覺系統(tǒng)都是針對小分辨率圖對（例如320×240）。
　　 本文基于單片現(xiàn)場可編程門陣列(FPGA)設計了一套立體視覺系統(tǒng)，實時實現(xiàn)了512×512分辨率圖對的幾何校正、Census局部變換以及相關匹配三個算法流程。立體匹配

2、是立體視覺系統(tǒng)中最耗時也是最耗資源的一歲。由于區(qū)域匹配算法運算復雜度低，且易于采用硬件加速技術，所以實時立體視覺系統(tǒng)一般都采用區(qū)域匹配算法。本文提出了一種基于Census局部變換的非參數(shù)化匹配算法，不僅對亮度不均、噪聲等情況具有很好的魯棒性，而且只涉及比較、異或和累加運算，非常適合FPGA邏輯電路實現(xiàn)與加速。整個立體視覺系統(tǒng)的算法集中在立體視覺平臺上實現(xiàn)。平臺以Virtex5-LXT系列FPGA為處理核心，包括SRAM、Nand-Fla

3、sh ROM、SDRAM以及FIFO四種存儲控制器，采用SERDES接口下行輸入左右視圖原始數(shù)據(jù)，采用以太網(wǎng)接口上行輸出匹配結(jié)果及相應視差值。在立體視覺算法的實現(xiàn)中，采用了乒乓結(jié)構(gòu)、窗口數(shù)據(jù)緩存以及Box濾波等硬件加速方法來優(yōu)化設計。為了提高實時性，系統(tǒng)充分利用FPGA并行計算結(jié)構(gòu)和流水線技術，僅僅增加不到一半的硬件資源，而提升了近一倍的運算速度。對于左右一致性校驗的流程進行了調(diào)整和優(yōu)化，在一次相關運算中分別獲得以左右視圖為基準的匹配結(jié)