基于可編程片上系統(tǒng)的實時立體匹配算法研究.pdf

1、雙目立體視覺是計算機視覺的一個重要研究內(nèi)容，它通過兩臺安裝在同一基線間隔一定距離的攝像機拍攝同一場景，以獲得該場景在兩個視角的圖像數(shù)據(jù)。再通過立體匹配計算出物體表面的深度信息，從而實現(xiàn)重建場景的三維結(jié)構(gòu)。相比其他類型的立體視覺方法，雙目立體視覺直接模擬人類眼睛處理視覺信息的方式，具有重建分辨率高、使用場景廣泛、可靠、簡單的優(yōu)勢。
　　目前，雙目立體視覺系統(tǒng)主要應(yīng)用在行星車、機器人自主導(dǎo)航及智能車無人駕駛等領(lǐng)域，在民用鄰域的成功應(yīng)用

2、還非常少。主要原因在于實時性和魯棒性方面無法滿足需要，特別是對高分辨率立體圖對（1024×768像素及以上）處理很難能達到實時性要求。立體匹配是立體視覺系統(tǒng)中最耗時的環(huán)節(jié)，因此本文從提高立體匹配的準(zhǔn)確性及實時性兩個方面進行研究，對立體視覺系統(tǒng)在實際應(yīng)用中的推廣具有良好的應(yīng)用價值。
　　提出了一種改進的稀疏Census變換的非參量局部立體匹配算法。傳統(tǒng)的Census變換將變換窗口中心像素與變換窗口內(nèi)所有像素進行灰度值大小比較獲得Ce

3、nsus像素值以替代中心像素的灰度值，該Census像素比原始灰度值數(shù)據(jù)量有數(shù)倍的增加。傳統(tǒng)的稀疏Census變換將變換窗口中心像素與變換窗口內(nèi)小部分像素進行灰度值大小比較獲得數(shù)據(jù)量減少的Census像素值，但是該Census像素所包含的相關(guān)信息量明顯減少，有可能造成誤匹配。本算法通過分析變換窗口內(nèi)像素對中心像素相關(guān)信息的貢獻度大小，提出了選取變換窗口內(nèi)像素按照特定分布位置兩兩進行灰度值大小比較的方式實現(xiàn)稀疏Census變換。該稀疏Ce

4、nsus變換為后續(xù)立體匹配過程提供的數(shù)據(jù)量與原始灰度圖相當(dāng)，但是包含的相關(guān)信息數(shù)量比傳統(tǒng)稀疏Census增加了一倍，可以有效地提高算法的實時性和魯棒性。
　　通過對立體匹配算法流程進行并行性分析及建模，實現(xiàn)了一套基于FPGA邏輯電路實現(xiàn)與加速的稀疏Census變換的非參量局部立體匹配算法電路。該算法電路采用流水線并行結(jié)構(gòu)，流水線中包含了Census變換、漢明碼距提取、漢明碼距累加和計算、代價聚合、視差解析及左右一致性檢測等立體匹配

5、算法所需模塊。算法核心工作在60MHz工作頻率就可以實現(xiàn)高分辨率立體圖對70幀每秒的匹配處理能力，具有非常好的實時性能。
　　利用可編程片上系統(tǒng)(SoPC)技術(shù)，將立體匹配算法模塊與可配置的32位嵌入式微處理器軟核及各種外設(shè)IP集成，提出了一套基于FPGA芯片的片上系統(tǒng)架構(gòu)。該系統(tǒng)以32位NiosⅡ嵌入式微處理器為核心，通過高速Avalon互聯(lián)總線與DDRⅡ存儲器、同步SRAM存儲器、Flash存儲器、PLL鎖相環(huán)、JTAG UA

6、RT、定時器、流水線式讀取DMA控制器及立體匹配算法模塊連接，形成一個完整的立體匹配專用計算機系統(tǒng)。系統(tǒng)提供一套配置接口，通過這套接口可以對立體匹配算法模塊工作參數(shù)進行配置，使系統(tǒng)可以支持各種分辨率尺寸的立體圖形匹配，增加了系統(tǒng)靈活性。
　　本文使用所提出的片上系統(tǒng)架構(gòu)實現(xiàn)了傳統(tǒng)SAD立體匹配算法以及改進的稀疏Census變換的立體匹配算法，并對兩種算法處理的視差數(shù)據(jù)進行了比較性研究。結(jié)果表明本文提出的稀疏Census變換的立體匹