實(shí)時(shí)視覺特征檢測(cè)與匹配硬件架構(gòu)研究.pdf

1、隨著科學(xué)技術(shù)飛速發(fā)展，圖像以其具體、直觀的特點(diǎn)成為獲取信息的主要手段，被廣泛應(yīng)用于數(shù)據(jù)表示、信息傳遞和交流通信，在計(jì)算機(jī)視覺、模式識(shí)別、醫(yī)學(xué)圖像處理、遙感圖像處理、圖像信息檢索、導(dǎo)航制導(dǎo)、三維重建等眾多領(lǐng)域獲得廣泛應(yīng)用。這些應(yīng)用都需要在不同傳感器（成像設(shè)備）、不同時(shí)間、不同條件下獲取的兩幅或多幅圖像間建立對(duì)應(yīng)關(guān)系，而且對(duì)計(jì)算實(shí)時(shí)性要求非常高。但歸咎于問題的復(fù)雜性，不使用特殊硬件的普通個(gè)人電腦非常難滿足計(jì)算實(shí)時(shí)性的需求。本文的研究目標(biāo)是設(shè)

2、計(jì)出獨(dú)立通用、功耗低、體積小、速度快的視覺特征檢測(cè)與匹配硬件架構(gòu)。
　　本文通過大量比較分析發(fā)現(xiàn)，SIFT算法是最魯棒的特征檢測(cè)與描述方法之一，相對(duì)于其他方法的重要優(yōu)勢(shì)在于，其對(duì)圖像位移、尺度變換和旋轉(zhuǎn)變換都具有不變性，同時(shí)對(duì)光照變化、仿射變換、投影變換以及噪聲也具有相當(dāng)?shù)聂敯粜浴Ｈ欢?，它的?jì)算量非常大，通過純軟件方法難以滿足計(jì)算實(shí)時(shí)的需求。本文提出一種基于FPGA+DSP的 SIFT特征檢測(cè)與描述向量提取硬件架構(gòu)，很好的融合了F

3、PGA的并行/流水特性與高性能DSP的靈活性，利用二維高斯核的可拆分性和對(duì)稱性優(yōu)化二維高斯濾波器，通過提煉并改造特征檢測(cè)模塊的并行性優(yōu)化SIFT特征檢測(cè)模塊，通過實(shí)驗(yàn)分析確定梯度方向與模值計(jì)算模塊、SIFT特征檢測(cè)模塊的字長，因此本架構(gòu)能夠在不損失匹配精度的前提下降低FPGA資源占用率。該系統(tǒng)在分辨率為320x256的圖像中檢測(cè)SIFT特征點(diǎn)僅耗時(shí)10ms，提取單個(gè)SIFT描述向量耗時(shí)80us，特征數(shù)量不超過200時(shí)，其計(jì)算速度達(dá)到50

4、幀/秒。雖然上述FPGA+DSP硬件架構(gòu)能實(shí)時(shí)檢測(cè) SIFT特征并提取描述向量。然而，它沒有實(shí)現(xiàn)描述向量匹配步驟，并且需要兩個(gè)芯片協(xié)同工作，必須以單板形式存在。本文進(jìn)一步提出基于單片F(xiàn)PGA的視覺特征檢測(cè)與匹配的全并行/流水硬件架構(gòu)，通過綜合分析各模塊的像素吞吐率與計(jì)算量需求、改進(jìn)二維高斯濾波器層疊結(jié)構(gòu)、提煉BRIEF描述向量提取與匹配的并行度，從而降低FPGA資源占用率，使整個(gè)視覺特征檢測(cè)與匹配系統(tǒng)能在單片F(xiàn)PGA中實(shí)現(xiàn)。它能以60幀

5、/秒的速度在1280x720圖像中檢測(cè) SIFT特征點(diǎn)、提取并匹配BRIEF描述向量，滿足大部分應(yīng)用系統(tǒng)對(duì)特征檢測(cè)與匹配計(jì)算實(shí)時(shí)性的需求。大量實(shí)驗(yàn)證明，該系統(tǒng)大大的提升了視覺特征檢測(cè)與匹配的計(jì)算速度，并保持相當(dāng)?shù)钠ヅ渚?。整個(gè)系統(tǒng)在單片F(xiàn)PGA中實(shí)現(xiàn)，由相機(jī)直接驅(qū)動(dòng)，因此可以非常方便的集成到智能相機(jī)、視覺導(dǎo)航機(jī)器人等嵌入式系統(tǒng)中，提供可靠的圖像對(duì)應(yīng)關(guān)系。
　　本研究通過兩個(gè)實(shí)例闡述實(shí)時(shí)視覺特征檢測(cè)與匹配硬件架構(gòu)的應(yīng)用。首先利用本文

6、提出的FPGA+DSP硬件架構(gòu)加速基于SIFT特征的月球著陸器水平測(cè)速算法中最耗時(shí)、占內(nèi)存最多的SIFT特征檢測(cè)及描述向量提取部分，使整個(gè)系統(tǒng)能在規(guī)定時(shí)間內(nèi)估計(jì)著陸器的水平速度，滿足著陸器對(duì)計(jì)算實(shí)時(shí)性的需求。然后利用本文提出的基于單片F(xiàn)PGA的實(shí)時(shí)視覺特征檢測(cè)與匹配模塊，加速未標(biāo)定相機(jī)雙目視覺視差估計(jì)算法中計(jì)算量最大、占內(nèi)存最多的視覺特征提取與匹配部分，消除雙目視覺系統(tǒng)對(duì)相機(jī)內(nèi)參和幾何關(guān)系已知的約束，降低對(duì)安裝工藝精度的要求。本文提出的