基于FPGA的紅外與可見光視頻實(shí)時融合系統(tǒng).pdf

1、圖像融合技術(shù)可以把多傳感器對同一幅場景的信息集中到一幅圖像中，從而集各傳感器的優(yōu)點(diǎn)于一幅圖像中，充分的利用了多傳感器間的較好互補(bǔ)性，有效的克服了單傳感器的缺陷，可以獲得針對同一場景更為可靠、全面和準(zhǔn)確的信息，因此一直以來便是研究的熱點(diǎn)技術(shù)之一[1]。目前硬件融合系統(tǒng)多采用FPGA+DSP的架構(gòu)，這種架構(gòu)充分運(yùn)用DSP算法編寫效率高的優(yōu)點(diǎn)，但容易造成大量的資源浪費(fèi)。針對上述問題，本文采用單個FPGA作為視頻融合處理的核心器件，在提高資源利

2、用率的同時，較好的實(shí)現(xiàn)了圖像的實(shí)時融合。
　　 本文的研究工作主要集中在融合系統(tǒng)硬件平臺的設(shè)計(jì)以及配準(zhǔn)融合算法的FPGA硬件實(shí)現(xiàn)。根據(jù)系統(tǒng)的實(shí)際需求，設(shè)計(jì)融合系統(tǒng)各功能模塊電路的原理圖并完成了硬件系統(tǒng)的PCB設(shè)計(jì);在軟件設(shè)計(jì)階段，采用VHDL/Verilog語言編寫相關(guān)的模塊。通過I2C總線配置ADV7180視頻解碼芯片的寄存器;根據(jù)PAL和NTSC制式的時序差別，設(shè)計(jì)了能自動識別這兩種制式的模塊;根據(jù)BT656視頻格式完成視頻

3、解碼模塊設(shè)計(jì);利用Matlab軟件編寫SIFT算法，對該融合系統(tǒng)的兩幅同一場景圖像進(jìn)行特征點(diǎn)的提取并剔除錯誤的特征點(diǎn)對;通過仿射變換模型得到該融合系統(tǒng)的變換矩陣，把該矩陣送入FPGA處理模塊;為實(shí)現(xiàn)兩幅圖像的硬件配準(zhǔn)，需要在FPGA內(nèi)設(shè)計(jì)雙線性插值模塊;對于視頻數(shù)據(jù)的存儲，本文通過選用易于控制的SRAM并在兩側(cè)加FIFO模塊進(jìn)行緩沖來實(shí)現(xiàn);在視頻融合階段，選用了易于硬件化實(shí)現(xiàn)的偽彩色融合、加權(quán)平均融合、灰度值選大以及拉普拉斯金字塔融合方