現(xiàn)場影像增強中的硬件加速機制研究.pdf

1、隨著處理器性能的不斷提升，圖像、影像中越來越多的信息被直觀化地呈現(xiàn)給用戶。然而，面對用戶在直觀化成像上越來越高的應(yīng)用需求，信息的數(shù)據(jù)量龐大且需要實時處理?；趫D像處理平臺進行性能改進的方法往往難以達(dá)到直觀化成像要求，實時性和系統(tǒng)帶寬難以保證。
　　圖像處理平臺多采用單攝像頭單傳感器模塊對圖像進行采集，且平臺多采用同構(gòu)處理器架構(gòu)，配合主機完成后處理任務(wù)，其架構(gòu)更多依賴于軟件算法來完成用戶應(yīng)用需求的響應(yīng)，主機運行的軟件算法處理速度較慢

2、，達(dá)不到直觀化成像的實時性要求，比如立體視覺、虛擬現(xiàn)實、現(xiàn)實增強等應(yīng)用就難以用圖像處理平臺來滿足實時性需求。此外，高分辨率、高幀率的場景影像采集需要較高的前端總線帶寬來完成影像數(shù)據(jù)的傳輸任務(wù)，基于圖像處理平臺的改進并不能達(dá)到影像處理的帶寬需求。因此，圖像處理平臺的后處理思路無法滿足直觀化成像所帶來的實時性、帶寬需求，針對用戶直觀化應(yīng)用要求，本文提出現(xiàn)場影像增強方法，該方法主要完成圖像增強領(lǐng)域中直觀化成像的實時性和帶寬需求，對影像信息進行

3、還原和增強處理，得到實時的現(xiàn)場影像增強處理結(jié)果。利用FPGA進行算法優(yōu)化和硬件加速，可以解決直觀化應(yīng)用中的實時性瓶頸;利用定制化的現(xiàn)場高速總線接口UPI（PCIe/SRIO復(fù)用接口）可以解決直觀化應(yīng)用中的帶寬瓶頸。
　　現(xiàn)場影像增強方法分為兩個部分:首先，需要對影像現(xiàn)場信息進行還原，以保證信息獲取范圍的準(zhǔn)確性。本文采用了高動態(tài)范圍成像算法對場景信息進行還原處理，并對單相機成像、多相機成像和單鏡頭多傳感器成像等方法進行了歸納總結(jié)，提

4、出了一種能夠?qū)崟r處理的高動態(tài)范圍視頻算法。其次，需要對場景信息進行增強處理，本文梳理了幾種影像增強方法及各自優(yōu)缺點，精簡了歐拉影像放大方法中的拉普拉斯金字塔構(gòu)建方法，實現(xiàn)了ⅡR濾波的流水線處理，提出了一種快速硬件實現(xiàn)的歐拉影像放大算法。本文針對現(xiàn)場影像增強方法的幾個關(guān)鍵問題進行了研究，并給出了系統(tǒng)性的硬件加速方案。
　　主要的研究工作和創(chuàng)新點:
　　(1)歸納總結(jié)了當(dāng)前高動態(tài)范圍圖像算法和視頻算法的研究成果，提出了實時的高動

5、態(tài)范圍視頻算法及硬件加速方法。首先，針對高動態(tài)范圍成像算法，本文提出了一種改進的Ward權(quán)值函數(shù)選取方法，并利用三階貝塞爾函數(shù)推導(dǎo)了相機響應(yīng)曲線的擬合公式，可以在不需要精確知道曝光時間的情況下還原照度圖;同時，本文提出了一種優(yōu)化的全局色調(diào)映射算子，在不影響對比度的情況下降低了高亮區(qū)域的照度值，保證圖像中不會出現(xiàn)飽和失真;此外，本文對高動態(tài)范圍視頻中的頻閃問題提出了硬件解決方法，采用漏積分器模型對獨立計算的每幀亮度參數(shù)進行處理，使得色調(diào)映

6、射過程中各幀亮度參數(shù)相對統(tǒng)一。針對算法硬件加速過程遇到的存儲密集問題，本文對相機響應(yīng)曲線進行四叉樹壓縮編碼，相比于直接存儲相機響應(yīng)曲線的方法，本文方法可以節(jié)省至少99.6％的BRAM資源;針對算法硬件加速過程遇到的計算密集問題，本文采用多項式逼近方法將復(fù)雜的指數(shù)和對數(shù)運算簡化為移位和加法運算，同時利用乒乓緩沖區(qū)進行多路并行流水，結(jié)合FPGA內(nèi)嵌的DSP slice資源，加快軟件算法循環(huán)語句運算速度。相比于Lapray和Mann等人提出的

7、FPGA硬件處理平臺，本文處理相同分辨率的影像所需要的時間較短，在120MHz的系統(tǒng)時鐘下，針對分辨率為1920×1080的19.58MB標(biāo)準(zhǔn)視頻數(shù)據(jù)，可在15.3ms內(nèi)完成一幀視頻圖像的輸出。
　　(2)梳理了當(dāng)前運動放大算法的研究成果，對拉格朗日影像放大方法和歐拉影像放大方法的優(yōu)缺點進行了分析，論證了拉格朗日放大方法不適合硬件實現(xiàn)的原因。提出了一種快速硬件實現(xiàn)的歐拉影像放大算法，該方法通過削減金字塔數(shù)量、固定放大因子，在不影響

8、直觀化顯示效果的情況下，相比于利用Matlab軟件在Intel(R) Xeon(R)處理器(3.3GHz)實現(xiàn)的軟件算法，能夠獲得16.1倍的硬件加速比。
　　(3)對前端總線的定制化方法和實時圖像處理平臺構(gòu)建方法進行了總結(jié)和歸納，提出了以多個消息隊列和影像增強引擎為核心的硬件加速方法。采用兩片F(xiàn)PGA完成現(xiàn)場影像增強任務(wù)，基于功能級的任務(wù)切割方法對FPGA多任務(wù)進行調(diào)度，前端總線采用PCIe總線，F(xiàn)PGA芯片間互聯(lián)通過SRIO總