現場影像增強中的硬件加速機制研究.pdf

1、隨著處理器性能的不斷提升，圖像、影像中越來越多的信息被直觀化地呈現給用戶。然而，面對用戶在直觀化成像上越來越高的應用需求，信息的數據量龐大且需要實時處理?；趫D像處理平臺進行性能改進的方法往往難以達到直觀化成像要求，實時性和系統(tǒng)帶寬難以保證。
　　圖像處理平臺多采用單攝像頭單傳感器模塊對圖像進行采集，且平臺多采用同構處理器架構，配合主機完成后處理任務，其架構更多依賴于軟件算法來完成用戶應用需求的響應，主機運行的軟件算法處理速度較慢

2、，達不到直觀化成像的實時性要求，比如立體視覺、虛擬現實、現實增強等應用就難以用圖像處理平臺來滿足實時性需求。此外，高分辨率、高幀率的場景影像采集需要較高的前端總線帶寬來完成影像數據的傳輸任務，基于圖像處理平臺的改進并不能達到影像處理的帶寬需求。因此，圖像處理平臺的后處理思路無法滿足直觀化成像所帶來的實時性、帶寬需求，針對用戶直觀化應用要求，本文提出現場影像增強方法，該方法主要完成圖像增強領域中直觀化成像的實時性和帶寬需求，對影像信息進行

3、還原和增強處理，得到實時的現場影像增強處理結果。利用FPGA進行算法優(yōu)化和硬件加速，可以解決直觀化應用中的實時性瓶頸;利用定制化的現場高速總線接口UPI（PCIe/SRIO復用接口）可以解決直觀化應用中的帶寬瓶頸。
　　現場影像增強方法分為兩個部分:首先，需要對影像現場信息進行還原，以保證信息獲取范圍的準確性。本文采用了高動態(tài)范圍成像算法對場景信息進行還原處理，并對單相機成像、多相機成像和單鏡頭多傳感器成像等方法進行了歸納總結，提

4、出了一種能夠實時處理的高動態(tài)范圍視頻算法。其次，需要對場景信息進行增強處理，本文梳理了幾種影像增強方法及各自優(yōu)缺點，精簡了歐拉影像放大方法中的拉普拉斯金字塔構建方法，實現了ⅡR濾波的流水線處理，提出了一種快速硬件實現的歐拉影像放大算法。本文針對現場影像增強方法的幾個關鍵問題進行了研究，并給出了系統(tǒng)性的硬件加速方案。
　　主要的研究工作和創(chuàng)新點:
　　(1)歸納總結了當前高動態(tài)范圍圖像算法和視頻算法的研究成果，提出了實時的高動

5、態(tài)范圍視頻算法及硬件加速方法。首先，針對高動態(tài)范圍成像算法，本文提出了一種改進的Ward權值函數選取方法，并利用三階貝塞爾函數推導了相機響應曲線的擬合公式，可以在不需要精確知道曝光時間的情況下還原照度圖;同時，本文提出了一種優(yōu)化的全局色調映射算子，在不影響對比度的情況下降低了高亮區(qū)域的照度值，保證圖像中不會出現飽和失真;此外，本文對高動態(tài)范圍視頻中的頻閃問題提出了硬件解決方法，采用漏積分器模型對獨立計算的每幀亮度參數進行處理，使得色調映

6、射過程中各幀亮度參數相對統(tǒng)一。針對算法硬件加速過程遇到的存儲密集問題，本文對相機響應曲線進行四叉樹壓縮編碼，相比于直接存儲相機響應曲線的方法，本文方法可以節(jié)省至少99.6％的BRAM資源;針對算法硬件加速過程遇到的計算密集問題，本文采用多項式逼近方法將復雜的指數和對數運算簡化為移位和加法運算，同時利用乒乓緩沖區(qū)進行多路并行流水，結合FPGA內嵌的DSP slice資源，加快軟件算法循環(huán)語句運算速度。相比于Lapray和Mann等人提出的

7、FPGA硬件處理平臺，本文處理相同分辨率的影像所需要的時間較短，在120MHz的系統(tǒng)時鐘下，針對分辨率為1920×1080的19.58MB標準視頻數據，可在15.3ms內完成一幀視頻圖像的輸出。
　　(2)梳理了當前運動放大算法的研究成果，對拉格朗日影像放大方法和歐拉影像放大方法的優(yōu)缺點進行了分析，論證了拉格朗日放大方法不適合硬件實現的原因。提出了一種快速硬件實現的歐拉影像放大算法，該方法通過削減金字塔數量、固定放大因子，在不影響

8、直觀化顯示效果的情況下，相比于利用Matlab軟件在Intel(R) Xeon(R)處理器(3.3GHz)實現的軟件算法，能夠獲得16.1倍的硬件加速比。
　　(3)對前端總線的定制化方法和實時圖像處理平臺構建方法進行了總結和歸納，提出了以多個消息隊列和影像增強引擎為核心的硬件加速方法。采用兩片FPGA完成現場影像增強任務，基于功能級的任務切割方法對FPGA多任務進行調度，前端總線采用PCIe總線，FPGA芯片間互聯(lián)通過SRIO總