全景凝視系統(tǒng)中的關鍵技術研究.pdf

1、全景攝像機憑借其能實現(xiàn)大視場覆蓋、無盲區(qū)監(jiān)控的優(yōu)勢，在安防等領域受到廣泛的關注，然而全景攝像機對局部場景（目標）的拍攝分辨率太低，這個缺陷嚴重限制了全景攝像機的更廣泛的應用。全景凝視系統(tǒng)采用全景攝像機和PTZ（pan-tilt-zoom）攝像機相結合的方式，能夠兼顧全局無盲區(qū)監(jiān)控與局部高清監(jiān)控，結合計算機視覺目標檢測跟蹤等相關前沿技術，全景凝視系統(tǒng)在監(jiān)控應用中的巨大潛力有可能得到挖掘。本研究主要內(nèi)容包括：
　?、叛芯苛巳俺上裣到y(tǒng)

2、中的魚眼鏡頭畸變校正問題。提出在Bayer圖像信號上進行魚眼鏡頭畸變的校正，以增加成像系統(tǒng)設計的靈活性。首先，提出了一種適合于嵌入式硬件實現(xiàn)的魚眼鏡頭畸變校正方法，即VPF投影方法，該方法具有無需圖像幀緩存、極小延時、計算資源少等優(yōu)勢；其次，由于畸變校正過程中要進行圖像的插值，提出了適用于Bayer圖像信號的圖像插值算法，即基于Hermite和通道相關假設的Bayer圖像插值方法，該方法能夠利用Bayer圖像中相鄰位置、不同顏色通道的像

3、素之間的相關性進行更準確的圖像插值，仿真實驗的定性及定量的實驗結果均表明，其能得到比傳統(tǒng)插值方法（線性插值、立方插值）更好的效果；最后，基于FPGA嵌入式硬件平臺驗證了所提出的基于Bayer圖像信號的魚眼鏡頭畸變校正方法，實驗平臺事實上構成了一種基于魚眼鏡頭的全景成像原型系統(tǒng)。
　?、蒲芯苛巳皵z像機和PTZ攝像機的聯(lián)合標定問題，聯(lián)合標定的目的是得到從全景攝像機圖像坐標到PTZ攝像機運動參數(shù)的映射關系。首先，根據(jù)兩攝像機同視點的假

4、設和攝像機成像基本模型建立了兩攝像機之間的旋轉(zhuǎn)模型，考慮到旋轉(zhuǎn)模型的假設與實際情況存在多方面的出入，例如，同視點假設難以滿足、所采用的PTZ攝像機理想云臺模型也難以得到保證，本文提出了基于局部旋轉(zhuǎn)的映射模型；其次，基于特征點匹配的相關技術實現(xiàn)了局部旋轉(zhuǎn)映射模型的求解，其中，提出了基于重投影的特征點匹配方法，提高了全景圖像和PTZ圖像之間特征匹配的效果（特征點數(shù)量、匹配速度），提出了適用于局部旋轉(zhuǎn)映射模型的滑窗式RANSAC魯棒算法，有效

5、剔除了錯誤的特征點對。最后，在4種典型應用場景中進行了聯(lián)合標定實驗，實驗結果表明，所提出的聯(lián)合標定方法適用范圍廣、可操作性強，在20倍焦距（2.8度視場角）聯(lián)動測試中，至少95％的測試目標均能在PTZ攝像機畫面內(nèi)，標定精度能夠滿足大多數(shù)監(jiān)控應用需求。
　?、茄芯苛巳澳曄到y(tǒng)的行人檢測跟蹤技術。行人監(jiān)控是全景凝視系統(tǒng)的典型應用之一，針對獲取大范圍場景中所有行人的高清圖像（序列）的問題，結合全景凝視系統(tǒng)的特征，首先提出了全景凝視系統(tǒng)

6、的行人檢測跟蹤基本框架；其次，在框架范圍內(nèi)，重點研究了基于圖像的行人檢測技術，提出了基于尺度歸一化的積分通道特征和嵌入重采樣的級聯(lián)檢測算法的行人檢測方法，基于INRIA標準數(shù)據(jù)集的對比實驗表明所提出的行人檢測方法能夠達到主流的檢測效果，在普通筆記本上能夠達到接近每秒8幀的檢測速度。再次，在框架范圍內(nèi)，重點研究了基于檢測的跟蹤方法，基于粒子濾波跟蹤技術實現(xiàn)對圖像行人檢測效果的提升和行人目標的編號（實現(xiàn)跟蹤），針對PTZ攝像機云臺旋轉(zhuǎn)和鏡頭

7、變倍帶來的目標狀態(tài)發(fā)生突變的問題，在粒子濾波目標跟蹤框架下提出了基于特征點導向的運動模型。在典型的行人監(jiān)控應用場景中搭建了全景凝視系統(tǒng)，進行了行人檢測跟蹤技術的測試，測試表明系統(tǒng)能夠自動獲取至少100米范圍內(nèi)的行人目標的高清圖像序列?；谠搶嶒灜h(huán)境，重點實驗分析了基于檢測的行人跟蹤算法，實驗表明，基于檢測的跟蹤技術能夠在檢測的基礎上有效地提高目標檢測效果，減少誤檢、彌補漏檢，同時能夠得到穩(wěn)定的目標跟蹤結果，對目標遮擋情況也有一定的處理能