全景凝視系統(tǒng)中的關(guān)鍵技術(shù)研究.pdf

1、全景攝像機(jī)憑借其能實(shí)現(xiàn)大視場(chǎng)覆蓋、無(wú)盲區(qū)監(jiān)控的優(yōu)勢(shì)，在安防等領(lǐng)域受到廣泛的關(guān)注，然而全景攝像機(jī)對(duì)局部場(chǎng)景（目標(biāo)）的拍攝分辨率太低，這個(gè)缺陷嚴(yán)重限制了全景攝像機(jī)的更廣泛的應(yīng)用。全景凝視系統(tǒng)采用全景攝像機(jī)和PTZ（pan-tilt-zoom）攝像機(jī)相結(jié)合的方式，能夠兼顧全局無(wú)盲區(qū)監(jiān)控與局部高清監(jiān)控，結(jié)合計(jì)算機(jī)視覺(jué)目標(biāo)檢測(cè)跟蹤等相關(guān)前沿技術(shù)，全景凝視系統(tǒng)在監(jiān)控應(yīng)用中的巨大潛力有可能得到挖掘。本研究主要內(nèi)容包括：
　?、叛芯苛巳俺上裣到y(tǒng)

2、中的魚(yú)眼鏡頭畸變校正問(wèn)題。提出在Bayer圖像信號(hào)上進(jìn)行魚(yú)眼鏡頭畸變的校正，以增加成像系統(tǒng)設(shè)計(jì)的靈活性。首先，提出了一種適合于嵌入式硬件實(shí)現(xiàn)的魚(yú)眼鏡頭畸變校正方法，即VPF投影方法，該方法具有無(wú)需圖像幀緩存、極小延時(shí)、計(jì)算資源少等優(yōu)勢(shì)；其次，由于畸變校正過(guò)程中要進(jìn)行圖像的插值，提出了適用于Bayer圖像信號(hào)的圖像插值算法，即基于Hermite和通道相關(guān)假設(shè)的Bayer圖像插值方法，該方法能夠利用Bayer圖像中相鄰位置、不同顏色通道的像

3、素之間的相關(guān)性進(jìn)行更準(zhǔn)確的圖像插值，仿真實(shí)驗(yàn)的定性及定量的實(shí)驗(yàn)結(jié)果均表明，其能得到比傳統(tǒng)插值方法（線性插值、立方插值）更好的效果；最后，基于FPGA嵌入式硬件平臺(tái)驗(yàn)證了所提出的基于Bayer圖像信號(hào)的魚(yú)眼鏡頭畸變校正方法，實(shí)驗(yàn)平臺(tái)事實(shí)上構(gòu)成了一種基于魚(yú)眼鏡頭的全景成像原型系統(tǒng)。
　?、蒲芯苛巳皵z像機(jī)和PTZ攝像機(jī)的聯(lián)合標(biāo)定問(wèn)題，聯(lián)合標(biāo)定的目的是得到從全景攝像機(jī)圖像坐標(biāo)到PTZ攝像機(jī)運(yùn)動(dòng)參數(shù)的映射關(guān)系。首先，根據(jù)兩攝像機(jī)同視點(diǎn)的假

4、設(shè)和攝像機(jī)成像基本模型建立了兩攝像機(jī)之間的旋轉(zhuǎn)模型，考慮到旋轉(zhuǎn)模型的假設(shè)與實(shí)際情況存在多方面的出入，例如，同視點(diǎn)假設(shè)難以滿(mǎn)足、所采用的PTZ攝像機(jī)理想云臺(tái)模型也難以得到保證，本文提出了基于局部旋轉(zhuǎn)的映射模型；其次，基于特征點(diǎn)匹配的相關(guān)技術(shù)實(shí)現(xiàn)了局部旋轉(zhuǎn)映射模型的求解，其中，提出了基于重投影的特征點(diǎn)匹配方法，提高了全景圖像和PTZ圖像之間特征匹配的效果（特征點(diǎn)數(shù)量、匹配速度），提出了適用于局部旋轉(zhuǎn)映射模型的滑窗式RANSAC魯棒算法，有效

5、剔除了錯(cuò)誤的特征點(diǎn)對(duì)。最后，在4種典型應(yīng)用場(chǎng)景中進(jìn)行了聯(lián)合標(biāo)定實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提出的聯(lián)合標(biāo)定方法適用范圍廣、可操作性強(qiáng)，在20倍焦距（2.8度視場(chǎng)角）聯(lián)動(dòng)測(cè)試中，至少95％的測(cè)試目標(biāo)均能在PTZ攝像機(jī)畫(huà)面內(nèi)，標(biāo)定精度能夠滿(mǎn)足大多數(shù)監(jiān)控應(yīng)用需求。
　?、茄芯苛巳澳曄到y(tǒng)的行人檢測(cè)跟蹤技術(shù)。行人監(jiān)控是全景凝視系統(tǒng)的典型應(yīng)用之一，針對(duì)獲取大范圍場(chǎng)景中所有行人的高清圖像（序列）的問(wèn)題，結(jié)合全景凝視系統(tǒng)的特征，首先提出了全景凝視系統(tǒng)

6、的行人檢測(cè)跟蹤基本框架；其次，在框架范圍內(nèi)，重點(diǎn)研究了基于圖像的行人檢測(cè)技術(shù)，提出了基于尺度歸一化的積分通道特征和嵌入重采樣的級(jí)聯(lián)檢測(cè)算法的行人檢測(cè)方法，基于INRIA標(biāo)準(zhǔn)數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)表明所提出的行人檢測(cè)方法能夠達(dá)到主流的檢測(cè)效果，在普通筆記本上能夠達(dá)到接近每秒8幀的檢測(cè)速度。再次，在框架范圍內(nèi)，重點(diǎn)研究了基于檢測(cè)的跟蹤方法，基于粒子濾波跟蹤技術(shù)實(shí)現(xiàn)對(duì)圖像行人檢測(cè)效果的提升和行人目標(biāo)的編號(hào)（實(shí)現(xiàn)跟蹤），針對(duì)PTZ攝像機(jī)云臺(tái)旋轉(zhuǎn)和鏡頭

7、變倍帶來(lái)的目標(biāo)狀態(tài)發(fā)生突變的問(wèn)題，在粒子濾波目標(biāo)跟蹤框架下提出了基于特征點(diǎn)導(dǎo)向的運(yùn)動(dòng)模型。在典型的行人監(jiān)控應(yīng)用場(chǎng)景中搭建了全景凝視系統(tǒng)，進(jìn)行了行人檢測(cè)跟蹤技術(shù)的測(cè)試，測(cè)試表明系統(tǒng)能夠自動(dòng)獲取至少100米范圍內(nèi)的行人目標(biāo)的高清圖像序列?；谠搶?shí)驗(yàn)環(huán)境，重點(diǎn)實(shí)驗(yàn)分析了基于檢測(cè)的行人跟蹤算法，實(shí)驗(yàn)表明，基于檢測(cè)的跟蹤技術(shù)能夠在檢測(cè)的基礎(chǔ)上有效地提高目標(biāo)檢測(cè)效果，減少誤檢、彌補(bǔ)漏檢，同時(shí)能夠得到穩(wěn)定的目標(biāo)跟蹤結(jié)果，對(duì)目標(biāo)遮擋情況也有一定的處理能