航拍視頻中的實時拼接技術(shù)研究.pdf

1、視頻拼接(Video Stitching)是數(shù)字多媒體處理中的一項重要技術(shù)，在智能監(jiān)控、國防、交通等領(lǐng)域具有廣闊的應(yīng)用前景。它將多路具有重疊場景的窄視角的視頻，拼接成一路寬視角的視頻，拼接后的視頻包含了幾路視頻中全部的場景信息。圖像拼接是視頻拼接的基礎(chǔ)。圖像拼接系統(tǒng)首先進(jìn)行圖像預(yù)處理，然后進(jìn)行圖像配準(zhǔn)，最后采用圖像融合技術(shù)獲得清晰自然的拼接圖像。圖像配準(zhǔn)是整個系統(tǒng)最重要的環(huán)節(jié)。傳統(tǒng)的配準(zhǔn)算法存在計算量較大、實時性差的缺點，另外，由于重疊

2、區(qū)域過小造成變換矩陣求解誤差增大，致使視頻幀間產(chǎn)生抖動現(xiàn)象。配準(zhǔn)算法實時性差和視頻幀間的抖動仍然是目前亟待解決的問題。針對上述問題，本文展開了如下的研究工作:
　　(1)由于SURF算法生成矢量描述符，計算量較大且描述符的維度較高，本文采用了FREAK特征描述符，F(xiàn)REAK算法生成128維的二值描述符，在Retina模型上抽取128對二值強度測試大大減小了特征描述的計算量，采用Hamming距離度量描述符之間的相似性節(jié)省了特征點的

3、匹配時間。針對中心對稱模型對圖像幾何變形過于敏感的缺點，本文提出了各向異性的特征描述算法，對Retina模型進(jìn)行自適應(yīng)的幾何糾正。實驗表明，改進(jìn)的特征匹配算法準(zhǔn)確率達(dá)到80％以上，該算法的運行速度較經(jīng)典的SURF算法提高了10倍，實現(xiàn)了算法的實時性。
　　(2)介紹了金字塔KLT算法，實現(xiàn)了對特征點的跟蹤。采用了亞像素插值法使KLT算法的跟蹤精度達(dá)到了亞像素級別。KLT算法較特征點匹配算法更加高效，對前一時刻檢測的特征點進(jìn)行跟蹤，

4、不再需要逐幀提取特征點。
　　(3)介紹了隨機抽樣一致算法（Random Sample Consensus，RANSAC），輸入匹配的特征點集后，可以獲得最優(yōu)一致集并求解變換矩陣。然后采用LMA算法求得最優(yōu)變換矩陣。同時介紹了光照增益補償算法和多頻段融合算法，最終得到一幅過渡自然細(xì)節(jié)豐富的廣視角拼接圖。
　　(4)實現(xiàn)了航拍視頻實時拼接系統(tǒng)，采用Kalman濾波器估計出視頻采集設(shè)備的主動掃描分量，實現(xiàn)了拼接系統(tǒng)的運動補償。針