基于壓縮域的視頻配準(zhǔn).pdf

1、與靜止圖像相比，視頻為活動圖像(或運(yùn)動圖像)。實(shí)際上我們看到的視頻信息是由許多單一的圖像所組成的，每一幅圖像稱為一幀。視頻的產(chǎn)生是每秒大于24幀的圖像連續(xù)播放，根據(jù)人眼的生理特點(diǎn)而形成的效果。視頻配準(zhǔn)是指找出場景中同一物體表面的結(jié)構(gòu)點(diǎn)在不同圖像上的投影像素點(diǎn)之間的對應(yīng)關(guān)系。視頻拼接是指將若干個攝像頭所獲得的視頻圖像重疊部分進(jìn)行拼接，形成一個視野范圍更廣的視頻。目前視頻配準(zhǔn)和拼接廣泛應(yīng)用于虛擬現(xiàn)實(shí)、視頻壓縮、圖像復(fù)原、圖像數(shù)據(jù)庫檢索等技術(shù)

2、中。視頻拼接的算法可借助于圖像拼接的算法來研究，即可將數(shù)字圖像的拼接方法應(yīng)用到視頻圖像當(dāng)中。但是，由于視頻的一些其它特點(diǎn)，又不能完全的把視頻拼接看為圖像拼接。首先視頻序列圖像它提供了大量的內(nèi)容和時間信息，這些信息有利于動態(tài)場景監(jiān)控和運(yùn)動分析。其次視頻序列圖像幀的數(shù)目要遠(yuǎn)遠(yuǎn)多于靜態(tài)序列圖像，并且相鄰幀之間有很大的冗余性，這就需要一個有效的存儲、搜索算法，需要一個實(shí)時性的處理算法。再次，由于視頻序列圖像中有可能存在運(yùn)動物體，這些運(yùn)動物體有可

3、能對配準(zhǔn)算法產(chǎn)生致命性的錯誤。因此，將圖像拼接的算法應(yīng)用到視頻拼接必須考慮這些問題。圖像配準(zhǔn)總體可以分為三類方法：基于像素亮度差優(yōu)化的方法、基于特征匹配的方法和基于變換域求解的方法。圖像配準(zhǔn)算法研究的核心問題是提高配準(zhǔn)的速度、精度和算法的穩(wěn)健度。 本文針對同一場景拍攝的重疊視頻圖像配準(zhǔn)及拼接問題進(jìn)行了研究，研究了基于頻域信息的配準(zhǔn)技術(shù)和基于SIFT特征匹配的配準(zhǔn)技術(shù)；研究了圖像配準(zhǔn)與拼接技術(shù)中的一系列相關(guān)問題，包括攝像機(jī)運(yùn)動模型

4、、透視變換矩陣參數(shù)的魯棒估計(jì)和求解方法、插值技術(shù)、圖像變形技術(shù)、流形的概念等。為了提高配準(zhǔn)的速度、精度和算法的穩(wěn)健度，本文提出了一種基于壓縮域的雙攝像機(jī)視頻拼接算法。首先利用相位相關(guān)法估算輸入視頻的對應(yīng)第一幀重疊區(qū)域，并在重疊區(qū)域進(jìn)行SIFT角點(diǎn)檢測和匹配，加快角點(diǎn)匹配速度、提高匹配穩(wěn)健性，使用RANSAC算法去除外點(diǎn)，采用奇異值分解最小二乘法估算變換模型參數(shù)，并使用LM非線性優(yōu)化方法進(jìn)一步降低配準(zhǔn)誤差，得到首幀的對應(yīng)投影矩陣；對于非首

5、幀的配準(zhǔn)，利用壓縮視頻中的當(dāng)前幀與前幀的運(yùn)動矢量，獲得全局運(yùn)動矢量，然后結(jié)合對應(yīng)前幀的投影矩陣，獲得相應(yīng)的當(dāng)前幀的投影矩陣；最后使用多頻帶融合算法進(jìn)行圖像混合以改善線性加權(quán)融合算法帶來的高頻細(xì)節(jié)模糊。與傳統(tǒng)算法相比，由于省去了特征提取和匹配方法，從而減少了大量的計(jì)算步驟和時間，提高了速度，增加了實(shí)用性。實(shí)驗(yàn)結(jié)果表明該算法具有較好的實(shí)用價(jià)值。與現(xiàn)有算法相比，對于圖像重疊區(qū)域較小、圖像中含有運(yùn)動物體、重復(fù)性紋理等較難自動匹配情況下，使用本文