多視點信息融合與合成技術研究.pdf

1、立體視頻(Three Dimension Video,3DV)作為一種新型的視覺信息媒體,已經深入到了人們生活、工作和娛樂的各個方面。與傳統(tǒng)的二維視頻相比,立體視頻可以向用戶提供場景中的深度信息,產生更加真實生動的視覺效果;但同時也具有數(shù)據(jù)量龐大、數(shù)據(jù)相關性復雜等特點,這對立體視頻系統(tǒng)的推廣與普及帶來的巨大挑戰(zhàn)。
　　近年來,立體視頻體系中相關技術的研究已經成為國際視頻研究領域的熱點問題。對三維場景信息更加有效的采集、表示、編碼、

2、合成以及顯示,是研究立體視頻必須解決的重要問題。目前,立體視頻的標準化進程已經啟動,并且將多視點視頻(Multi-view Video)以及多視點紋理加深度視頻(Multi-view plus depth)作為立體視頻的主要表示形式。在編碼端對多視點視頻信號的壓縮編碼效率,以及在終端合成的虛擬視點質量,將成為影響整個立體視頻體系的關鍵環(huán)節(jié)。本文針對這兩個問題分別進行探討研究,并針對現(xiàn)有問題提出了有效的解決方案,獲得了較好的性能提升。

3、r>　　在多視點視頻編碼中,雖然基于H.264/AVC標準的MVC編碼體系考慮到視點間的信息冗余,提高了多視點視頻的編碼效率,同時也增加了編碼端的數(shù)據(jù)交互和計算復雜度,使其無法應用于編碼端能耗或計算性能受到嚴格限制的情形。分布式多視點視頻編碼(Distributed Multi-view Video Coding,DMVC)是一種基于Wyner-Ziv理論的分布式編碼框架,可以在解碼端挖掘視點間的相關性,從而減輕了編碼的負擔,適用于上述

4、應用場景。在DMVC中解碼端會生成兩種邊信息:時間邊信息與視點間邊信息;對這兩種邊信息進行適當融合,可以提升DMVC編碼效率,改進重建幀的質量。本文提出了基于條件隨機場模型的邊信息融合算法,利用二維網格型的條件隨機場對融合邊信息建模,充分挖掘出多視點視頻中的時間上的連續(xù)性與空間結構的一致性。在條件隨機場建模過程中,將當前幀的時間邊信息、視點間邊信息以及相應的預測誤差信息作為觀測值,利用狀態(tài)勢函數(shù)描述邊信息局部區(qū)域的可靠性,利用轉移勢函數(shù)

5、描述邊信息空間結構的規(guī)則性。條件隨機場模型的參數(shù)由已重構幀集合通過訓練不斷更新,結點的標簽狀態(tài)根據(jù)置信傳播算法推斷得出,并用來融合時間邊信息與視點間邊信息。經過實驗證實,本文提出的基于條件隨機場模型的融合算法性能要優(yōu)于現(xiàn)有融合方案。
　　在立體視頻體系中,虛擬視點的合成質量對最終的用戶體驗有著重要影響?；谏疃葓D像的繪制方法(depth-image based rendering,DIBR)是目前虛擬視點合成的主流算法,由多視點紋

6、理以及深度信息可以合成出一定視角范圍內的任意虛擬視點。雖然該算法具有繪制速度快、所需輸入視點數(shù)目少等優(yōu)點,但目前深度信息的生成需要人機交互,這就使得立體視頻的制作成本大大增加。基于圖像域變形的算法(Image Domain Warping)可以在沒有深度信息的前提下合成出較高質量的虛擬視點,近年來也得到了研究人員的廣泛關注。本文針對現(xiàn)有合成技術中存在的時間不連續(xù)現(xiàn)象以及輪廓失真、鬼影等問題,提出了基于時空一致性的虛擬視點合成算法。一方面