立體電視中多視點視頻增強和視線跟蹤方法研究.pdf

1、數(shù)字多媒體是當前最活躍的研究領(lǐng)域之一。隨著人們對服務質(zhì)量和視覺體驗要求的不斷提高，數(shù)字多媒體處理技術(shù)和設(shè)備都在不停的更新?lián)Q代。作為一種新興的可視媒介形式，立體電視(Three Dimensional Television，3DTV)能夠為用戶提供很強的立體感和沉浸感，因而引起廣泛關(guān)注并取得一系列成果。與傳統(tǒng)二維(2D)電視相比，立體電視需要向用戶提供多個視點的視頻，所以傳輸數(shù)據(jù)量巨大，成為制約立體電視技術(shù)發(fā)展的瓶頸。
　　在立體電

2、視系統(tǒng)中，多視點視頻(Multi-view Video，MVV)的空間分辨率、幀率(framerate)、視點的數(shù)量等對視覺效果有著很大的影響。多視點視頻幀率越高，特別對于大尺寸液晶顯示設(shè)備(Liquid Crystal Display，LCD)，電視畫面就會越流暢;視點數(shù)量越多，用戶的觀看范圍越大，立體感也就越強。然而，隨著傳輸視頻幀率的提高、視點數(shù)量的增多，傳輸?shù)臄?shù)據(jù)量必然急劇增加。雖然當前提出了有效的多視點視頻編碼技術(shù)，但立體電視

3、傳輸中多視點視頻的幀率、視點數(shù)量仍然不能滿足實際要求。另外，在交互式立體電視系統(tǒng)中，通常需要對用戶視線或者頭部進行跟蹤，依此確定視點的播放與切換。
　　針對上述立體電視系統(tǒng)中存在的問題，本文著重對立體電視系統(tǒng)中多視點視頻增強和視線跟蹤方法進行了研究。其中，多視點視頻增強包含立體視頻幀率提升和視點合成兩個方面。從發(fā)送端來看，利用幀率提升和視點合成可以減少數(shù)據(jù)傳輸量，節(jié)省帶寬;從接收端來進行分析，幀率提升使單路視頻看起來更流暢，減少了

4、由于視頻幀率過低造成的運動模糊和抖動，而通過視點合成增加了虛擬相機的數(shù)量，擴大了可視范圍，使用戶能夠獲得更好的立體視覺體驗。另外，本論文對交互式立體電視中的人機交互技術(shù)進行了研究，提出了一種基于灰度分布視頻處理的非接觸式視線跟蹤系統(tǒng)。
　　論文在以下幾個方面的研究取得重要進展:
　　1、提出了一種彩色+深度格式(video plus depth)的立體視頻幀率提升算法。首先，根據(jù)深度信息將運動向量(Motion Vector

5、，MV)分成深度連續(xù)運動向量和深度不連續(xù)運動向量。在深度連續(xù)運動向量場(Motion Vector Field，MVF)中，利用深度層次約束的運動向量優(yōu)化方法對錯誤運動向量進行檢測和校正，提高運動向量的準確度;對于深度不連續(xù)運動向量場，則采用了一種基于前景匹配的運動向量優(yōu)化方法，保持了運動補償過程中前景運動物體邊緣的完整性。
　　2、提出了一種基于深度的適應性運動補償和圖像塊分割方案。根據(jù)視頻場景中深度信息和運動向量的關(guān)系，適應性

6、選擇前向運動補償與后向運動補償，同時，利用基于深度和α-matting的圖像分割方法對深度不連續(xù)圖像塊進行分割，相對于傳統(tǒng)幀率提升算法，減少了運動補償后遮擋區(qū)域和非遮擋區(qū)域出現(xiàn)的模糊和偽影的現(xiàn)象，可以有效提升立體視頻的視覺質(zhì)量。
　　3、提出了一種基于非對稱圖像修復的虛擬視點重建算法。在提出的算法中利用左右兩路的彩色視頻和深度視頻對中間的任意虛擬視點的視頻進行生成，利用虛擬視點與左右參考視點之間的空間位置關(guān)系確定主要參考視點和輔助

7、參考視點。首先，利用三維圖像變換技術(shù)將主要參考視點和輔助參考視點圖像投影到虛擬視點。其次，通過圖像處理技術(shù)去除虛擬視點圖像中的裂紋和錯誤點，提高圖像質(zhì)量。然后，通過輔助虛擬視點圖像對主要虛擬視點圖像中的遮擋區(qū)域進行填充，并且為了實現(xiàn)視點間視頻色彩的統(tǒng)一，對左右參考視點圖像進行亮度調(diào)整。最后，利用深度輔助的非對稱圖像修復方法對剩余的空洞區(qū)域進行填充。
　　4、提出了一種基于灰度分布視頻處理的非接觸式視線跟蹤系統(tǒng)，該系統(tǒng)可以作為交互式

8、立體電視系統(tǒng)中的人機交互設(shè)備。首先，在近紅外光源照射條件下采集使用者頭動視頻，然后根據(jù)視頻幀的灰度分布特征，依次進行面部區(qū)域、眼睛區(qū)域、瞳孔區(qū)域的檢測與提取，最終計算出瞳孔角膜點反射坐標和瞳孔中心坐標;根據(jù)特征參數(shù)，采用基于交比不變性質(zhì)的視線跟蹤算法進行注視點位置的計算，實現(xiàn)視線跟蹤;另外，針對視線跟蹤過程中眼球視軸和光軸的不重合，提出了一種簡單有效的五點定標算法。實驗結(jié)果表明，針對佩戴眼鏡和裸眼使用者，該系統(tǒng)均能夠達到較高的精度，能夠