基于圖像碼流的視頻混合器的設(shè)計與實現(xiàn).pdf

1、視頻混合器為視頻會議的參與者提供多畫面視頻合成的服務(wù)，是視頻會議系統(tǒng)中的一個關(guān)鍵組成部分。一直以來，視頻混合器一般由專用硬件來實現(xiàn)。本文針對帶寬及服務(wù)器資源受限的中低端應(yīng)用場景，設(shè)計并實現(xiàn)了一種軟件化的視頻混合器，并對其性能進行了測試。 在對資源受限的應(yīng)用場景的需求分析的基礎(chǔ)上，本文提出了基于圖像碼流的軟件視頻混合系統(tǒng)的框架。本文提出的視頻混合系統(tǒng)框架主要由混合器、幀同步器和傳輸控制模塊三個部分組成。在混合器中，通過對圖像碼流的

2、特征字節(jié)的提取獲取圖像的屬性以及圖像的熵編碼字節(jié)流，并以圖像片拼接的方式完成多畫面視頻的組合。避免了在服務(wù)器端對圖像的編解碼操作，以此減輕服務(wù)器的計算負擔(dān)；在幀同步器中，通過對接收到的RTP報文中的時間戳信息對不同發(fā)送者的視頻畫面進行同步；在傳輸控制模塊中，使用冗余編碼對視頻流進行保護，在發(fā)生丟包的時候采用后一分組中的冗余信息對前一分組進行恢復(fù)。 在實現(xiàn)部分，本文首先描述了圖像預(yù)處理過程，給出了通過JPEG2000碼流截斷操作修

3、改輸入圖像分辨率的方法和通過特征提取獲得的圖像碼流類的結(jié)構(gòu)；然后在圖像片拼接部分，給出了通過畫布尺寸計算、圖像片索引計算和負載合成操作拼接圖像片的流程；最后描述了通過RTP發(fā)送和接收視頻數(shù)據(jù)的過程。 本文通過使用Java Media Framework提供的應(yīng)用程序接口對基于碼流的視頻混合器進行了實現(xiàn)，并在當(dāng)前主流配置的服務(wù)器平臺下對其性能進行了測試。測試結(jié)果表明，基于碼流的視頻混合器在處理視頻混合任務(wù)時能以較低的CPU的占用率