多路攝像畫面實時合成的研究與應(yīng)用

1、<p>　　本科畢業(yè)設(shè)計(論文)</p><p><b>　　( 2012屆 )</b></p><p>　　論文題目 多路攝像畫面實時合成的</p><p><b>　　研究與應(yīng)用</b></p><p>　　Real-time Synthesis of Multi-image<

2、/p><p>　　into Video Screen for Study and Application</p><p>　　學(xué) 生 姓 名： 朱琛丹 學(xué) 號： 080701149 </p><p>　　二級學(xué)院名稱： 電子信息學(xué)院 專 業(yè)： 廣播電視工程 </p><p>　　指 導(dǎo) 教 師： 練益群

3、 職 稱： 教授 </p><p>　　合作/企業(yè)教師： 職 稱： </p><p><b>　　鄭 重 聲 明</b></p><p>　　我謹在此鄭重聲明：本人所寫的畢業(yè)論文《多路攝像畫面實時合成的研究與應(yīng)用》均系本人獨立完成，沒有抄襲行為，凡涉及其他

4、作者的觀點和材料，均作了注釋，若有不實，后果由本人承擔(dān)。</p><p>　　承諾人（簽名）： </p><p>　　年 月 日</p><p>　　多路攝像畫面實時合成的研究與應(yīng)用</p><p>　　摘要: 近年來，隨著廣播電視技術(shù)和IT技術(shù)的迅速發(fā)展，我們所熟悉的模擬技術(shù)以及其產(chǎn)品幾乎都被數(shù)字技術(shù)及其產(chǎn)品替代。視頻

5、監(jiān)視技術(shù)的日益成熟，不僅給傳統(tǒng)的監(jiān)看工作帶來方便，同時，其越來越廣的應(yīng)用范圍，使之逐漸融入到我們的生活和工作中。而多畫面合成是其中一項不可缺少的關(guān)鍵技術(shù)。</p><p>　　多路攝像畫面實時合成的推廣，其目的是為了獲取多路視頻信號，再將多路視頻畫面合成一路輸出。多路視頻合成主要關(guān)注的是視頻結(jié)構(gòu)和圖像處理的問題。針對這兩個問題，本文提出了視頻結(jié)構(gòu)的原理、數(shù)字圖像本質(zhì)以及圖像的兩種壓縮域。并進行綜合考慮分析，解決實

6、驗過程中的問題。</p><p>　　多路攝像畫面實時合成是由攝像頭獲取信息，通過USB接口進行視頻傳輸，最后將得到的視頻進行處理。而為了更好的研究視頻合成這方面，本文還對來自文件的多畫面合成進行研究與實驗，為本文最終的測試奠定良好的基礎(chǔ)。</p><p>　　最后，本文實驗對多路攝像畫面實時合成進行了仿真實驗，成功的將多路視頻信號合成一路，并實時輸出。</p><p&

7、gt;　　關(guān)鍵詞：視頻監(jiān)視；多畫面合成；圖像處理</p><p>　　REAL-TIME SYNTHESIS OF MULTI-IMAGE INTO VIDEO SCREEN FOR STUDY AND APPLICATION</p><p>　　Abstract: In recent years, with the rapid development of radio and telev

8、ision technology and IT technology, the analog technology and its products we know, are almost all replaced by digital technology and its products. The technique of video surveillance becomes more mature day by day, it n

9、ot only brings convenience to the traditional monitor working, but also changes it to the increasingly wide range of applications and make the technique get into our life and work. Multi-image composition is </p>

10、<p>　　In order to get multiple video signals and composite this signal into one signal for outputting, we promote to synthetize multi-image for video. The main concern of multiple video compositing is the video stru

11、cture and the image processing. For these two problems, this paper comes up with the theory of the video structure, two of the image compression domain and the nature of digital images. By comprehensive consideration of

12、these theory, we can solve the problem in the experiment.</p><p>　　Synthetizing multi-image for video is consists of getting information from the camera, video transmission by a USB interface and video proce

13、ssing in the last. In order to have a better research on the aspect of video composition, this paper also study and experiment the multi-image composition where the video is from the document. And lay good foundation for

14、 the experiment at last in this paper.</p><p>　　In the end of this paper, we have a simulation experiment on the real-time synthesis of multi-image into video screen, and synthesis multi-channel video signal

15、 into one channel for outputting successfully.</p><p>　　Key words：video surveillance; multi-image composition; image processing</p><p><b>　　目 錄</b></p><p><b>

16、;　　1 緒論1</b></p><p>　　1.1 選題背景及意義1</p><p>　　1.2 國內(nèi)外研究現(xiàn)狀1</p><p>　　1.3 研究目的及意義2</p><p>　　2 多路攝像畫面實時合成概要研究3</p><p>　　2.1 多路攝像畫面實時合成應(yīng)用方向及特點3</p

17、><p>　　2.2 多路攝像畫面壓縮合成原理5</p><p>　　2.2.1 壓縮域合成5</p><p>　　2.2.2 像素域合成7</p><p>　　2.3 多路攝像畫面合成設(shè)計思路9</p><p>　　3 多路攝像畫面實時合成的詳細設(shè)計10</p><p>　　3.1 來自

18、實時拍攝的多畫面合成10</p><p>　　3.1.1 獲取通過USB接口的視頻圖像10</p><p>　　3.1.2 圖像壓縮編碼11</p><p>　　3.1.3 視頻圖像格式轉(zhuǎn)換11</p><p>　　3.1.4 圖像在矩陣中的表示12</p><p>　　3.2 來自視頻文件的多畫面合成13

19、</p><p>　　3.2.1 視頻文件轉(zhuǎn)碼13</p><p>　　3.2.2 視頻序列的獲取14</p><p>　　3.3 多路攝像畫面合成流程圖16</p><p>　　3.3.1 來自視頻文件的多畫面合成圖16</p><p>　　3.3.2 來自實時拍攝的多畫面合成圖16</p>

20、<p>　　4 多路攝像畫面合成的實驗與測試17</p><p>　　4.1 實驗環(huán)境17</p><p>　　4.1.1 實驗平臺17</p><p>　　4.1.2 運行環(huán)境18</p><p>　　4.2 來自文件的多畫面合成測試18</p><p>　　4.3 來自實時拍攝的多畫面合成測試

21、21</p><p>　　5 總結(jié)和展望24</p><p><b>　　5.1 總結(jié)24</b></p><p><b>　　5.2 展望25</b></p><p><b>　　致謝26</b></p><p><b>　　參考文獻

22、27</b></p><p><b>　　1 緒論</b></p><p>　　1.1 選題背景及意義</p><p>　　近年來，隨著廣播電視技術(shù)和IT技術(shù)的迅速發(fā)展，我們所熟悉的模擬技術(shù)以及其產(chǎn)品幾乎都被數(shù)字技術(shù)及其產(chǎn)品替代，電視信號也由模擬與數(shù)字相互兼容、相互共存的狀態(tài)向全數(shù)字化轉(zhuǎn)變。視頻圖像處理技術(shù)和多畫面顯示系統(tǒng)的逐漸成

23、熟，使得電視制播系統(tǒng)發(fā)生了不小的變革，并且在各領(lǐng)域的應(yīng)用范圍也越來越廣，如特定場景的監(jiān)視，多劇情電視電影的特效，不同路畫面實時比較等等。</p><p>　　在過去，有線前端對傳輸?shù)碾娨曅盘柋O(jiān)看，大部分是用一臺監(jiān)視器對一個圖像顯示，不能很好的實時監(jiān)看每一路視音頻畫面，也沒有任何的監(jiān)控、報警、錄像的手段，若某個節(jié)目出現(xiàn)了圖像或伴音問題，也難以及時發(fā)現(xiàn)，不能保證安全播出。由于是人力的監(jiān)看、監(jiān)聽，所以安全播出、安全傳輸

24、的要求就越來越高，與此同時相關(guān)工作人員的壓力越來越大，難度也越來越高[1]。如今，數(shù)字前端傳輸節(jié)目的成倍增加，再加上傳統(tǒng)屏幕的大小有限，使得傳統(tǒng)的電視機對數(shù)字電視傳輸?shù)拿總€節(jié)目進行監(jiān)看是不現(xiàn)實的。并且對于各種非法插播的防范，更是傳統(tǒng)方法無法實現(xiàn)的。因此，畫面分割與多路視頻畫面的合成的研究就成為了人們關(guān)注的應(yīng)用技術(shù)熱點之一。</p><p>　　1.2 國內(nèi)外研究現(xiàn)狀</p><p>　　視

25、頻監(jiān)控歷史悠久，在過去都廣泛應(yīng)用于安防領(lǐng)域。但是隨著圖像處理和電視技術(shù)的發(fā)展，動態(tài)監(jiān)測和現(xiàn)場監(jiān)控已成為現(xiàn)在的主流。視頻系統(tǒng)是以直觀、方便、信息內(nèi)容豐富等優(yōu)點而被用于金融系統(tǒng)、交通系統(tǒng)、公安系統(tǒng)、教育系統(tǒng)和醫(yī)療系統(tǒng)等眾多領(lǐng)域[2] [3]。與傳統(tǒng)的相比，運用了計算機等技術(shù)，并能實現(xiàn)智能監(jiān)控的系統(tǒng)已逐漸成為未來的發(fā)展方向。</p><p>　　在人類獲取的信息中，視覺信息約占60%，由此可見視覺信息獲取重要性，而視頻

26、圖像正是人類獲取視覺信息的主要途徑[4]。在國外，早期的圖像處理是以人為對象，將人眼所觀看到的效果進行改善，例如輸入質(zhì)量低的圖像，而得到的則是改善后的圖像。他們常用的方法有圖像增強、復(fù)原、編碼、壓縮等。運用這些技術(shù)，也幫助他們先后獲得兩次巨大成就。首次成功的應(yīng)用是美國噴氣推進實驗室(JPL) [5]。他們對航天探測器徘徊者7號在1964年發(fā)回的幾千張月球照片進行圖像處理，如幾何校正、灰度變換、去除噪聲等等，另外又考慮了太陽位置和月球環(huán)境

27、的影響，由計算機成功地繪制出月球表面地圖。隨后為了得到月球的彩圖以及全景圖，基于更精確的圖像處理技術(shù)，又處理了近十萬張來自探測飛船拍攝的照片，促使了數(shù)字圖像技術(shù)的誕生。而另一個巨大成就是用x射線來計算斷層攝影的裝置，他是在1972年由英國EMI公司工程師Housfield發(fā)明的，也就是大中稱呼的CT(Computer Tomograph) [6]。根據(jù)人頭部的橫截面所得到的投影，CT經(jīng)計算機處理，重新建立橫截面的圖像，也稱作為圖像的重建

28、。1975年，EMI公司又成功研制出全身用的C</p><p>　　縱觀國內(nèi)外圖像技術(shù)的發(fā)展史，自20世紀60年代，是因為計算機和VLSI(Very Large Scale Integration)技術(shù)的發(fā)展而產(chǎn)生、發(fā)展和不斷成熟起來的一個新興技術(shù)領(lǐng)域，即數(shù)字圖像處理技術(shù)，它在理論上和實際應(yīng)用中都取得了巨大的成就。到了20世紀70年代，人工智能技術(shù)和科學(xué)思維研究、計算機技術(shù)的迅速發(fā)展，將數(shù)字圖像的處理技術(shù)推向更高

29、方面發(fā)展。用計算機系統(tǒng)來分析圖像已經(jīng)是人們開始研究的重點，就像我們用視覺來感覺外面的世界，這個技術(shù)叫做圖像的理解，又或者可以稱為計算機的視覺。在很多發(fā)達國家，他們投入比一般國家更多的物力和人力到這個研究項目上，并且取得了不小的成績。具有代表性的成果就比如是70年代末MIT的Marr提出的視覺計算理論[10]，這個理論在后來成為了計算機視覺領(lǐng)域在后面十多年的主要思想。到了20世紀80年代的后期，該技術(shù)被人們應(yīng)用在了地理位置信息系統(tǒng)上，并對

30、海圖的自動生成、自動讀入方法進行研究。隨著時間的推進，數(shù)字圖像技術(shù)沒有停止拓展。20世紀90年代初，變換方法與小波理論的迅速發(fā)展，使該技術(shù)攻克了傅里葉分析技術(shù)局限于全部分析等方面的難題，并且被人們視為是在這半個世</p><p>　　1.3 研究目的及意義</p><p>　　多路畫面合成技術(shù)，使人們能獲得其更直觀、方便、信息豐富的內(nèi)容，以方便對多路視頻信號進行統(tǒng)一實時監(jiān)控。</p&

31、gt;<p>　　除了在電視節(jié)目制作時的監(jiān)看，很多地方也用到多路攝像畫面合成，比如在災(zāi)難現(xiàn)場上，利用多畫面的合成，能全方位的觀察該地方的情況，以便做出正確的決定；如今的現(xiàn)代化通信指揮系統(tǒng)大多采用集中指揮、分散控制的操作模式以實現(xiàn)快速響應(yīng)，各類指揮、態(tài)勢信息分布在各計算機終端上，將多種重要信息以多畫面的形式集中顯示在一臺大屏幕顯示器上，可使指揮員能夠全面、實時地了解戰(zhàn)場動態(tài)信息，做出正確的指揮決策[7]；另外，作為一種新的拍

32、攝特效，多畫面顯示在一個顯示器里，可以同時讓多個情節(jié)隨著單一畫面播出，再重點播出主線劇情，這種設(shè)計方式給人節(jié)奏感強，情節(jié)緊湊的效果；除了這種特效，我們還能用多路的攝像機對一景色進行360度角的拍攝，再多畫面的合成，給人一種立體感。在電視臺，有一種高標清同播的播放方式，利用視頻畫面合成，將一節(jié)目及其上或下變換的畫面放在一個顯示器上，以便工作人員對其高標清的效果作比較。</p><p>　　雖然目前有一些功能強大的多

33、畫面分割器，例如Kalcido—Aho，但是安全系數(shù)低、任何臺等離子或分割器發(fā)生故障都將對節(jié)目制作造成極大影響，所以平時需要對出現(xiàn)問題的原因進行仔細的分析，并做到心中有數(shù)。另外等離子監(jiān)視器分辨率最高為1366×768，分割后子畫面分辨率低，顆粒感強，分割畫面不宜太小[8]。因此，對多畫面合成，減少處理時間，提高工作效率，使之變得簡單明了就顯得非常重要。</p><p>　　綜上所述，研究多畫面實時合成技

34、術(shù)具有十分重要的實踐和理論意義。該技術(shù)的研究不僅可以用于人們工作，提高信息獲取的效率，還可以推動視頻智能檢測發(fā)展，使視頻檢測技術(shù)得到更廣泛的應(yīng)用。</p><p>　　論文在論述安排上主要分為以下幾個部分：</p><p>　　第一章 簡要介紹多路攝像畫面合成的研究背景，國內(nèi)外現(xiàn)狀以及本課題的主要研究目的和意義；</p><p>　　第二章 簡要介紹多路攝像畫面合成

35、的概要研究，包括多路攝像畫面實時合成的應(yīng)用方向及特點、多畫圖像的壓縮和合成原理和多路攝像畫面合成設(shè)計的總體思路；</p><p>　　第三章 詳細介紹多路攝像畫面合成的設(shè)計方法，包括實時拍攝的多畫面合成和來自文件的多畫面合成，并對兩者畫出了流程圖；</p><p>　　第四章 進行實驗測試，得出結(jié)果；</p><p>　　第五章 總結(jié)全文，指出自己所做工作以及設(shè)計和

36、論文需要進一步改進的地方。</p><p>　　2 多路攝像畫面實時合成概要研究</p><p>　　2.1 多路攝像畫面實時合成應(yīng)用方向及特點</p><p>　　隨著電視技術(shù)以及計算機的快速發(fā)展，過去用于安防領(lǐng)域的監(jiān)視監(jiān)看已經(jīng)不能滿足我們當(dāng)代人的需求。相比視頻監(jiān)控悠久的歷史，現(xiàn)代數(shù)字圖像處理技術(shù)和數(shù)字電路技術(shù)使得圖像信號的數(shù)字化和處理變得普遍，其技術(shù)也具有相當(dāng)高

37、的靈敏度和可靠性。多畫面視頻監(jiān)控以它直觀而信息豐富等等優(yōu)點，被廣泛應(yīng)用于各個場合，其應(yīng)用方向有大致如下幾個方面：</p><p>　?。?）在電視臺廣告部方面的應(yīng)用。省級電視臺一般都有幾套自辦節(jié)目，并對這幾套節(jié)目的播出都要實時記錄。但是多數(shù)電視臺現(xiàn)在都還是一套節(jié)目對應(yīng)一臺錄像機，所以需要用多臺錄像機來記錄一天下來播出的節(jié)目，節(jié)目帶也要將近十盤，從而使得查詢也不方便。假如用一個視頻（或射頻）輸入的四畫面合成器，并且

38、與電視臺自動鎖相的時標顯示，用一臺錄像機就可以完成四套節(jié)目的實時記錄，并在屏幕上有精確的時間顯示，這樣不僅節(jié)省了三個錄像機和75%的錄像帶，更重要的是查詢效率提高了3倍。這樣的系統(tǒng)在大連電視臺、遼寧電視臺已經(jīng)使用了幾年。系統(tǒng)應(yīng)用圖如圖2-1所示[9]。</p><p>　　圖2-1 系統(tǒng)應(yīng)用圖</p><p>　?。?）在轉(zhuǎn)播車方面的應(yīng)用。電視臺的轉(zhuǎn)播車，最重要的問題便是空間容量。過去的做

39、法，是一個信息通道對應(yīng)一個電視監(jiān)看器，監(jiān)看器所用空間比較大，大大降低了轉(zhuǎn)播車的空間利用率。所以減少監(jiān)看器，增加空間大小后，就可解決利用率低的問題。使用八畫面、十二畫面或十六畫面、二十四畫面的視頻合成器(1U機箱)，就能使多個信號集中在一個監(jiān)看器上，從而減少了N - 1個監(jiān)視器。</p><p>　　（3）在通信監(jiān)視監(jiān)看上的應(yīng)用?，F(xiàn)代化通信監(jiān)視監(jiān)看系統(tǒng)大多是由多臺聯(lián)網(wǎng)的計算機終端組成，用集中的監(jiān)看、分散的控制等操作

40、模式進行快速正確的響應(yīng)。同時多畫面組成，能為工作人員提供全面的、實時的信息，了解現(xiàn)場動態(tài)信息，做出正確的指揮決策。</p><p>　　（4）在多劇情影視制作上應(yīng)用。不論是使用“ 特技效果編輯” 還是“ 非特技效果編輯” 的節(jié)目內(nèi)容，都會大量的采用畫面合成技術(shù)。畫面合成是一種特殊效果，但不一定是“效果編輯”。畫面合成的應(yīng)用，使許多看來難以拍攝的情節(jié)成為可能。特別是電視合成畫面手段的許多優(yōu)越性，讓制片人有更多更有效

41、的方法，將電視節(jié)目的內(nèi)容變得的更加絢麗多彩，更加誘人，同時也拓寬了節(jié)目制作的范圍領(lǐng)域。一些原本需要現(xiàn)場實況拍攝的畫面，就只需要分成兩邊拍攝，如外景拍和演播室，然后再用畫面合成，制作成現(xiàn)場拍攝的效果。</p><p>　　（5）在立體視覺效果上的應(yīng)用。圓筒狀合成彩虹全息圖可以將各種二維圖象合成為伴有動作的360度立體動態(tài)影像，這種合成全息技術(shù)可以顯示被拍攝物體的動態(tài)過程中角度的多路合成，是一種電影攝影與全息攝影完美

42、融合的技術(shù)，達到三維立體的真實感。</p><p>　　多畫面合成技術(shù)有以下幾個特點：</p><p>　　（1）多畫面的合成，使得信息能集中的顯示在一個監(jiān)看器上，從而降低工作人員壓力，而信息量的豐富以及獲取信息的快速，更能提高工作的效率，保證質(zhì)量。</p><p>　?。?）由于采用了合成的技術(shù)，使得設(shè)備數(shù)量減少，降低了成本。</p><p&g

43、t;　　（3）電視畫面合成的操作非常方便、迅速和經(jīng)濟，并且可進行多次重復(fù)。畫面合成的技術(shù)又不斷吸取電子的新技術(shù), 如計算機技術(shù)、數(shù)字技術(shù)等等, 使它具有蓬勃發(fā)展的活力。</p><p>　?。?）滿足系統(tǒng)數(shù)字化進程的推進時所帶來的設(shè)備智能化程度、系統(tǒng)復(fù)雜化程度越來越高的要求。</p><p>　　2.2 多路攝像畫面壓縮合成原理</p><p>　　多畫面合成指的是

44、將來自多個視頻源的視頻數(shù)據(jù)，通過一定的合成算法，合并成一路數(shù)據(jù)，使每個終端顯示器都可以同時監(jiān)看多個其它終端的圖像。相對于傳統(tǒng)監(jiān)視監(jiān)看來說，它把每個終端接收的視頻信息變得更加豐富，信息量也成倍增加。多畫面合成的實現(xiàn)方法有多種多樣，但主要分為兩大類：像素域合成和壓縮域合成[10]。</p><p>　　2.2.1 壓縮域合成</p><p>　　壓縮域合成是對多路已壓縮的源視頻編碼數(shù)據(jù)不進行解

45、碼, 而是先將視頻數(shù)據(jù)進行結(jié)構(gòu)上的數(shù)據(jù)重組，重組后的數(shù)據(jù)即是多個終端合成后的數(shù)據(jù)。</p><p>　　在這里用到的是H.261的技術(shù)。H.261是多媒體通信中壓縮與編碼視頻圖像的重要算法，是H.320和H.323視頻終端必備的視頻功能，其算法在多畫面合成技術(shù)上十分重要。H.261編碼原理則是先通過離散余弦變換將圖像素據(jù)進行壓縮，接著用變長編碼進行再壓縮，然后對視頻數(shù)據(jù)進行4層復(fù)用數(shù)據(jù)結(jié)構(gòu)封裝，由上到下是圖像層、

46、塊組層、宏塊層和像素層，該封裝用來對視頻數(shù)據(jù)的重組。最后進行糾誤幀結(jié)構(gòu)封裝，完成時鐘同步和數(shù)據(jù)校驗功能。</p><p>　　H.261在壓縮域內(nèi)多畫面合成的制作時，規(guī)定了QCIF和CIF兩種圖像格式[11]。在像素上看，CIF圖像的數(shù)目是QCIF的4倍。而從H.261圖像的4層復(fù)用數(shù)據(jù)結(jié)構(gòu)分析，兩種格式的塊組層，宏塊層以及像素層結(jié)構(gòu)相同，只有圖像層結(jié)構(gòu)不同，即CIF格式的圖像包含12個塊組，而QCIF格式的圖像

47、包含3個塊組。因此基于數(shù)據(jù)結(jié)構(gòu)，多畫面合成就存在可能性。在對多畫面進行合成時，要先解封糾誤幀，即使用定幀序列（0001 1011）對糾誤幀進行定幀，然后取出每位定幀數(shù)據(jù)之后的512bit數(shù)據(jù)，判定這數(shù)據(jù)的第一個比特位：若為“0”則丟掉；若為“1”，就將其后的492bit數(shù)據(jù)保存到一個緩沖區(qū)中。通過糾誤幀解封后，得到的4層圖像復(fù)用數(shù)據(jù)結(jié)構(gòu)，合成操作就在該結(jié)構(gòu)上。另外還要完成3方面的操作。首先是對圖像時域參考量TR的處理，TR為5bit，可

48、以取32個值，其取值公式：</p><p>　　TR= (Ns + Nd + 1) mod 32 (2-1)</p><p>　　式中Ns：已經(jīng)發(fā)送的圖像素；Nd：從上次發(fā)送的圖像之后所丟掉的圖像素。時域參考量是用來平滑視頻的播放，讓人的視覺流暢，是保證視頻質(zhì)量的重要方法，在合成圖像中時域參考量TR可以按照下列方法取值：</p>&l

49、t;p><b>　　(2-2)</b></p><p>　　式中TR’LAST是合成圖像上一次的取值， Nd1、 Nd2、Nd3和Nd4分別是4路視頻流所丟棄的圖像素。接著處理圖像層頭域，圖像層頭域在圖像合成之后只有顯示一組，需要處理4組來自源數(shù)據(jù)的圖像層頭域。當(dāng)?shù)玫?路4層圖像復(fù)用數(shù)據(jù)結(jié)構(gòu)之后，只保留第一路的圖像層頭域，丟掉其他路的。其中時域參考量域TR按照上面討論的方法填充，類型信

50、息域PTYPE的第4位，由原來的“0”改變?yōu)椤?”，亦即由QCIF圖像標示修改為CIF圖像標示。</p><p>　　然后處理塊組層頭域：合成過程需要把4組3個QCIF塊組合并成一組12個CIF塊組。首先定位到各個QCIF塊組，根據(jù)該塊組將要放到合成CIF圖像的位置，修改塊組層頭域中的組序號域GN，如圖2-2所示。通過對4層圖像復(fù)用結(jié)構(gòu)的解封再合成，形成了一個合成的CIF圖像，最后進行糾誤幀的封裝，得到了通信網(wǎng)絡(luò)

51、上傳輸?shù)臄?shù)據(jù)。</p><p>　　圖2-2 多畫面合成中塊組層的組序號域修改</p><p>　　2.2.2 像素域合成</p><p>　　像素域合成是將多路壓縮的源視頻編碼數(shù)據(jù)進行解碼，將解碼后的YUV( 或RGB) 數(shù)據(jù)按照一定線性規(guī)則進行排列，合并成一路YUV(或RGB) 視頻數(shù)據(jù), 再將合并后的視頻數(shù)據(jù)進行編碼。</p><p>

52、　　像素域內(nèi)多畫面合成，一般通過MCU ( Mult-point Control Unit，多點控制單元) 來完成。MCU 同時與多個視頻終端建立連接關(guān)系，4個終端也在同一時間向MCU發(fā)送H. 261CIF的視頻數(shù)據(jù)，MCU接收到4路視頻數(shù)據(jù)后，進行H. 261 解碼，處理后的圖像大小均為352×288像素。此時，在MCU端需要對4路352×288 像素的視頻數(shù)據(jù)按像素進行抽樣，使圖像按一定比例縮小。然后在像素域內(nèi)，

53、將4路數(shù)據(jù)按照一定規(guī)則進行排列。排列后的YUV 像素數(shù)據(jù)就是合并后的YUV 圖像，最后再對YU V 圖像進行H. 261 編碼，在將編碼后的H.261 視頻數(shù)據(jù)發(fā)送給所有與會終端，則每個終端可同時顯示多個圖像，即完成了多畫面合成功能。其整個過程系統(tǒng)結(jié)構(gòu)如圖2-3所示。</p><p>　　圖2-3 像素域內(nèi)多畫面合成系統(tǒng)結(jié)構(gòu)圖</p><p>　　對YUV 圖像抽樣與四畫面合成的原理如圖3

54、所示。先分別對4 路YUV數(shù)據(jù)的Y，U 和V 分量在行和列上進行抽取, 即每2行取1行，每2列取1列，若最后不夠2 行或者2 列的分別取第1 行或第1 列( 此處352, 288 等均正好被2 整除) 。對于4 路源視頻數(shù)據(jù)，Y 分量的個數(shù)由352×288 變成176×144; U 和V 分量個數(shù)分別由176×144 變成88×72。則4路352×288像素點的視頻數(shù)據(jù)都變成了4路176

55、×144像素點的視頻數(shù)據(jù),其大小均壓縮為原來的四分之一。在對4路數(shù)據(jù)抽樣之后, 再將4 路176×144像素的視頻數(shù)據(jù)按照一定的空間排列方式, 組合成1路352×288 像素的視頻數(shù)據(jù)。其組合方式如圖2-4所示, 第1路圖像在左上角, 第2路圖像在右上角, 第3路圖像在左下角,第4路圖像在右下角。至此,完成了4路YUV 圖像到1路YUV 圖像的合成。</p><p>　　圖2-4 像

56、素域內(nèi)四畫面合成算法原理圖</p><p>　　2.3 多路攝像畫面合成設(shè)計思路</p><p>　　多畫面合成的步驟如下：</p><p>　　（1）將所得圖像轉(zhuǎn)化為我們所需的格式，圖像格式有RAW、BMP、TIFF、PCX、GIF、JPEG等。</p><p>　?。?）將轉(zhuǎn)化完成后的圖像進行編碼解碼的處理，壓縮為所要求的大小，并進行合成

57、。</p><p>　　多路畫面合成所需視頻的來源有很多，主要還是來自本地視頻文件和實時拍攝所得到的視頻數(shù)據(jù)。對所得到的視頻進行處理，根據(jù)視頻結(jié)構(gòu)而分解成一幀幀圖像。通過壓縮、合成等圖像處理技術(shù)，我們得到完成后的圖像，該圖像的效果是顯示了四路圖像的信息，并按順序安置在一張圖上。然后將數(shù)張甚至千百張完成后的圖像，按照一定順序排列在一起，利用人眼特性，送出播放時便有了視頻播放的效果。在這里，來自文件的視頻與來自實時拍

58、攝所得視頻，在處理圖像以及播放時，有著順序上的差別：因為文件視頻是整體的，多有圖像的只需要一次性處理完，再播放即可；而實時拍攝的視頻是即拍即處理的，即拍攝所得到一幀圖像時，就實時的將該圖像進行處理輸出，然后再得到一幀圖像，再處理輸出，如此循環(huán)，直至結(jié)束。</p><p>　　總體設(shè)計流程如圖2-5所示。</p><p>　　圖2-5 總體設(shè)計流程圖</p><p>

59、　　3 多路攝像畫面實時合成的詳細設(shè)計</p><p>　　本文多畫面合成設(shè)計是用MATLAB軟件的編寫來實現(xiàn)，主要針對視頻序列的結(jié)構(gòu)原理、圖像處理技術(shù)等方面，組合成一個多畫面的視頻流。</p><p>　　3.1 來自實時拍攝的多畫面合成</p><p>　　實時拍攝是通過將攝像頭所獲得的視頻數(shù)據(jù)，經(jīng)過USB接口而進入PC機中。由于MATLAB集數(shù)學(xué)計算結(jié)果可視化

60、和編程于一體，所以他是能夠方便的進行科學(xué)計算和大量工程運算的仿真軟件?；诜抡孢\算，對視頻數(shù)據(jù)進行運算和處理，從而得到四路視頻合成的多畫面視頻。</p><p>　　3.1.1 獲取通過USB接口的視頻圖像</p><p>　　攝像頭主要由鏡頭、影像傳感器（CCD/CMOS器件）、DSP等組成，其工作原理大致為：</p><p>　　（1）景物通過鏡頭(LENS)生

61、成的光學(xué)圖像投射到圖像傳感器(SENSOR)表面上；</p><p>　?。?）將光信號轉(zhuǎn)為電信號，經(jīng)過A/D(模/數(shù))轉(zhuǎn)換后變成數(shù)字圖像信號；</p><p>　　（3）把信號送往數(shù)字處理芯片(DSP)中加工處理，再通過I/O接口傳輸?shù)诫娔X中進行處理后，再通過顯示屏(DISPLAY)就可以看到圖像了。</p><p>　　其工作原理圖如圖3-1所示。</p&

62、gt;<p>　　圖3-1 攝像頭工作原理圖</p><p>　　本文實驗的視頻獲取以及輸出，除了攝像頭與電腦之間信息交流外，還需要MATLAB的對這些數(shù)據(jù)信息進行處理，尤其是圖像，要考慮多方面的因素。</p><p>　　3.1.2 圖像壓縮編碼</p><p>　　視頻可分為圖像層、塊組層、宏塊層和塊層四個層次組織碼流，圖像層則是一幀幀圖像按順序排

63、列而成，而MATLAB對視頻處理，就是對每幀圖像的處理。在處理圖像時，MATLAB提供了功能強大的圖像處理工具箱，其中就包含了幾個視頻編碼過程中用到的重要函數(shù)。</p><p>　　（1）imread: 讀取圖像素據(jù)；</p><p>　　（2）imshow或immovie: 用于顯示圖像；</p><p>　?。?）dct2: 用于二維DCT 變換；</p&

64、gt;<p>　?。?）blkproc: 用于對圖像進行分塊；</p><p>　?。?）quiver: 用于畫運動矢量圖。</p><p>　　3.1.3 視頻圖像格式轉(zhuǎn)換</p><p>　　RGB (Red，Green，Blue)是計算機中最常見的色彩空間。它通過紅、綠、藍3基色的相加來產(chǎn)生其他的顏色。由于其設(shè)備的獨立性，它被廣泛應(yīng)用于計算機圖形

65、、成像系統(tǒng)和彩色電視之中。</p><p>　　YUV色彩空間是描述灰度和色差的概念，是一種基本的色彩空間，它被PAL(Phase Alternation Line)，NTSC(National Television System Committee)和SECAM (Sequentiel Couleur Avec Memoire or Sequential Color with Memory)用作復(fù)合色彩視頻標準

66、。其中Y指顏色亮度(Brightness)，也就是圖像的灰度值(Gray value)，而U和V則是指色調(diào)(Chrominance)，即描述圖像色彩及飽和度的屬性。黑白系統(tǒng)只使用Y信息，因為U和V是附加上去的，所以黑白系統(tǒng)仍能正常顯示。YUV的容易實現(xiàn)壓縮，方便傳輸和處理，所以被廣泛應(yīng)用于廣播和電視系統(tǒng)，同時也被廣泛應(yīng)用于計算機視頻和圖像處理之中，如JPEG 圖像和MPEG均使用YUV 作為存儲像素的格式。在獲得顯示硬件支持的情況下，使

67、用YUV還可以減少和消除色彩變換處理，極大地加快圖像的顯示速度。</p><p>　　處理現(xiàn)實世界的圖像時，并非很有效，因為它對所有色彩都用等長像素點的R、G、B 3色加以合成。這就使得每個像素在R、G、B 3個成分上擁有相同的像素深度和顯示分辨率。而且，處理RGB色彩空間的圖像也不是最有效的，所以此時就要將RGB轉(zhuǎn)化為YUV。</p><p>　　數(shù)字視頻是以數(shù)字形式記錄的視頻，和模擬視

68、頻相對。數(shù)字視頻有不同的產(chǎn)生方式，存儲方式以及播出方式。但是要通過PC以及特定的播放器才能播放出來。計算機工作在RGB空間，因此，就要將數(shù)字視頻的格式轉(zhuǎn)換成RGB 格式，這樣在計算機上就能直接播出。在這里，我們用MATLAB處理后所播放的視頻圖像格式就需要是RGB格式[12]。RGB與YUV之間轉(zhuǎn)化對應(yīng)關(guān)系如下[13]：</p><p><b>　　(3-1)</b></p>

69、<p><b>　　(3-2)</b></p><p>　　3.1.4 圖像在矩陣中的表示</p><p>　　如圖3-2是一張數(shù)字圖像與其相對應(yīng)的像素點。</p><p>　　圖3-2 圖像與其相對應(yīng)的像素點</p><p>　　圖像本身就是一個二維連續(xù)函數(shù)，圖像的幅度是其位置的連續(xù)函數(shù)。然而在計算機中對圖像

70、進行數(shù)字化處理時，首先必須對其空間和幅度進行數(shù)字化處理，也就是采樣、量化。對二維圖像的均勻采樣，就可以得到衣服離散成M×N像元的數(shù)字圖像。用I=f (m , n)表示模擬圖像f (x , y)的數(shù)字化結(jié)果。如圖3-3表示圖像的坐標系。該坐標系中的一幅圖像可用一個二維矩陣f (m , n)表示，(m , n)為圖像元素，即像素。f (m , n)的取值為灰度，一幅圖像的灰度種類稱為灰度級[14]。</p><

71、p>　　圖3-3 圖像坐標系</p><p>　　3.2 來自視頻文件的多畫面合成</p><p>　　MATLAB是一個功能強大的科學(xué)及工程計算軟件包，該軟件自身集成了大量的軟件工具包，廣泛運用于科學(xué)計算，仿真，建模等領(lǐng)域。另外MATLAB還提供了一個功能強大的視頻及圖像處理工具箱。利用MATLAB及其自帶的工具箱，就能方便的從AVI視頻文件中提取出感興趣的畫面。</p>

72、;<p>　　3.2.1 視頻文件轉(zhuǎn)碼</p><p>　　視頻格式可以分為適合本地播放的本地影像視頻和適合在網(wǎng)絡(luò)中播放的網(wǎng)絡(luò)流媒體影像視頻兩大類。常見的視頻格式有：MPEG、AVI、MOV、ASF、WMV、n AVI、QuickTime、3GP、REAL VIDEO、MKV、DIVX、FLV等，而這眾多的視頻中，MATLAB所讀取的視頻需要適當(dāng)?shù)囊曨l編碼方式，而不是所有的視頻文件格式都能夠滿足。故

73、在MATLAB環(huán)境中，視頻格式的轉(zhuǎn)換是對視頻能夠被正常讀入的必要環(huán)節(jié)。</p><p>　　AVI 是目前最常見和最常用的視頻文件格式之一，它包含了視頻流，音頻流，控制流和MIDI 流。其中，控制流是對視頻顯示進行控制；MIDI 流則用來提供視頻在播放時的背景音樂。另外，為了保證聲話同步的目的，AVI 文件格式采用了音頻流和視頻流交錯存儲的方法。同時它也是一種采用RIFF（Resource Interchange

74、 File Format）說明形式的文件格式。我們可以通過文件開始的字符“AVI”來識別AVI RIFF 格式的文件。所有的AVI 文件都包括兩個必須的LIST 數(shù)據(jù)塊，這些數(shù)據(jù)塊正是視頻流和音頻流的內(nèi)容所在。LIST“hdrl”數(shù)據(jù)塊定義了數(shù)據(jù)的格式，放在第一個位置。LIST“movi”數(shù)據(jù)塊包含了AVI 流的數(shù)據(jù)，它被放在第二個位置。LIST“hdrl”和LIST“movi”數(shù)據(jù)塊又可使用子數(shù)據(jù)塊作為它們的數(shù)據(jù)。AVI 文件也可能包

75、括一個索引數(shù)據(jù)塊，這個可選塊包含了可選數(shù)據(jù)在文件中的位置。AVI 文件按一定的次序排列這三種子塊[15]。在這里我用“格式工廠”對視頻文件進行格式轉(zhuǎn)換。如圖3-4。</p><p>　　圖3-4 格式轉(zhuǎn)換軟件界面</p><p>　　點擊“所有轉(zhuǎn)到AVI”這個選項，彈出如圖3-5的文件加載界面。</p><p>　　圖3-5 視頻文件加載界面</p>

76、<p>　　任選一個視頻文件，點擊打開，得到如圖3-6的界面。</p><p>　　圖3-6 視頻文件加載后界面</p><p>　　點擊確定，即將名字為1.wmv的文件轉(zhuǎn)換為AVI的格式。</p><p>　　3.2.2 視頻序列的獲取</p><p>　　視頻是利用人眼的“視覺滯留”原理，將多副圖像以高于一定的速度播放，就成了連

77、續(xù)不斷的視頻圖像。為了減少存儲空間，提高清晰度，便于網(wǎng)絡(luò)傳播等原因，人們往往將視頻文件以一定的算法進行壓縮，很難將其中的某一副圖片手工提取出來。而用MATLAB提供視頻及圖像處理的工具箱，可以很方便的對視頻文件任意一副圖像進行操作。用表3-1列出了一些常用的圖像處理相關(guān)的函數(shù)，可以方便的實現(xiàn)絕大多數(shù)日常的圖像處理[16]。</p><p>　　表3-1 部分與圖像相關(guān)函數(shù)列表</p><p&g

78、t;　　用表3-2的一些與AVI文件處理相關(guān)的函數(shù)，以及表3-3所示的AVI視頻文件相關(guān)屬性，我們可以方便讀取AVI 文件的相關(guān)信息，并利用這些信息提取出AVI 文件中任意感興趣的一幀畫面。</p><p>　　表3-2 部分與AVI 文件相關(guān)函數(shù)列表</p><p>　　表3-3 AVI視頻文件相關(guān)屬性</p><p>　　3.3 多路攝像畫面合成流程圖</

79、p><p>　　3.3.1 來自視頻文件的多畫面合成圖</p><p>　　如圖3-7所示，為視頻源是來自文件的多畫面合成流程圖。</p><p>　　圖3-7 來自文件的多畫面合成流程圖</p><p>　　將四個視頻文件轉(zhuǎn)換為AVI格式視頻后再進行讀取，當(dāng)讀取一幀圖像時，將這幀圖像進行壓縮與合成的處理，判斷是否將視頻讀取完，若不是，則繼續(xù)讀取

80、幀，并進行處理；若不是，則將合成后的畫面排成視頻序列，并進行播放。</p><p>　　3.3.2 來自實時拍攝的多畫面合成圖</p><p>　　如圖3-8所示，為視頻源是來自實時拍攝的多畫面合成流程圖。</p><p>　　圖3-8 來自實時拍攝的多畫面合成流程圖</p><p>　　通過USB攝像頭，獲取視頻數(shù)據(jù)到電腦中，并實時的提取一

81、幀圖像。將該圖像從YUV格式轉(zhuǎn)換為RGB格式，再進行壓縮與合成，之后直接輸出合成后的圖像。當(dāng)視頻拍攝不結(jié)束時，則電腦繼續(xù)獲取USB所得圖像，并進行壓縮與合成，之后再輸出，多畫面的連續(xù)播放就有了視頻的效果；當(dāng)視頻拍攝結(jié)束時，則停止程序，結(jié)束播放。</p><p>　　4 多路攝像畫面合成的實驗與測試</p><p><b>　　4.1 實驗環(huán)境</b></p>

82、;<p>　　4.1.1 實驗平臺</p><p>　　本實驗采用MATLAB R2009b實現(xiàn)，MATLAB是由美國Math Works公司于1982年推出的一套高性能的數(shù)值計算和可視化軟件，它集數(shù)值分析、矩陣運算、信號處理和圖形顯示于一體，擁有界面簡潔、友好的用戶環(huán)境。經(jīng)過多年的逐步發(fā)展與不斷完善，現(xiàn)已成為國際公認的最優(yōu)秀和最可靠準確的科學(xué)計算與教學(xué)應(yīng)用軟件之一，是近些年來國內(nèi)外廣泛流行的一種可

83、視化科學(xué)計算標準軟件。MATLAB擁有強大的圖形功能以及世界一流水平的數(shù)值計算函數(shù)庫，它的數(shù)字圖像是以矩陣形式表示的，這意味著MATLAB強大的矩陣運算能力用于圖像處理非常有利，矩陣運算的語法對MATLAB中的數(shù)字圖像同樣適用。因此本次實驗選MATLAB實現(xiàn)多路攝像畫面的合成。</p><p>　　4.1.2 運行環(huán)境</p><p>　?。?）操作系統(tǒng)：Windows XP</p&

84、gt;<p>　?。?）CPU：Intel（R）Core (TM) Duo 1.66G</p><p>　?。?）內(nèi)存：1.98G</p><p>　?。?）顯卡：GeForce4MX44</p><p>　　（5）硬盤：120G</p><p>　　4.2 來自文件的多畫面合成測試</p><p>　

85、　來自文件的多畫面合成實驗是通過將AVI視頻轉(zhuǎn)為一幀幀的圖像信息，對圖像進行處理，最后再將處理后的圖像逆轉(zhuǎn)為AVI視頻輸出。在這里，我們用到了一些MATLAB支持的函數(shù)：</p><p>　?。?）aviread ， 其功能是獲取AVI格式的視頻；</p><p>　?。?）imresize， 其功能是對圖像進行縮放處理；</p><p>　?。?）imshow，

86、 其功能是顯示圖像；</p><p>　?。?）getframe， 其功能是將一幀幀圖像放置于自定義的參數(shù)中；</p><p>　?。?）movie2avi，其功能是轉(zhuǎn)換為AVI格式的視頻。</p><p>　　由于MATLAB只對AVI格式的支持，所以首先用“格式工廠”軟件對除AVI格式的視頻進行轉(zhuǎn)換，如圖4-1所示。</p><p>　

87、　圖4-1 視頻文件格式轉(zhuǎn)換</p><p>　　接著用aviread 函數(shù)，獲得視頻，如SelfMov1=aviread('E:\weizhi\視頻轉(zhuǎn)碼\1.AVI')，即將在物理路徑為“E:\weizhi\視頻轉(zhuǎn)碼\1.AVI”的視頻讀取到名為SelfMov1中。由于需要四個視頻，所以還要自定義SelfMov2、SelfMov3、SelfMov4，再將另外三個視頻導(dǎo)入其中。</p>

88、<p>　　SelfMovData1={SelfMov1.cdata}用于把SelfMov1視頻上的一幀幀圖像轉(zhuǎn)換為矩陣。再用for的循環(huán)語句，讀取一幀幀的圖像，再對圖像進行處理。由于制作的需要，在這里只提取125幀畫面，即函數(shù)語句為for i=1:125。然后用img1=SelfMovData1{i}，將第一個每次視頻循環(huán)提取時所得到的圖像賦給img1，通過a=imresize(img1,[360,240])函數(shù)，把該圖

89、像大小變?yōu)殚L360個像素點，寬240個像素點。以此類推，同樣得到其他經(jīng)過壓縮處理后三個視頻圖像，再分別賦給b、c、d。而且基于矩陣拼接需要，a、b、c、d圖像大小必須是一樣的，即都為360×240。</p><p>　　圖像的合成相當(dāng)于矩陣的拼接，可用函數(shù)[,]、[;]將同樣大小的矩陣進行橫向或者是縱向的拼接。例如x1=[a,b]是將圖像a與圖像b進行橫向拼接，如圖4-2。而x1=[a;b]則是將圖像a

90、與圖像b進行縱向拼接，如圖4-3。</p><p>　　圖4-2 圖像a與圖像b橫向拼接</p><p>　　圖4-3 圖像a與圖像b縱向拼接</p><p>　　根據(jù)這用于矩陣拼接的函數(shù)，我們就可將四張圖像合成在一起，組成一張四畫面的圖像。由于程序使用for循環(huán)語句，一共125幀，每處理完一幀圖像，都會通過M(i)=getframe函數(shù)，將合成后的圖像放入M(i)

91、中，直到幀讀取結(jié)束。這時就會得到M(1)到M(125)這125個自定義參數(shù)，并且每個參數(shù)都被賦予一張圖像。</p><p>　　最后用函數(shù)movie2avi(M,'out.avi','FPS',1)，將所有M參數(shù)組合起來，轉(zhuǎn)換為AVI格式的視頻，其實驗結(jié)果如圖4-4所示。</p><p>　　圖4-4 輸出的四畫面視頻</p><p>

92、;　　4.3 來自實時拍攝的多畫面合成測試</p><p>　　來自實時拍攝的多畫面合成實驗，需要攝像頭獲取視頻圖像，再經(jīng)過USB接口，將所得到的數(shù)據(jù)傳輸?shù)诫娔X中，通過MATLAB處理，輸出成像。每個攝像頭在插入電腦時，都會自動編號，方便辨認，所以在對攝像頭所拍攝的視頻進行處理前，我們需要了解攝像頭的參數(shù)，如適配器、所獲得的圖像像素信息等。</p><p>　　MATLAB的圖像獲取工具箱

93、為我們提供了imaqhwinfo()，來獲取PC上以安裝的圖像獲取硬件信息。輸入函數(shù)info=imaqhwinfo，如圖4-5。 </p><p>　　圖4-5 適配器查詢</p><p>　　可以看到電腦上安裝兩個適配器，而我們需要的是第二個適配器'winvideo'，通過函數(shù)win_info=imaqhwinfo('winvideo')，即用imaq

94、hwinfo函數(shù)對winvideo適配器進行查詢，得到電腦上攝像ID信息，如圖4-6所示，ID顯示一共有4臺攝像設(shè)備。</p><p>　　圖4-6 攝像頭ID查詢</p><p>　　獲得了攝像頭的ID，即明確了四個攝像頭的各個ID號碼，然后就能根據(jù)ID來控制相對應(yīng)的攝像頭，對號入座。但是每個不同的攝像頭，它所拍攝的圖像格式以及像素大小是不同的，運用函數(shù)dev_win_info.Supp

95、ortedFormats就可以查看圖像格式及像素，如圖4-7是本次用于實驗的四個攝像圖像參數(shù)，從上到下依次對應(yīng)ID1至ID4：</p><p>　　圖4-7 拍攝圖像格式及像素</p><p>　　各種參數(shù)的查詢，都是為后面制作實時流視頻處理的操作提供參考和依據(jù)。如程序運行時，要讀取ID為1的攝像頭，并選擇視頻圖像格式及大小，就要使用函數(shù)vid1 = videoinput('win

96、video', 1, 'YUY2_352x288')。函數(shù)videoinput對適配器中ID為1的攝像頭進行讀取，并選擇攝像頭自帶的格式Y(jié)UV和像素352x288，然后賦值給自定義參數(shù)vid1。其他三路攝像原理相同，依次賦值給vid2、vid3、vid4。</p><p>　　接著用figure函數(shù)新建一個窗口，其目的是將視頻放入其中：</p><p>　　h=fi

97、gure('NumberTitle','off','Name','ÊÓƵ','MenuBar','none','color','black','Position', [0, 0, 1, 1], 'Visible', 'on'

98、;)</p><p>　　如上函數(shù)所示，NumberTitle設(shè)置為OFF，新建窗口將不顯示該窗口數(shù)量大??；Name賦值為視頻，使得新建窗口的最上方名稱顯示為“視頻”；color為black，即窗口背景色為黑色。這些都是為了設(shè)計的美觀而設(shè)置的。另外，Position的定義，使新建窗口自顯示器的左下角開始，占滿整個畫面。</p><p>　　接下來就是對圖像獲取以及處理做循環(huán)的運行，在這里，

99、我們不用for循環(huán)語句，而是用while判斷語句，while ishandle(h)這個函數(shù)判斷了圖像對象句柄是否有效，若無效，即h為0，則跳出判斷，運行結(jié)束；若有效，則進行視頻處理以及對從視頻上得到的圖像進行處理。</p><p>　　先拿ID為1的攝像頭進行處理，用函數(shù)語句a=getsnapshot (vid1)得到視頻vid1的快照，即得到一張圖像，實現(xiàn)了從視頻中獲取一幀圖像的美好愿望。然而，由于，MATL

100、AB只對RGB圖正常顯示，對YUV格式的圖像顯示失真。如圖4-8所示，左邊是YUV格式，右邊是RGB格式。</p><p>　　圖4-8 YUV與RGB圖像格式比較</p><p>　　因此，在得到一張YUV格式圖像時，就需要用函數(shù)a1= ycbcr2rgb(a)，將快照后得到圖像的a進行轉(zhuǎn)換，變成RGB格式。另外三路圖像也是進行同樣的轉(zhuǎn)換。</p><p>　　對

101、處理好的圖像進行合成時，所用方法與來自文件多畫面合成的方法一樣，也是用函數(shù)[;][,]進行，然后將處理好的圖像直接輸出，同時再得到一張快照，再處理再輸出。而連續(xù)快速的圖像輸出，就會形成一個多畫面實時合成的視頻效果，如圖4-9所示。</p><p>　　圖4-9 多畫面實時合成的視頻</p><p>　　實時拍攝的多畫面合成已經(jīng)完成，但是畫面之間的無間隔，使得整體效果看起來不是很舒服，若是有

102、隔離線將他們分離開，就會有獨立感和實在感。用函數(shù)verLine=zeros(size(a1,1),2)，畫出一條寬度與ID為1的圖像一樣的線條，并且長度為兩個像素點。經(jīng)過x1=[a1 ,verLine,b1]函數(shù)處理，使得ID為1與ID為2的圖像和所畫出的線條拼接在一起，同理，即可得到有隔離線的多畫面合成視頻，如圖4-10所示，與圖4-9相比，更具有真實感。</p><p>　　圖4-10 加入分隔線后多畫面實時

103、合成的視頻</p><p><b>　　5 總結(jié)和展望</b></p><p><b>　　5.1 總結(jié)</b></p><p>　　多畫面實時合成以它直觀、方便、信息量多而被廣泛的使用，如電視臺節(jié)目制作的監(jiān)視監(jiān)看、交通安全的監(jiān)視監(jiān)看、節(jié)目特效的運用等等。本文創(chuàng)造性的對圖像壓縮合成，實現(xiàn)了以Matlab為研究環(huán)境的多路攝像

104、畫面的實時合成。</p><p>　　多畫面的實時合成，最重要的技術(shù)便是對圖像壓縮合成技術(shù)?？萍嫉陌l(fā)展，使圖像壓縮合成的實現(xiàn)有多種路徑，但主要就只有兩種，即像素域合成和壓縮域合成。壓縮域合成不需要對視頻源解碼，而是對視頻的結(jié)構(gòu)進行重組，形成多個終端合成的數(shù)據(jù)。而像素域合成不僅需要對視頻源進行解碼，還要將數(shù)據(jù)進行線性排列，使得多路數(shù)據(jù)合成一路，以便最后進行該路數(shù)據(jù)的編碼。</p><p>　

105、　翻查資料，了解了多路視頻畫面合成的視頻源可以有兩種，一種是來自文件，另一種是來自實時拍攝。最簡單也最易懂的，便是來自文件的多畫面合成。所以為了能最后實現(xiàn)多路攝像畫面實時的合成，我便循序漸進，先對來自文件的多畫面合成進行研究，再對來自實時拍攝的多畫面合成進行研究與實驗。此外，由于實驗需要，本文還介紹了RGB和YUV格式原理與區(qū)別，一幀圖像的矩陣表示以及AVI視頻文件原理。這些都是在實驗測試過程中，遇到問題后所查找的資料，是本文實驗內(nèi)容的

106、核心。</p><p>　　通過本次對多路攝像畫面實時合成的研究與實現(xiàn)，我對數(shù)字圖像壓縮合成技術(shù)和數(shù)字視頻處理技術(shù)有了更深刻的認識，有實現(xiàn)多畫面實時合成的能力，包括對MATLAB開發(fā)環(huán)境以及一些圖像處理的知識等都有了一定的了解。對多畫面合成的代碼編寫不僅需要扎實的語言基礎(chǔ)，還需要觸類旁通、舉一反三、善于思考總結(jié)的學(xué)習(xí)能力。在展開程序編寫之前，先規(guī)劃了算法步驟中的各部分功能模塊，再選擇合適的開發(fā)環(huán)境進行詳細設(shè)計。所

107、以通過此次設(shè)計，不僅學(xué)到了很多程序開發(fā)上的知識，還對多畫面實時合成有了更深入的理解。</p><p><b>　　5.2 展望</b></p><p>　　由于時間和水平有限，本論文的研究和工作難免存在不足之處，因而對今后有待重點研究和改進的地方所作的幾個設(shè)想：</p><p>　　（1）對每個畫面標記符號：現(xiàn)在很多地方都用了多畫面實時監(jiān)看這類

108、技術(shù)，而畫面的增多，難免會導(dǎo)致工作人員分辨不清該畫面是哪路攝像機所得到的，所以都會在每路畫面上標記名稱，如CAM1等。后面的研究，即是考慮如何在新建的窗口里，利用像素點，標記出自己想要的符號內(nèi)容。</p><p>　　（2）對多畫面中某一畫面的觸發(fā)：畫面的繁多不僅容易將某一畫面與攝像機編號混淆，而且由于多畫面都集中在一個視頻監(jiān)看器上，使得原本正常的畫面需要進行多陪的壓縮，從而使得畫面變得有些模糊不清，不利于對畫面