多視角實(shí)時(shí)合成的研究與實(shí)現(xiàn)——畢業(yè)論文

1、<p><b>　　畢業(yè)設(shè)計(jì)(論文)</b></p><p>　　論文題目 多視角實(shí)時(shí)合成的研究與實(shí)現(xiàn) </p><p>　　Real-time Synthesis of Multi-view for </p><p>　　Study and Realization</p><p>　　學(xué) 生

2、姓 名： 學(xué) 號(hào)： </p><p>　　二級(jí)學(xué)院名稱： 電子信息學(xué)院 專 業(yè)： 廣播電視工程 </p><p>　　指 導(dǎo) 教 師： 職 稱： </p><p>　　合作/企業(yè)教師： 　職 稱：

3、 </p><p>　　多視角實(shí)時(shí)合成的研究與實(shí)現(xiàn)</p><p>　　摘要: 近年來，隨著網(wǎng)絡(luò)多媒體技術(shù)的迅速發(fā)展，以往的廣播、電視、報(bào)紙等傳統(tǒng)媒體在對(duì)抗不斷興起的新媒體傳播方式這場沒有硝煙的戰(zhàn)爭中收到了巨大沖擊。傳統(tǒng)媒體的劣勢(shì)逐漸顯現(xiàn)，很多事件從發(fā)生到廣泛傳播時(shí)間間隔久，時(shí)效性差，普通人群參與度低，互動(dòng)性差。越來越多的人開始嘗試新的傳播方式，尤其是人們觀看影像的方式發(fā)生了重大

4、改變。多視角實(shí)時(shí)合成給人們提供了一種不一樣觀察的方式，在近幾年備受關(guān)注。</p><p>　　多視角的實(shí)時(shí)合成，其目的在于同時(shí)獲取多路視頻信號(hào)，在有限的時(shí)間內(nèi)獲得更多圖像信息。多路視頻合成主要研究的是畫面整合以及視頻發(fā)布的兩個(gè)問題。本次使用Helix Server作為流媒體服務(wù)器并使用Real-Producer Plus進(jìn)行廣播與錄制，在數(shù)據(jù)庫中錄入攝像頭信息，瀏覽器中嵌入RealPlayer播放器，在瀏覽器中可

5、以實(shí)時(shí)查看攝像頭畫面并實(shí)現(xiàn)視角切換。</p><p>　　多視角的實(shí)時(shí)合成是由攝像頭獲取信息，通過USB接口進(jìn)行視頻傳輸，最后將得到的視頻進(jìn)行處理。而為了更好的研究視頻合成這方面，本文還對(duì)來自文件的多畫面合成進(jìn)行研究與實(shí)驗(yàn)，為本文最終的測(cè)試奠定良好的基礎(chǔ)。</p><p>　　關(guān)鍵詞：視頻監(jiān)控；多視角合成；圖像處理；流媒體</p><p>　　REAL-TIME S

6、YNTHESIS OF MULTI-VIEW FOR STUDY AND REALIZATION</p><p>　　Abstract: In recent years, with the rapid development of network and multimedia technology, therefore, news media development in the new media age ch

7、allenged the survival of traditional media. The disadvantages of traditional media gradually appear, many events from the occurrence to the wide spread time interval, timeliness is poor, the participation of ordinary peo

8、ple is low, and the interaction is not good. More and more people are beginning to try new ways of communication, especially in the</p><p>　　Real-time Synthesis of Multi-view, the purpose is to obtain multi-

9、channel video signals at the same time, and we can get more image information in a limited time. This paper mainly studies two problems: image integration and video release. Helix Server was used to be Streaming media s

10、erver in this research, and broadcasting and recording with Real-Producer Plus. Inputting camera information to DB. The browser is embedded with RealPlayer player, so that it can view real-time video from the came</p

11、><p>　　Multi-view real-time synthesis is to obtain information from the camera, transmit video signal with the USB, and finally process video. In order to study the video synthesis better, this paper also stud

12、ies and experiments on the multi image synthesis based on local file, which lays a good foundation for the final test.</p><p>　　Keywords: video surveillance; multi-view composition; image processing; stream

13、media</p><p><b>　　目 錄</b></p><p><b>　　1 緒論1</b></p><p>　　1.1 選題背景與意義1</p><p>　　1.2 國內(nèi)外研究現(xiàn)狀1</p><p>　　1.3 研究目的及意義3</p>&

14、lt;p>　　1.4 本文主要研究內(nèi)容4</p><p>　　2 多視角的實(shí)時(shí)合成總體方案設(shè)計(jì)5</p><p>　　2.1 多視角實(shí)時(shí)合成系統(tǒng)功能和需求分析5</p><p>　　2.2 系統(tǒng)總體結(jié)構(gòu)5</p><p>　　3 多視角實(shí)時(shí)合成方法的實(shí)現(xiàn)6</p><p>　　3.1 流媒體服務(wù)模塊6

15、</p><p>　　3.2 視頻信號(hào)實(shí)時(shí)采集錄制模塊7</p><p>　　3.3 媒體流實(shí)時(shí)網(wǎng)絡(luò)傳輸模塊7</p><p>　　3.4 數(shù)據(jù)庫元數(shù)據(jù)存儲(chǔ)與管理模塊8</p><p>　　3.5 WEB流媒體發(fā)布模塊8</p><p>　　4 多視角實(shí)時(shí)合成的實(shí)驗(yàn)與測(cè)試9</p><p&

16、gt;　　4.1 實(shí)驗(yàn)環(huán)境9</p><p>　　4.1.1 實(shí)現(xiàn)平臺(tái)9</p><p>　　4.1.2 運(yùn)行環(huán)境10</p><p>　　4.2 基于本地視頻文件的多畫面合成10</p><p>　　4.3 基于單攝像頭的實(shí)時(shí)直播11</p><p>　　4.4 基于多攝像頭的多視角實(shí)時(shí)合成13</

17、p><p>　　4.5 基于網(wǎng)頁訪問實(shí)現(xiàn)多視角的實(shí)時(shí)合成與切換14</p><p>　　5 總結(jié)和展望16</p><p><b>　　5.1 總結(jié)16</b></p><p><b>　　5.2 展望17</b></p><p><b>　　致謝18<

18、/b></p><p><b>　　參考文獻(xiàn)19</b></p><p><b>　　1 緒論</b></p><p>　　隨著通信技術(shù)和網(wǎng)絡(luò)多媒體技術(shù)的發(fā)展，人類獲取外界信息的途徑已經(jīng)不僅僅局限于語音和數(shù)據(jù)，數(shù)字視頻已經(jīng)取代語音成為了人類信息的主要來源[1]。曾經(jīng)放學(xué)回家守著電視觀看各類電視節(jié)目的年代已經(jīng)漸漸遠(yuǎn)去

19、了，現(xiàn)在網(wǎng)絡(luò)視頻直播、視頻實(shí)時(shí)監(jiān)控、視頻的遠(yuǎn)程教育以及多人視頻聊天等各種多媒體新形式逐漸興起，人們對(duì)于影像觀看的要求越來苛刻，簡單而傳統(tǒng)的媒體形式已經(jīng)無法滿足人們對(duì)視頻圖像多樣的需求。</p><p>　　1.1 選題背景與意義</p><p>　　近幾年，國家經(jīng)濟(jì)的發(fā)展提高了人們的生活水品，人們不再只求溫飽，而是更加注重豐富自己的娛樂休閑方式，獲得更多視覺感官等刺激。從2D電影的平面影像

20、到3D電影越來越真實(shí)的觀影體驗(yàn)，意味著膠片電影時(shí)代逐漸沒落，數(shù)字電影的舞臺(tái)才剛剛拉開帷幕[2]。愛奇藝、優(yōu)酷、陌陌等都推出了視頻直播功能，滿足了人們隨時(shí)隨地表達(dá)自我的需求[3]。</p><p>　　另外，視頻圖像處理技術(shù)和多畫面顯示系統(tǒng)技術(shù)的逐漸成熟，也改變了人們工作的一些習(xí)慣。例如多畫面視頻會(huì)議系統(tǒng)的實(shí)現(xiàn)，減輕了公司出差開會(huì)時(shí)路途奔波的麻煩；電視制播系統(tǒng)中，在過去是有限前端對(duì)傳輸?shù)碾娨曅盘?hào)進(jìn)行監(jiān)看，大部分是一

21、對(duì)一的模式，一臺(tái)監(jiān)視器監(jiān)控一路圖像信號(hào)，并不能很好地實(shí)時(shí)監(jiān)控每一路視音頻畫面，無法及時(shí)發(fā)現(xiàn)節(jié)目質(zhì)量問題，難以做到安全播出；視頻監(jiān)控也是同理，現(xiàn)在攝像頭的數(shù)量成倍增加，若是以電視墻的形式進(jìn)行實(shí)時(shí)監(jiān)控，不僅占地面積大浪費(fèi)資源，而且人眼無法同時(shí)觀察這么多屏幕，不容易捕捉畫面細(xì)節(jié)，導(dǎo)致監(jiān)控漏洞的出現(xiàn)。本課題致力于實(shí)現(xiàn)多路視頻信號(hào)的實(shí)時(shí)合成，提高屏幕利用率和視頻圖像處理速度，因此，多視角實(shí)時(shí)合成的研究與實(shí)現(xiàn)具有一定實(shí)際意義。</p>

22、<p>　　1.2 國內(nèi)外研究現(xiàn)狀</p><p>　　多視角實(shí)時(shí)合成技術(shù)是近年來人們關(guān)注的應(yīng)用技術(shù)熱點(diǎn)之一，尤其是被廣泛應(yīng)用于安防領(lǐng)域。安防需求主要集中在公安、交通、司法、金融、能源、科教衛(wèi)和智能樓宇等七大行業(yè)[4]，視頻監(jiān)控領(lǐng)域的70%以上的數(shù)據(jù)分析是用來進(jìn)行圖像識(shí)別。大中小城市也在不斷推進(jìn)平安城市建設(shè)，目前我國攝像頭數(shù)量最多的城市是北京，數(shù)量達(dá)到115萬，攝像頭分布密度為71個(gè)/平方公里；上海攝

23、像頭的數(shù)量僅次于北京，數(shù)量達(dá)到100萬個(gè)；而杭州則是攝像頭分布密度最高的城市，達(dá)到了130個(gè)/平方公里。</p><p>　　在曾經(jīng)傳統(tǒng)的城市視頻監(jiān)控體系中，主要還是有線網(wǎng)絡(luò)進(jìn)行視頻流的傳輸[5]。隨著城市化的程度越來越高，有線網(wǎng)絡(luò)面臨搭建成本投入過高，架設(shè)困難，完成周期過長等一系列難題，無線網(wǎng)絡(luò)將會(huì)逐漸取代有線網(wǎng)絡(luò)。無線網(wǎng)絡(luò)對(duì)公安部推動(dòng)全國公安機(jī)關(guān)視頻圖像信息整合與分享工作任務(wù)更為便捷有益，對(duì)視頻監(jiān)控體系可以實(shí)

24、現(xiàn)有用整合，進(jìn)一步綜合開發(fā)利用視頻圖像信息。</p><p>　　?？低暢蔀橐曨l監(jiān)控行業(yè)的領(lǐng)軍人物，持續(xù)五年（2011-2015）占據(jù)iHS環(huán)球視頻監(jiān)控市場占有率第一位，并在2016年，A&S《安全自動(dòng)化》公布的“環(huán)球安防50強(qiáng)”中位列世界第一。?？低曉诹髅襟w網(wǎng)絡(luò)傳輸和控制技術(shù)、大數(shù)據(jù)分析技術(shù)、視頻圖像處理技術(shù)、嵌入式系統(tǒng)開發(fā)技術(shù)、云計(jì)算技術(shù)、視音頻編解碼技術(shù)、視頻分析與模式識(shí)別技術(shù)、視音頻數(shù)據(jù)存儲(chǔ)技

25、術(shù)、專用集成電路的應(yīng)用技術(shù)等九大核心技術(shù)全部擁有自主知識(shí)產(chǎn)權(quán)[6]。2007年?？低曆邪l(fā)成功全球第一臺(tái)16路D1實(shí)時(shí)DVR——DS-8016HF-S；在2015年，海康威視發(fā)布了“鷹眼”全景相機(jī)、工業(yè)相機(jī)以及立體相機(jī)。</p><p>　　大華也推出了多鏡頭全景拼接相機(jī)，其典型代表作品就是四目4K全景網(wǎng)絡(luò)相機(jī)DH-IPC-PDBW8808-A180系列，可應(yīng)用于對(duì)畫質(zhì)要求比較高且大場景監(jiān)控的場所。四目4K全景相

26、機(jī)處于行業(yè)先進(jìn)技術(shù)，實(shí)現(xiàn)了更高清、全智能、大全景、星光級(jí)、圖像拼接等功能。全景多目攝像機(jī)可以更好地實(shí)現(xiàn)了用戶更全角度的大場景監(jiān)控需求，有其獨(dú)特存在的應(yīng)用價(jià)值。大華四目全景網(wǎng)絡(luò)攝像機(jī)由4個(gè)鏡頭為1/2.8"200萬超低照度CMOS圖像傳感器、3mm定焦特制鏡頭組合，可以拍攝四個(gè)角度，經(jīng)由過程大華智能算法，主動(dòng)識(shí)別四組畫面之間的重復(fù)區(qū)域，并可以自動(dòng)修改及拼接，輸出4096×1800全景畫面，從而實(shí)現(xiàn)水平180°

27、、垂直87°的超廣角度展現(xiàn)，且拼接畫面平整無畸變，視頻結(jié)果更直觀，高清監(jiān)控一覽無余[7]。</p><p>　　近年來，基于多視角的圖像拼接技術(shù)迎來了它的春天，主要包含了計(jì)算及視覺問題以及圖形圖像問題。APAP算法的實(shí)現(xiàn)將網(wǎng)格優(yōu)化變形應(yīng)用于圖像拼接，TJ CHIN通過將圖像劃分為密集網(wǎng)絡(luò)，一個(gè)單應(yīng)矩陣對(duì)應(yīng)一個(gè)網(wǎng)格，利用對(duì)網(wǎng)格的變形，實(shí)現(xiàn)圖像的矯正和拼接。對(duì)于視頻拼接而言，時(shí)下較為流行的做法，是一邊進(jìn)行

28、視頻拼接，一邊進(jìn)行視頻的穩(wěn)定，即視頻去抖，不僅是可以實(shí)現(xiàn)對(duì)本地視頻文件的高質(zhì)量拼接，還可以做到在線的實(shí)時(shí)拼接。對(duì)于視頻的實(shí)時(shí)拼接而言，時(shí)下較為流行的一種做法是，一邊進(jìn)行視頻的拼接，一邊進(jìn)行視頻的穩(wěn)定，即視頻去抖，不僅為是可以實(shí)現(xiàn)對(duì)本地視頻文件的高質(zhì)量拼接，還可以做到在線的實(shí)時(shí)拼接。</p><p>　　除此之外，關(guān)于圖像處理技術(shù)不得不提到AR和VR，AR（Augmented Reality增強(qiáng)現(xiàn)實(shí)）和VR（Vir

29、tual Reality虛擬現(xiàn)實(shí)）是計(jì)算及視覺領(lǐng)域最為熱門的技術(shù)。VR與AR的區(qū)別主要在于，VR看到的全都是虛擬場景，是開發(fā)者創(chuàng)造出的模擬世界，比較著名的產(chǎn)品包括索尼Play Station VR、HTC Vive VR以及三星 Gear VR。雖然VR技術(shù)可以說是目前而言十分先進(jìn)的技術(shù)之一，VR電影、VR游戲等層出不窮，但是格里貝茨曾說過“VR很酷炫，然而它只是通向增強(qiáng)現(xiàn)實(shí)的一塊墊腳石”。AR技術(shù)的使用者并不會(huì)覺得計(jì)算機(jī)所生成的虛擬物

30、體和原來的現(xiàn)實(shí)世界兩者之間格格不入，可以實(shí)現(xiàn)對(duì)于真實(shí)世界進(jìn)一步的分析與探索。通過實(shí)時(shí)交互，還可以在有限的時(shí)間和空間中完成對(duì)相關(guān)知識(shí)領(lǐng)域的深入學(xué)習(xí)。2000年，Bruce H.Thomas開發(fā)了世界上第一款基于手機(jī)的AR游戲，2008年不同廠商開始將AR技術(shù)應(yīng)用于手機(jī)地圖軟件；Goole在2013年向世界發(fā)布了廣為人知的Goole眼鏡；2015年，Hololens成為第一款可將虛擬的計(jì)算機(jī)圖像用過AR設(shè)備嵌入到使用者真實(shí)的世界中[8]。&

31、lt;/p><p>　　1.3 研究目的及意義</p><p>　　多視角實(shí)時(shí)合成技術(shù)為人們提供了一種更加直觀、更為方便、包含更多信息量的觀看方式，人們可以在有限的時(shí)間內(nèi)更加快速遞獲取盡可能多的視頻信息，有利于在人力資源不足的情況下進(jìn)行實(shí)時(shí)監(jiān)控。而流媒體技術(shù)為視頻、音頻或者其他多媒體文件在網(wǎng)絡(luò)中傳輸提供了可能性[9]。</p><p>　　多視角的實(shí)時(shí)合成技術(shù)應(yīng)用非常廣

32、泛。例如電視節(jié)目制作時(shí)可以進(jìn)行實(shí)時(shí)監(jiān)看，一檔現(xiàn)場的綜藝節(jié)目通常配備多臺(tái)攝像機(jī)，不僅要從各個(gè)角度去捕捉主持人和嘉賓之間的互動(dòng)，也要不是抓拍臺(tái)下觀眾的反應(yīng)，將多臺(tái)攝像機(jī)畫面同時(shí)傳輸?shù)酵唤K端顯示可以方便導(dǎo)播根據(jù)現(xiàn)場需要實(shí)現(xiàn)視角的切換。</p><p>　　除此之外，多視角的實(shí)時(shí)合成技術(shù)還可以應(yīng)用與電影廣告的拍攝。現(xiàn)在廣告制作周期非常短，尤其是拍攝期間，由于人工、設(shè)備費(fèi)用比較昂貴，通常需要在最短的時(shí)間內(nèi)拍攝盡可能多的畫

33、面。這種情況下往往需要多臺(tái)攝像機(jī)同時(shí)工作，多機(jī)位拍攝已經(jīng)成為常態(tài)。但是對(duì)應(yīng)也需要有多個(gè)監(jiān)視器，對(duì)于劇組來說多監(jiān)視器攜帶相當(dāng)笨重，導(dǎo)演也無法同時(shí)觀看三個(gè)攝像機(jī)拍攝的畫面。每次單個(gè)回放攝像機(jī)畫面也是非常浪費(fèi)時(shí)間，多視角的合成可以解決這類問題，提高拍攝效率，降低拍攝成本。</p><p>　　多視角的實(shí)時(shí)合成還可以運(yùn)用到災(zāi)難現(xiàn)場的救災(zāi)行動(dòng)，便于全方位實(shí)時(shí)了解災(zāi)情，在營救災(zāi)民、控制險(xiǎn)情時(shí)制定出合理高效的解決方案，減輕災(zāi)難

34、的傷亡程度以及財(cái)產(chǎn)損失，還可以為搶險(xiǎn)救災(zāi)爭取更多的寶貴時(shí)間。同樣，利用多視角實(shí)時(shí)合成技術(shù)可以實(shí)現(xiàn)實(shí)時(shí)視頻會(huì)議，通過這種方式可以減少與會(huì)人員往返于兩地之間花費(fèi)的時(shí)間，可以更快地傳達(dá)公司總部的會(huì)議決定。</p><p>　　根據(jù)以上所闡述的優(yōu)點(diǎn)，對(duì)于多視角實(shí)時(shí)合成技術(shù)的研究無論從理論方面還是實(shí)踐運(yùn)用方面，都十分具有意義。通過該技術(shù)，人們?cè)诠ぷ鲿r(shí)，可以提高對(duì)于信息獲取的效率；另外，還可以通過不同視角間的切換，使得多視角

35、實(shí)時(shí)合成技術(shù)應(yīng)用更加廣泛。</p><p>　　1.4 本文主要研究內(nèi)容</p><p>　　本課題主要對(duì)多視角實(shí)時(shí)合成的研究與實(shí)現(xiàn)進(jìn)行以下幾個(gè)方面設(shè)計(jì)分析： </p><p>　　1、確定視音頻流的傳輸方式：視頻和音頻的傳輸方式通常被分為有線傳輸和無線傳輸兩種傳輸方式。有線傳輸布線復(fù)雜、成本高，無線傳輸則更加適合本次實(shí)驗(yàn)，搭建簡單，不需要額外的設(shè)備。本次實(shí)驗(yàn)除了采

36、用無線網(wǎng)絡(luò)傳輸?shù)姆绞?，還結(jié)合了數(shù)字多媒體技術(shù)來實(shí)現(xiàn)傳遞視頻圖像信息。</p><p>　　2、流式傳輸方式的優(yōu)勢(shì)：本次實(shí)驗(yàn)中的視音頻信號(hào)的采集均有外接的USB攝像頭和電腦自帶的攝像頭完成，服務(wù)器用于存放和控制流媒體數(shù)據(jù)[10]，視音頻信號(hào)流由RTSP（實(shí)時(shí)流傳輸協(xié)議）完成數(shù)據(jù)傳送。最終，播放器提供客戶端監(jiān)看攝像頭傳送回來的畫面，可以實(shí)現(xiàn)邊傳邊播，達(dá)到實(shí)時(shí)監(jiān)看的效果。</p><p>　　3

37、、視頻信號(hào)編碼以及發(fā)布的處理方法：視音頻信號(hào)流由USB攝像頭和電腦自帶的攝像頭實(shí)時(shí)采集，經(jīng)由RealProducer對(duì)其進(jìn)行實(shí)時(shí)編碼處理，每次完成編碼，就會(huì)將本次采集到的視音頻文件以.rm格式保存到預(yù)先設(shè)置好的本地文件夾中。通過服務(wù)器MyWebServer進(jìn)行發(fā)布，可以在瀏覽器中訪問攝像頭實(shí)時(shí)傳輸過來的畫面。本次利用了RealProducer自身的轉(zhuǎn)碼器，自動(dòng)實(shí)現(xiàn)了視音頻文件的編碼工作以及流媒體文件的存儲(chǔ)工作。</p>&

38、lt;p>　　4、數(shù)據(jù)庫中元數(shù)據(jù)的存儲(chǔ)與管理：在數(shù)據(jù)庫中錄入本次攝像頭的信息以及每個(gè)攝像頭對(duì)應(yīng)的視音頻信號(hào)文件地址，通過數(shù)據(jù)庫管理流媒體文件的元數(shù)據(jù)信息。</p><p>　　5、對(duì)結(jié)果進(jìn)行分析，包括基于WEB服務(wù)器流媒體發(fā)布系統(tǒng)以及數(shù)據(jù)庫連接時(shí)遇到的困難，還有對(duì)未來的展望。</p><p>　　2 多視角的實(shí)時(shí)合成總體方案設(shè)計(jì)</p><p>　　2.1 多

39、視角實(shí)時(shí)合成系統(tǒng)功能和需求分析</p><p>　　這個(gè)時(shí)代，是一個(gè)被網(wǎng)絡(luò)媒體層層包裹的時(shí)代，廣播電視技術(shù)和計(jì)算機(jī)技術(shù)飛速發(fā)展，現(xiàn)代數(shù)字圖像處理技術(shù)和網(wǎng)絡(luò)多媒體技術(shù)愈加成熟，視音頻信號(hào)數(shù)字化處理已經(jīng)是目前較為普遍的技術(shù)[11]。得益于IT領(lǐng)域與視音頻多媒體技術(shù)領(lǐng)域的不斷創(chuàng)新與提高，新興的網(wǎng)絡(luò)的媒體形式更加豐富多樣，從而促進(jìn)了多種媒體形式的融合與發(fā)展，激化了各大視頻平臺(tái)之間的競爭，也更加要求不同媒體生產(chǎn)商發(fā)掘自身的

40、資源優(yōu)勢(shì)以及革新自身的技術(shù)。多視角的實(shí)時(shí)合成技術(shù)以其直觀、高效、信息量豐富等優(yōu)勢(shì)，可被廣泛應(yīng)用于各個(gè)場合，其應(yīng)用的方向主要有以下幾點(diǎn)：</p><p>　　影視節(jié)目制作方面的應(yīng)用；</p><p>　　安防監(jiān)控領(lǐng)域方面的應(yīng)用；</p><p>　　多角度監(jiān)測(cè)險(xiǎn)情方面的應(yīng)用；</p><p>　　AR、VR、全息投影等新興視覺技術(shù)方面的應(yīng)用。&

41、lt;/p><p>　　綜合以上幾個(gè)方面來考慮，本系統(tǒng)需要具備以下幾個(gè)功能：</p><p>　　攝像頭視頻信號(hào)的實(shí)時(shí)采集與傳輸；</p><p>　　對(duì)視音頻信號(hào)實(shí)時(shí)轉(zhuǎn)碼以適合在網(wǎng)絡(luò)中傳輸；</p><p>　　通過數(shù)據(jù)庫可對(duì)包含不同視角信息的流媒體文件進(jìn)行元數(shù)據(jù)的存儲(chǔ)與管理；</p><p>　　實(shí)現(xiàn)多視角的實(shí)時(shí)合成功

42、能以及不同視角間切換的功能。</p><p>　　2.2 系統(tǒng)總體結(jié)構(gòu)</p><p>　　根據(jù)上面所闡述，明確這次實(shí)驗(yàn)所需要實(shí)現(xiàn)的功能，確定整體的框架結(jié)構(gòu)。本文所采用的是一種將視頻信號(hào)進(jìn)行實(shí)時(shí)采集發(fā)布的多視角實(shí)時(shí)合成方法，本次實(shí)驗(yàn)選用RealProducer Plus作為實(shí)現(xiàn)對(duì)視音頻信號(hào)的實(shí)時(shí)采集與轉(zhuǎn)碼模塊，并將轉(zhuǎn)碼的文件保存至本地文件夾，同時(shí)完成創(chuàng)建網(wǎng)絡(luò)媒體流輸出等工作。另外，配置網(wǎng)絡(luò)

43、流媒體服務(wù)器進(jìn)行數(shù)據(jù)流傳輸，在數(shù)據(jù)庫中錄入攝像頭信息以及流媒體文件地址，通過WEB服務(wù)器發(fā)布到網(wǎng)頁相應(yīng)位置進(jìn)行播放。其中需要對(duì)Helix Server進(jìn)行流媒體服務(wù)器配置，包括流媒體服務(wù)端的IP地址綁定，當(dāng)服務(wù)器被成功安裝在一個(gè)擁有數(shù)個(gè)不同的IP地址的系統(tǒng)上時(shí)，需要指定服務(wù)器去偵聽的IP地址[12]；除此之外，還要配置加載點(diǎn)，加載點(diǎn)是和WEB服務(wù)器虛擬目錄十分相似，直接指向文件實(shí)際存放位置，一定會(huì)出現(xiàn)在Helix Server的每一個(gè)連

44、接中。通過MyWebServer發(fā)布，以瀏覽器作為容器來播放實(shí)時(shí)畫面，實(shí)現(xiàn)多視角合成以及不同視角的切換。</p><p>　　圖2-1 多視角實(shí)時(shí)合成流程圖</p><p>　　3 多視角實(shí)時(shí)合成方法的實(shí)現(xiàn)</p><p>　　3.1 流媒體服務(wù)模塊</p><p>　　本次采用Helix Server作為流媒體服務(wù)器，Helix Serve

45、r是一款可實(shí)現(xiàn)跨平臺(tái)播放的服務(wù)器，支持多種多樣的媒體文件格式，可以將高質(zhì)量的多媒體文件發(fā)布到被網(wǎng)絡(luò)覆蓋的所有終端。流媒體服務(wù)器將RealProducer采集封裝的實(shí)時(shí)視頻流以流式協(xié)議的形式直播給客戶端，本次實(shí)驗(yàn)采用的是RTSP協(xié)議，RealPlayer作為播放前端。</p><p>　　本次實(shí)驗(yàn)需要對(duì)Helix Server進(jìn)行IP地址的綁定和加載點(diǎn)的配置，為流媒體文件提供播放支持，所有播放的SMIL文件都被保存

46、在加載點(diǎn)目錄下。使用加載點(diǎn)目錄可以在客戶端使用RTSP協(xié)議向服務(wù)器請(qǐng)求視音頻流傳輸時(shí)，地址更加精簡，提高訪問效率。需要注意的是，加載點(diǎn)名稱不宜使用中文，包括后面WEB服務(wù)器中的服務(wù)目錄，這些目錄對(duì)中文的支持并不是特別理想，可能會(huì)影響實(shí)驗(yàn)結(jié)果，比如無法獲取視音頻流，或者是打不開頁面等。</p><p>　　綁定IP地址的目的在于指定偵聽的IP地址，由于本機(jī)的IP地址是動(dòng)態(tài)分配，每次開機(jī)都會(huì)改變，因此我選用了127.

47、0.0.1來代替本機(jī)所有的IP地址。如果不從其他終端獲取本機(jī)服務(wù)端的視音頻流，可以不綁定IP地址。因?yàn)榻壎↖P地址的目的是選擇偵聽的地址，可以從其他終端通過IP地址訪問到本機(jī)服務(wù)器，從而獲得多媒體內(nèi)容。</p><p>　　3.2 視頻信號(hào)實(shí)時(shí)采集錄制模塊</p><p>　　Real-Producer Plus是一款功能非常強(qiáng)大的視頻編碼器，它可以提供多種不同的編碼速率來適應(yīng)各自相差較大

48、的網(wǎng)絡(luò)狀況，以保證視頻和音頻信號(hào)的傳輸過程較為順暢。</p><p>　　本次實(shí)驗(yàn)選擇攝像頭作為視音頻流采集設(shè)備，因?yàn)閿z像頭是目前圖像采集最常用的設(shè)備。在電腦上通過USB集線器外接了三個(gè)攝像頭，另外加上電腦自帶的一個(gè)攝像頭，一共4個(gè)攝像頭，在RealProducer中選擇外接設(shè)備接收視音頻流，RealProducer具有壓縮速度快，壓縮率較高的特點(diǎn)，比較適合本次實(shí)驗(yàn)。在開始轉(zhuǎn)碼之前，需要對(duì)Real-Produce

49、r Plus配置服務(wù)器目的地，Real-Producer Plus將采集到的拍攝畫面進(jìn)行編碼以 “推”的方式發(fā)送到流媒體服務(wù)器中。推流的目的在于，把采集階段轉(zhuǎn)碼封裝好的視音頻流通過流式協(xié)議傳輸?shù)椒?wù)器。在開始轉(zhuǎn)碼之前，為了能在實(shí)施瀏覽結(jié)束后，還能回看剛才的視頻，需要對(duì)每一路視頻信號(hào)進(jìn)行保存設(shè)置。</p><p>　　Real-Producer Plus編碼器將攝像頭的視頻信號(hào)進(jìn)行編碼轉(zhuǎn)化成rm格式進(jìn)行保存，rm格

50、式文件是一種容器格式文件，這類通過保存為rm格式的文件，可以實(shí)現(xiàn)即時(shí)播放，意味著可以先從服務(wù)器上下載一部分媒體內(nèi)容，緩沖一部分后就可以一邊緩沖一邊播放，即“邊下載邊播放”，這也是本次實(shí)驗(yàn)中實(shí)時(shí)合成的關(guān)鍵。</p><p>　　3.3 媒體流實(shí)時(shí)網(wǎng)絡(luò)傳輸模塊</p><p>　　本次采用RTSP（實(shí)時(shí)流傳輸協(xié)議）對(duì)媒體文件（視頻和音頻）進(jìn)行封裝，RTSP是一個(gè)可以對(duì)多媒體播放進(jìn)行控制的協(xié)議，

51、并且允許同時(shí)多個(gè)串流需求，降低了服務(wù)端的網(wǎng)絡(luò)用量。同時(shí)利用一條時(shí)間線可以對(duì)多個(gè)串流進(jìn)行控制，精簡了代碼的復(fù)雜度，這為本次實(shí)驗(yàn)多個(gè)攝像頭畫面同時(shí)傳輸、實(shí)時(shí)合成、實(shí)時(shí)瀏覽提供了保障。RTSP可以使用TCP或者UDP完成數(shù)據(jù)傳輸。另外， RTSP協(xié)議也支持傳輸在不同服務(wù)器端的媒體內(nèi)容，可以實(shí)現(xiàn)不同服務(wù)器上的多媒體文件之間的同步以及交流。</p><p>　　RTSP控制媒體流的傳輸，一方面要有協(xié)議，另一方面則要有對(duì)應(yīng)的

52、媒體播放器(RealPlayer)和媒體服務(wù)器(Helix Server)。媒體服務(wù)器與媒體播放器的關(guān)系是服務(wù)器與客戶的關(guān)系[13]。</p><p>　　圖3-1 服務(wù)器與播放器之間RTSP交換</p><p>　　3.4 數(shù)據(jù)庫元數(shù)據(jù)存儲(chǔ)與管理模塊</p><p>　　數(shù)據(jù)庫中需要提前錄入每個(gè)攝像頭的信息以及每次調(diào)用的SMIL文件存儲(chǔ)地址，在網(wǎng)頁中點(diǎn)擊對(duì)應(yīng)的鏈接

53、，可以讀取數(shù)據(jù)庫中文件存儲(chǔ)地址，RealPlayer就會(huì)向流媒體服務(wù)器發(fā)出請(qǐng)求，接收傳輸過來的實(shí)時(shí)視音頻流，提供網(wǎng)頁端對(duì)攝像頭傳輸畫面的播放。</p><p>　　本次在ASP腳本中通過與ODBC DSN建立連接，實(shí)現(xiàn)數(shù)據(jù)庫連接。需要在電腦中下載安裝64位（本機(jī)為64位系統(tǒng)）的ODBC數(shù)據(jù)源，然后對(duì)配置數(shù)據(jù)庫ODBC數(shù)據(jù)源。在配置過程中，需要知道所對(duì)應(yīng)的數(shù)據(jù)庫的服務(wù)器名稱、登錄ID以及密碼，在創(chuàng)建數(shù)據(jù)源輸入相關(guān)信

54、息，通過測(cè)試數(shù)據(jù)源來確定DSN是否創(chuàng)建成功。最終編寫腳本和數(shù)據(jù)庫建立連接，ADO（ActiveX Data Objects ） 提供 Connection 對(duì)象，可以使用該對(duì)象建立和管理應(yīng)用程序和ODBC數(shù)據(jù)庫之間的連接。在腳本編寫過程中，主要注意文件保存時(shí)的文件編碼，文件編碼不對(duì)則會(huì)導(dǎo)致網(wǎng)頁顯示亂碼或者無法正確連接數(shù)據(jù)庫。</p><p>　　3.5 WEB流媒體發(fā)布模塊</p><p>

55、;　　通過播放器內(nèi)嵌WEB網(wǎng)頁發(fā)布媒體內(nèi)容，媒體鏈接通過元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中。</p><p>　　WEB服務(wù)器可以解析ASP文件，將動(dòng)態(tài)響應(yīng)的產(chǎn)生委托給ASP腳本文件，通過在腳本文件中監(jiān)聽服務(wù)器的IP地址，實(shí)現(xiàn)數(shù)據(jù)庫與WEB服務(wù)器的連接。服務(wù)器通過讀取數(shù)據(jù)庫信息，向?yàn)g覽器提供網(wǎng)頁中有關(guān)攝像頭的表格信息。</p><p>　　本次實(shí)驗(yàn)搭建了WEB服務(wù)器，通過將RealPlayer播放器嵌入

56、在網(wǎng)頁中，利用網(wǎng)頁來瀏覽攝像頭傳輸?shù)膶?shí)時(shí)畫面，而在網(wǎng)頁中設(shè)置鏈接可以實(shí)現(xiàn)不同視角間的切換。這種做法的優(yōu)勢(shì)在于一方面可通過腳本實(shí)現(xiàn)連接數(shù)據(jù)庫的操作，獲取媒體文件路徑，實(shí)現(xiàn)流媒體文件播放；另一方面也可在網(wǎng)頁中對(duì)播放器位置進(jìn)行調(diào)整，使整體頁面布局更加合理。</p><p>　　4 多視角實(shí)時(shí)合成的實(shí)驗(yàn)與測(cè)試</p><p>　　從多視角合成技術(shù)而言，視頻文件的來源可分為本地視頻文件或者是實(shí)時(shí)錄制

57、所得到的視頻文件。要實(shí)現(xiàn)多視角的實(shí)時(shí)合成，可以從本地視頻文件入手。由于本地視頻文件是提前錄制好的，不需要對(duì)其編解碼，實(shí)現(xiàn)起來效果會(huì)更加穩(wěn)定。再基于本地視頻文件得到的經(jīng)驗(yàn)，嘗試對(duì)實(shí)時(shí)拍攝的視頻文件進(jìn)行合成。從實(shí)現(xiàn)局部功能，單一攝像頭實(shí)時(shí)瀏覽，再到整體多視角的實(shí)時(shí)合成。</p><p><b>　　4.1 實(shí)驗(yàn)環(huán)境</b></p><p>　　4.1.1 實(shí)現(xiàn)平臺(tái)<

58、/p><p>　　本系統(tǒng)主要有媒體采集設(shè)備、流媒體編碼器、流媒體服務(wù)器、數(shù)據(jù)庫服務(wù)端、WEB服務(wù)端五部分組成，系統(tǒng)拓?fù)浣Y(jié)構(gòu)如圖4-1所示。</p><p>　　圖4-1 多視角實(shí)時(shí)合成系統(tǒng)拓?fù)浣Y(jié)構(gòu)</p><p>　　由于本次作品設(shè)計(jì)涉及到多種類型的服務(wù)器，需要不同類型的服務(wù)器分工合作，各方面協(xié)調(diào)整合，包括：</p><p>　　Real-Pro

59、ducer Plus節(jié)目錄制服務(wù)端：對(duì)攝像頭畫面進(jìn)行實(shí)時(shí)錄制傳輸以及文件保存上傳；</p><p>　　WEB服務(wù)器：提供用戶的網(wǎng)頁訪問；</p><p>　　數(shù)據(jù)庫服務(wù)器：提供媒體文件路徑訪問，采用MySql作為數(shù)據(jù)庫前端；</p><p>　　流媒體服務(wù)器：提供流媒體文件播放支持，總體采用Helix Server所提供的流媒體方案。</p><

60、;p>　　4.1.2 運(yùn)行環(huán)境 </p><p>　?。?）操作系統(tǒng)：Windows 7 旗艦版64位（Service Pack1 ）</p><p>　　（2）處理器：Intel(R) Core(TM) i5-3337U CPU @1.80GHz 1.80GHz</p><p>　?。?）內(nèi)存：4.00GB（3.89GB可用）</p><

61、p>　　（4）顯卡：NVIDIA GEFORCE 720M</p><p>　?。?）硬盤：700G</p><p>　　4.2 基于本地視頻文件的多畫面合成</p><p>　　本文使用Helix Server作為流媒體服務(wù)器，用戶名admin，密碼admin。需要對(duì)其綁定IP地址，由于本機(jī)的IP地址屬于動(dòng)態(tài)分配，每次連接網(wǎng)絡(luò)后，電腦分配到的IP地址都并非一

62、樣，所以IP地址綁定我選擇了用127.0.0.1來代替我本機(jī)任何一個(gè)IP地址。對(duì)于加載點(diǎn)的配置，選定自己存放媒體文件的文件夾，以/GYY/這個(gè)虛擬目錄來簡化原本較為復(fù)雜的目錄。</p><p>　　通過SMIL語言，將四段本地視頻文件在播放器中合理分布，使其能在指定位置播放，且互不影響，如圖4-2。</p><p>　　圖4-2 本地視頻文件四路圖像合成</p><p&

63、gt;　　本模塊的工作主要是為流媒體文件播放提供支持，如圖4-3,是SMIL文件代碼。</p><p>　　圖4-3 本地視頻文件合成代碼</p><p>　　4.3 基于單攝像頭的實(shí)時(shí)直播</p><p>　　本文提出的攝像頭畫面實(shí)時(shí)合成過程采用了Real-Producer Plus 11對(duì)攝像頭傳輸?shù)漠嬅孢M(jìn)行實(shí)時(shí)轉(zhuǎn)碼，一方面保存為.rm格式的流媒體文件，另一方面

64、以“推”流的形式發(fā)布到流媒體服務(wù)器端。在不同的網(wǎng)絡(luò)條件下，Real-Producer Plus 11提供多種編碼率，以此保證視音頻數(shù)據(jù)能夠流暢傳輸與播出。它以推“流”的形式進(jìn)行傳輸，對(duì)于視音頻信號(hào)流來說，可以在最短的時(shí)間內(nèi)被傳輸?shù)搅髅襟w服務(wù)器上，以實(shí)現(xiàn)實(shí)時(shí)瀏覽攝像頭畫面的功能[14]。</p><p>　　本模塊的準(zhǔn)備工作是對(duì)輸入的視頻圖像進(jìn)行轉(zhuǎn)碼，將采集到的拍攝畫面進(jìn)行編碼以 “推”流的方式發(fā)送到流媒體服務(wù)器中

65、，通過RealPlayer播放器向Helix Server服務(wù)器發(fā)送請(qǐng)求報(bào)文，服務(wù)器對(duì)其響應(yīng)，然后播放實(shí)時(shí)流畫面，如圖4-4所示。</p><p>　　圖4-4 Real-Producer Plus 11實(shí)行對(duì)攝像頭傳輸?shù)漠嬅婢幋a</p><p>　　如圖4-5所示，對(duì)將要采集錄制的攝像頭畫面進(jìn)行流媒體格式保存及文件保存路徑設(shè)置，設(shè)置文件名為“2017.4.22a”，文件格式保存為rm或r

66、v，此處選擇保存類型為rm，保存目錄為save。 </p><p>　　圖4-5 進(jìn)行流媒體格式保存及文件保存路徑設(shè)置</p><p>　　在RealPlayer播放器中直接請(qǐng)求播放流媒體文件：rtsp://127.0.0.1/broadcast/playlist</p><p>　　4.4 基于多攝像頭的多視角實(shí)時(shí)合成</p><p>　　

67、由于有多路視頻信號(hào)同時(shí)傳輸，因此需要4個(gè)RealProducer Plus分別對(duì)其轉(zhuǎn)碼以及流媒體文件格式保存。需要注意的是，每個(gè)流的名稱不可以相同，否則會(huì)產(chǎn)生沖突導(dǎo)致無法播放，1號(hào)攝像頭的流名稱是playlist，2號(hào)為playlist2，3號(hào)為playlist3，4號(hào)為playlist4。</p><p>　　在SMIL文件中整合四路視頻信號(hào)，使其在各自位置上獨(dú)立播放，互不干擾。首先用一路視頻實(shí)時(shí)流模擬四路視頻

68、信號(hào)同時(shí)傳輸，SMIL文件中四路視頻信號(hào)的位置均為rtsp://127.0.0.1/broadcast/playlist，在RealPlayer播放器中觀察播放效果，如4-6圖所示。</p><p>　　圖4-6 在RealPlayer中實(shí)現(xiàn)多視角實(shí)時(shí)合成</p><p>　　經(jīng)測(cè)試播放延時(shí)時(shí)間約為2秒，播放能夠完全同步。然后嘗試4路視頻信號(hào)同時(shí)播放，如圖4-7。</p>&

69、lt;p>　　圖4-7 在RealPlayer中實(shí)現(xiàn)4路信號(hào)多視角實(shí)時(shí)合成</p><p>　　4.5 基于網(wǎng)頁訪問實(shí)現(xiàn)多視角的實(shí)時(shí)合成與切換</p><p>　　由于在播放器中對(duì)于視角的切換并不是特別理想，所以對(duì)于視角的切換我選擇了基于網(wǎng)頁端實(shí)現(xiàn)。通過在數(shù)據(jù)庫中錄入攝像機(jī)的信息以及媒體文件保存路徑，例如攝像機(jī)編號(hào)、攝像機(jī)名稱、文件地址和攝像機(jī)方向等。因此，需要在數(shù)據(jù)庫中添加相應(yīng)的字

70、段，以下圖4-8是創(chuàng)建數(shù)據(jù)庫的代碼，圖4-9是創(chuàng)建完數(shù)據(jù)庫后錄入攝像機(jī)信息后的表格：：</p><p>　　圖4-8 配置數(shù)據(jù)庫</p><p>　　圖4-9 數(shù)據(jù)庫中錄入攝像機(jī)信息</p><p>　　配置完數(shù)據(jù)庫之后，WEB網(wǎng)站與數(shù)據(jù)庫進(jìn)行連接，將數(shù)據(jù)庫中的元數(shù)據(jù)在頁面上進(jìn)行顯示。</p><p>　　網(wǎng)站連接數(shù)據(jù)庫代碼，如圖4-10：&

71、lt;/p><p>　　圖4-10 網(wǎng)站連接數(shù)據(jù)庫代碼</p><p>　　并網(wǎng)頁內(nèi)嵌RealPlayer播放器播放直播流，將網(wǎng)頁在WEB服務(wù)器中發(fā)布[15]。網(wǎng)頁以表格的形式呈現(xiàn)本地發(fā)布到服務(wù)端的攝像頭相關(guān)信息（如攝像機(jī)編號(hào)、攝像機(jī)名稱、文件地址和攝像機(jī)方向）。當(dāng)點(diǎn)擊“攝像機(jī)序號(hào)”超鏈接時(shí)，能夠采用RTSP流媒體協(xié)議播放方式在RealPlayer播放器上進(jìn)行觀看到4路視頻信號(hào)實(shí)時(shí)合成畫面，如

72、圖4-11所示。 </p><p>　　圖4-11 通過網(wǎng)頁查看4路攝像視頻信號(hào)合成畫面</p><p>　　并且通過不同的超鏈接可以觀察到不同視角的實(shí)時(shí)畫面，如圖4-12所示。</p><p>　　圖4-12 切換單一視角畫面</p><p>　　網(wǎng)頁遍歷數(shù)據(jù)庫的代碼，并提供鏈接訪問，如圖4-13：</p><p>

73、　　圖4-13 遍歷數(shù)據(jù)庫以及提供鏈接訪問代碼</p><p><b>　　5 總結(jié)和展望</b></p><p><b>　　5.1 總結(jié)</b></p><p>　　在這個(gè)信息爆炸的時(shí)代中，人們對(duì)于信息處理要求越來越高，速度要求越來越快，多視角的實(shí)時(shí)合成以其更加直觀、高效、包含更多信息量而占據(jù)更大優(yōu)勢(shì)，電視臺(tái)節(jié)目制作、

74、影視廣告拍攝、安防監(jiān)控監(jiān)視、視覺圖像技術(shù)的創(chuàng)新等各方面都可以運(yùn)用或參考多視角實(shí)時(shí)合成技術(shù)。本次實(shí)驗(yàn)通過多個(gè)攝像頭畫面集成到同一屏幕顯示，可以在一定程度上緩解屏幕不斷成倍增加的壓力，降低設(shè)備器材的成本，提高對(duì)有限資源的利用率。從長遠(yuǎn)角度，視頻畫面的實(shí)時(shí)直播分享也符合現(xiàn)今直播熱潮一浪高過一浪的趨勢(shì)，多屏互動(dòng)將會(huì)提高用戶的參與度，增加更多趣味，擴(kuò)展觀眾的視覺體驗(yàn)。</p><p>　　本次實(shí)驗(yàn)結(jié)合當(dāng)下多種類型的主流服務(wù)

75、器，結(jié)合數(shù)據(jù)庫相關(guān)知識(shí)，以流媒體形式將多個(gè)攝像頭拍攝的畫面上傳到網(wǎng)頁端，實(shí)現(xiàn)多視角的實(shí)時(shí)合成與不同視角的切換。本次采用Helix Server作為流媒體服務(wù)器，可對(duì)其IP地址綁定和加載點(diǎn)的配置。通過RealProducer Plus編碼器對(duì)攝像頭傳輸過來的視頻信號(hào)進(jìn)行采集和實(shí)時(shí)錄制，并可以將視音頻以及文件形式保存到本地文件夾。由于經(jīng)過RealProducer Plus轉(zhuǎn)碼，視音頻信號(hào)在播放時(shí)會(huì)有一定的延時(shí)，經(jīng)測(cè)試大約在5秒。視音頻文件由

76、MyWebServer發(fā)布到網(wǎng)頁端，通過嵌入在瀏覽器中的RealPlayer播放器播放，用戶可在瀏覽器中觀看到合成畫面以及不同視角間的切換，并且可實(shí)現(xiàn)暫停、播放等操作。</p><p>　　本次最終能完成較為完整的實(shí)驗(yàn)效果，離不開前期不斷地對(duì)本地視頻文件的合成試驗(yàn)。本地預(yù)先錄制好的文件操作更加簡單，而且視頻不需要經(jīng)過RealProducer Plus轉(zhuǎn)碼，不存在延時(shí)問題，播放質(zhì)量更加穩(wěn)定，為后續(xù)工作打下基礎(chǔ)。每次

77、成功一步之后，再往下開展后面的內(nèi)容，注意替換成攝像頭拍攝的畫面。遇到問題，查閱了大量的相關(guān)文獻(xiàn)資料，不斷嘗試前人提出的一些解決辦法。</p><p>　　通過本次對(duì)多視角實(shí)時(shí)合成的研究與實(shí)現(xiàn)，我對(duì)數(shù)字視頻處理技術(shù)以及流媒體技術(shù)有了更深刻的認(rèn)識(shí)，也掌握了與多視角實(shí)時(shí)合成相關(guān)的知識(shí)模塊，甚至在查閱有關(guān)資料時(shí)擴(kuò)展了我對(duì)視覺圖像處理的理解，驚訝于AR、VR技術(shù)的發(fā)展。這次畢業(yè)作品設(shè)計(jì)也是對(duì)大學(xué)四年所學(xué)知識(shí)的一個(gè)匯總，既涉

78、及到了數(shù)據(jù)庫相關(guān)知識(shí)，也鍛煉了自己對(duì)程序代碼的掌控能力。除此之外，對(duì)畢業(yè)作品開展也有較為清晰的規(guī)劃，從局部功能的實(shí)現(xiàn)到最終設(shè)計(jì)，也常常會(huì)陷入困境，出現(xiàn)不確定是否能實(shí)現(xiàn)這個(gè)功能時(shí)想要放棄或者更改選題的想法。通過這次畢業(yè)設(shè)計(jì)，讓我社科感受到不同課程內(nèi)容之間緊密相關(guān)，只有平時(shí)不斷積累，對(duì)所學(xué)知識(shí)融會(huì)貫通，才可以在束手無措時(shí)打破瓶頸。</p><p><b>　　5.2 展望</b></p&g

79、t;<p>　　由于時(shí)間和水平有限，本論文的研究和工作難免存在不足之處，因而對(duì)今后有待重點(diǎn)研究和改進(jìn)的地方所作的幾個(gè)設(shè)想：</p><p>　?。?）將多視角實(shí)時(shí)合成移植到手機(jī)端：由于Android手機(jī)瀏覽器不支持RealPlayer播放器，無法實(shí)現(xiàn)通過瀏覽器嵌入播放器播放實(shí)時(shí)畫面。而手機(jī)上的一些播放軟件都RTSP協(xié)議支持不是特別理想，也有一部分可能手機(jī)對(duì)視頻的解碼能力相對(duì)于電腦弱很多，導(dǎo)致對(duì)于本地

80、文件播放很勉強(qiáng)，對(duì)于攝像頭拍攝畫面根本無法播放。后面的研究可以深入學(xué)習(xí)去解決在手機(jī)端播放問題。</p><p>　?。?）降低延時(shí)時(shí)間：本次實(shí)驗(yàn)經(jīng)過測(cè)試，播放畫面和真實(shí)事件發(fā)生之間的時(shí)間間隔平均相差約為5秒，這個(gè)時(shí)間間隔相對(duì)來說還是有一點(diǎn)久，尤其是對(duì)于監(jiān)控行業(yè)來說，這個(gè)時(shí)間給予了一些犯罪分子躲過監(jiān)控的可趁之機(jī)。因此需要盡可能縮短延時(shí)時(shí)間，改進(jìn)編解碼方式，提高轉(zhuǎn)碼效率。</p><p>　　

81、（3）進(jìn)一步實(shí)現(xiàn)視頻拼接：本次畢業(yè)設(shè)計(jì)只實(shí)現(xiàn)了不同視角的合成，只是對(duì)畫面的整合，還沒有達(dá)到對(duì)畫面的無縫拼接。這樣四個(gè)畫面的關(guān)聯(lián)性不過緊密，在觀看每個(gè)畫面時(shí)需要用戶自己在腦中模擬拼接過程，如果可以實(shí)現(xiàn)全景拼接就可以以一個(gè)更廣的視角實(shí)時(shí)獲取更多信息，減少用戶思考，提升用戶體驗(yàn)。</p><p>　?。?）根據(jù)帶寬自動(dòng)適應(yīng)畫質(zhì)：由于帶寬限制，畫面在傳輸時(shí)容易出現(xiàn)卡頓，或者需要較長的加載時(shí)間，可以通過SMIL來在代碼中設(shè)

82、置，根據(jù)不同帶寬選擇播放不同文件。降低畫質(zhì)以解決播放卡頓等問題，以播放流暢為首要目的，其次盡可能提高畫質(zhì)。</p><p><b>　　致謝</b></p><p>　　大學(xué)四年，匆匆而過，曾經(jīng)笑過哭過奮斗過的日子都轉(zhuǎn)瞬即逝，之鞥成為今后人生中不是回憶起的青春往事。臨近畢業(yè)，才驚覺沒有再好好看一眼這個(gè)呆了四年的地方，頓生依依不舍之情。在這學(xué)習(xí)生活的四年，見證了我逐漸走

83、向成熟，學(xué)著長大，學(xué)著去承擔(dān)責(zé)任，學(xué)會(huì)為人處世，不再像個(gè)孩子一樣任性胡鬧。</p><p>　　這次畢業(yè)論文設(shè)計(jì)，我得到了很多老師和同學(xué)的幫助，不僅是學(xué)業(yè)上的指點(diǎn)，更多的是對(duì)未來對(duì)人生的點(diǎn)撥。首先要感謝我的導(dǎo)師老師，李老師對(duì)于教學(xué)認(rèn)真的程度一直是讓我極為敬佩和敬重的原因之一。李老師在平時(shí)上課時(shí)一直都會(huì)花費(fèi)大量的時(shí)間去備課，尤其是一些課程相關(guān)資料比較少，更是耗費(fèi)大量心血，以便在為我們上課時(shí)課件通俗易懂。當(dāng)我們遇到任

84、何專業(yè)上的問題，李老師都會(huì)耐心解答，在解決問題之后也會(huì)告訴我們?yōu)槭裁磿?huì)遇到這樣的問題，下次如何避免。大概正是由于李老師這樣認(rèn)真的教學(xué)態(tài)度，使我對(duì)自身專業(yè)有了深度了解的興趣，端正了對(duì)學(xué)業(yè)精益求精的態(tài)度。除此之外，當(dāng)我在平時(shí)的生活中遇到挫折或者迷茫不前時(shí)，李老師也會(huì)以風(fēng)趣幽默的話語開導(dǎo)我，讓我少走彎路，認(rèn)清腳下前進(jìn)的方向，明白了很多學(xué)習(xí)之外的人生道理，在此謹(jǐn)向李老師致以最真誠的謝意。本次的畢業(yè)設(shè)計(jì)也得到了李老師悉心指導(dǎo)，從論文選題到開題答辯

85、，從作品最初一時(shí)的想法到如今基本功能全部實(shí)現(xiàn)，李老師都不吝嗇自己的時(shí)間給予我指導(dǎo)意見，尤其是在我多次嘗試失敗以后陷入沮喪，嚴(yán)重懷疑自我，李老師能及時(shí)給予寬慰，并引導(dǎo)我找到正確的方法，讓我對(duì)自己的研究內(nèi)容理解更加充分。這段時(shí)間將會(huì)成為我大學(xué)生</p><p>　　除此之外，也非常感謝同組的同學(xué)們，在我畢業(yè)設(shè)計(jì)遇到問題時(shí)，無論他們能否解決，都愿意花時(shí)間陪我一起尋找解決辦法，大家能聚到一起努力拼搏的日子讓人倍感充實(shí)。因

86、為有你們的陪伴，我沒有孤獨(dú)前行，讓我更加珍惜大學(xué)這最后的時(shí)光。另外我還想感謝我的每一位任課老師以及幫助過我的前輩們。也許很多任課老師對(duì)我早已沒有印象，但是依舊很感謝他們?cè)谡n堂上教授我學(xué)問，帶我踏入知識(shí)的殿堂，讓我不斷對(duì)廣播電視工程這個(gè)專業(yè)有了新的認(rèn)識(shí)。其中我也很感謝武術(shù)隊(duì)這個(gè)集體，教會(huì)了我堅(jiān)強(qiáng)面對(duì)這一切，拼搏之后才會(huì)有成績，更是讓我感受到了家人的溫暖。</p><p>　　最后，請(qǐng)?jiān)试S我再一次感謝這一路上給予我

87、幫助與溫暖的老師、同學(xué)還有朋友們，感謝你們?cè)谖覍W(xué)習(xí)和生活上的支持和幫助。在將來的日子里，我會(huì)做出成績以回報(bào)人生路上每一份恩情。路漫漫其修遠(yuǎn)兮，吾將上下而求索！</p><p><b>　　參考文獻(xiàn)</b></p><p>　　[1] 李毓強(qiáng). 基于H.264和流媒體的嵌入式多路網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 南京郵電大學(xué), 2009.</p><

88、;p>　　[2] 中國論文網(wǎng). 立體影像技術(shù)對(duì)當(dāng)代動(dòng)畫電影創(chuàng)作觀念的影響[EB/OL]. http://www.xzbu.com/7/view-7484913.html, 2016.</p><p>　　[3] Katrin Scheibe，Kaja J. Fietkiewicz.，Wolfgang G. Stock. Information Behavior on Social Live Streamin

89、g Services[J]. Journal of Information Science Theory and Practice, 2016</p><p>　　[4] 搜狐公眾平臺(tái). 大安防時(shí)代來臨 行業(yè)現(xiàn)狀初具規(guī)?；痆EB/OL]. http://mt.sohu.com/20160902/n467380889.shtml, 2016.</p><p>　　[5] 中國安防行業(yè)網(wǎng). 解

90、析“平安城市”建設(shè)現(xiàn)狀與發(fā)展趨勢(shì)[EB/OL]. http://www.af360.com/html/2013/07/01/201307010926455026_4.shtml, 2016.</p><p>　　[6] 楊自和. 國安防產(chǎn)業(yè)市場分析與中星電子市場營銷策略[D]. 北京大學(xué), 2011.</p><p>　　[7] C114中國通信網(wǎng). 大華四目4K全景攝像機(jī) 大場景監(jiān)控必備

91、[EB/OL]. http://www.c114.net/anfang/4314/a995318.html, 2017.</p><p>　　[8] 推酷. 全球首份AR報(bào)告第一章: AR與VR[EB/OL]. http://www.tuicool.com/articles/qEJf2aU, 2017</p><p>　　[9] videodesk. Streaming Technolo

92、gy[EB/OL]. http://www.videodesk.net/streaming.aspx</p><p>　　[10] 胡興軍. 流媒體技術(shù)及其應(yīng)用[N]. 中國信息導(dǎo)報(bào), 2016.</p><p>　　[11] 牛玉冰. 淺談VOD服務(wù)器的安裝與測(cè)試[J]. 現(xiàn)代通信, 2007.</p><p>　　[12] Eunsam Kim，Jonatha

93、n C.L. Liu．Design of HD-quality Streaming Networks for Real-time Content Distribution[J]．IEEE Transactions on Consumer Electronics, 2006：392-400．</p><p>　　[13] zhuix7788. RTSP協(xié)議（一）[EB/OL]. http://blog.csdn.n