多媒體視頻信息處理

1、第5章 多媒體視頻信息處理,視覺是人類感知外部世界的一個最重要的途徑。計算機視頻技術是把我們帶到近于真實世界的最強有力的工具。在多媒體技術中，視頻信息的獲取及處理無疑占有舉足輕重的地位。視頻處理技術在目前以至將來都是多媒體應用的一個核心技術。,主要內(nèi)容,基礎知識電視信號及其標準視頻的數(shù)字化過程基于多媒體計算機的視頻處理系統(tǒng)視頻文件的類型,視頻數(shù)據(jù),連續(xù)數(shù)據(jù)產(chǎn)生方式實時數(shù)據(jù)－采集合成數(shù)據(jù)－創(chuàng)作處理方式模擬視頻數(shù)字

2、視頻,1、基礎知識,視頻的定義人類接受的信息70%來自視覺, 其中活動圖像是信息量最豐富、直觀、生動、具體的一種承載信息的媒體。視頻（Video）就其本質(zhì)而言，實際上就是其內(nèi)容隨時間變化的一組動態(tài)圖像(25或30幀/秒)，所以視頻又叫作運動圖像或活動圖像。 從數(shù)學角度描述，視頻指隨時間變化的圖像，或稱為時變圖像。時變圖像是一種時-空亮度圖案（spatial-temporal intensity pattern），可以表示為s(x,y

3、,t)，其中(x,y)是空間變量，t是時間變量。,視頻信號的特點,內(nèi)容隨時間而變化伴隨有與畫面動作同步的聲音(伴音)圖像與視頻是兩個既有聯(lián)系又有區(qū)別的概念：靜止的圖片稱為圖像（Image），運動的圖像稱為視頻（Video）。此外，兩者的信源方式不同，圖像的輸入要靠掃描儀、數(shù)字照相機等設備；而視頻的輸入是電視接收機、攝象機、錄象機、影碟機以及可以輸出連續(xù)圖像信號的設備。,視頻的分類,模擬視頻（Analog Video）模擬視頻是一種

4、用于傳輸圖像和聲音的并且隨時間連續(xù)變化的電信號。早期視頻的記錄、存儲和傳輸都是采用模擬方式。 模擬視頻具有以下特點： 以模擬電信號的形式來記錄 依靠模擬調(diào)幅的手段在空間傳播 使用盒式磁帶錄象機將視頻作為模擬信號存放在磁帶上,,傳統(tǒng)的模擬信號處理設備,,,直接廣播衛(wèi)星（DBS）,）,,模擬視頻的不足：不適合網(wǎng)絡傳輸，在傳輸效率方面先天不足；圖像隨時間和頻道的衰減較大；不便于分類、檢索和編輯。,,數(shù)字視頻（Digital V

5、ideo-DV）視頻的數(shù)字化過程包括采樣、量化和編碼。數(shù)字視頻克服模擬視頻了的局限性，這是因為數(shù)字視頻可以大大降低視頻的傳輸和存貯費用、增加交互性（數(shù)字視頻可通過光纖等介質(zhì)高速隨機讀取）及精確再現(xiàn)真實情景的穩(wěn)定圖像。數(shù)字視頻的應用已經(jīng)非常廣泛，并帶來一個全新的應用局面。包括直接廣播衛(wèi)星（DBS）、有線電視、數(shù)字電視在內(nèi)的各種通信應用均需要采用數(shù)字視頻。近年出現(xiàn)的一些消費產(chǎn)品，如VCD和DVD，數(shù)字式便攜攝像機，都是以MPEG視頻壓

6、縮為基礎的。,數(shù)字視頻的優(yōu)點適合于網(wǎng)絡應用 在網(wǎng)絡環(huán)境中，視頻信息可以很方便地實現(xiàn)資源的共享，通過網(wǎng)絡線、光纖，數(shù)字信號可以很方便地從資源中心傳到辦公室和家中。視頻數(shù)字信號可以長距離傳輸而不會產(chǎn)生任何不良影響，而模擬信號在傳輸過程中會有信號損失。再現(xiàn)性好 模擬信號由于是連續(xù)變化的，所以不管復制時采用的精確度多高，失真總是不可避免的，經(jīng)過多次復制以后，誤差就很大。數(shù)字視頻可以不失真地進行無限次拷貝，其抗干擾能力是模擬圖像無法比擬的

7、。它不會因存儲、傳輸和復制而產(chǎn)生圖像質(zhì)量的退化，從而能夠準確地再現(xiàn)圖像。,便于計算機編輯處理模擬信號只能簡單調(diào)整亮度、對比度和顏色等，極大地限制了處理手段和應用范圍。而數(shù)字視頻信號可以傳送到計算機內(nèi)進行存儲、處理，很容易進行創(chuàng)造性地編輯與合成，并進行動態(tài)交互。數(shù)字視頻的缺陷是處理速度慢，所需的數(shù)據(jù)存儲空間大，從而使數(shù)字圖像的處理成本增高。通過對數(shù)字視頻的壓縮，這樣可以節(jié)省大量的存儲空間，光盤技術的應用也使得大量視頻信息的存儲成為可能

8、。,視頻的應用領域,廣播電視 地面、衛(wèi)星電視廣播 有線電視（CATV:Community Antenna TV ） 數(shù)字視頻廣播(Digital Video Broadcast） 交互式電視（ITV:Interactive TV ） 高清晰度電視（HDTV） 通信 可視電話（Videophone ） 視頻會議（Videoconferencing ） 視頻點播（VOD:Video On Demand ） 視頻數(shù)據(jù)庫,,

9、個人娛樂錄象節(jié)目 VCD（Video Compact Disk） DVD（Digital Versatile Disk） 電視購物 家庭攝象 視頻游戲,主要指標,寬高比垂直分辨率－細節(jié)水平分辨率－細節(jié)信號格式幀頻率－運動連續(xù)性閃爍,2 電視信號及其標準,彩色電視信號制式電視信號是視頻處理的重要信息源。電視信號的標準也稱為電視的制式。目前各國的電視制式不盡相同，不同制式之間的主要區(qū)別在于不同的刷新速度、顏色編碼系

10、統(tǒng)和傳送頻率等。目前世界上常用的電視制式有中國、歐洲使用的PAL制，美國、日本使用的NTSC制及法國等國所使用的SECAM制。,NTSC制,NTSC(National Television Standard Committe)是美國國家電視系統(tǒng)委員會在1953年制定的一種兼容的彩色電視制式，在美國、日本和其他國家廣為使用。定義了彩色電視機對所接受的電視信號的解碼方式、色彩的處理方式、屏幕的掃描頻率。NTSC制規(guī)定水平掃描線有525

11、條，以每秒30幀速率傳送。NTSC采用隔行掃描方式，每一幀畫面由兩次掃描完成，每一次掃描畫出一個場需要1/60秒,兩個場構成一幀。,PAL制,PAL(Phase Alternate Lock)是聯(lián)邦德國1962年制定的一種兼容電視制式。PAL意指“相位逐行交變”，我國和大部分西歐國家都使用這種制式。PAL制規(guī)定水平掃描625行、每秒25幀 、隔行掃描、每場需要1/50秒。,SECAM制,SECAM(SEquential Color A

12、nd Memory)稱為順序傳送彩色與存儲，是用于法國、俄羅斯及幾個東歐國家的彩色電視制式?；炯夹g及廣播方式與NTSC和PAL有很大的區(qū)別。625行，25Hz不同制式的電視機只能接收和處理其對應制式的電視信號。多制式或全制式的電視機，為處理和轉(zhuǎn)換不同制式的電視信號提供了極大的方便。全制式電視機可在各國各地區(qū)使用，而多制式電視機一般為指定范圍的國家生產(chǎn)。,三種彩色電視制式的主要技術指標,,,高清晰度電視技術,高清晰度電視的特點

13、分辨率 縱橫像素數(shù)是傳統(tǒng)的2倍。 縱橫比 W/H=16/9=1.777 觀看距離 比傳統(tǒng)距離近才能看到細節(jié) 采用國際標準的壓縮編碼算法MPEG-II 采用打包數(shù)據(jù)結構，圖像和聲音分成不同分量，數(shù)據(jù)包的大小隨意，傳輸次序隨機。 高可靠性和抗干擾性。,幾個HDTV系統(tǒng),European High Definition Multiple Analogue Components (HD-MAC): Defined in Eureka

14、 Project EU95 Cooperation of 35 European industry representatives, television, research entersSome compatibility to existing standardsJapanese Multiple Sub-Nyquist Encoding (MUSE):Not open to TV standardsVertical re

15、solution: 1125 lines, Frame rate: 60 Hz1992: 1 hour/day broadcasting using MUSE standardUSAGoal: compatibility to NTSCVertical resolution: 1050 lines, Frame rate: 59.94,電視視頻信號的掃描方式,電視攝像機的作用就是將視頻圖像轉(zhuǎn)換為電信號。任何時刻，電信號只有1個

16、值（一維）。但視頻圖像通常是二維的，將二維視頻圖像轉(zhuǎn)換為一維電信號是通過光柵掃描實現(xiàn)的。掃描方式主要有逐行掃描和隔行掃描兩種。隔行掃描行的集合稱為場。因此，一幀由兩個場組成。逐行掃描有以下優(yōu)點：圖像垂直清晰度高，空間處理效果好，有利于電視轉(zhuǎn)換和制式轉(zhuǎn)換，能改善視頻壓縮效率，等等。其缺點是：數(shù)碼率高，行掃描頻率增高，硬件難度加大。,奇數(shù)場 偶數(shù)場

17、 一幀,目前的電視系統(tǒng)大都采用隔行掃描，因為隔行掃描能節(jié)省頻帶，且硬件實現(xiàn)簡單。但逐行掃描能獲得更好的圖像質(zhì)量和更高的清晰度，不過是以增加帶寬和成本為代價的。,YUV與RGB彩色模型,YUV模型在PAL彩色電視制式中采用YUV模型來表示彩色圖像。其是Y表示亮度，U，V用來表示色差，是構成彩色的兩個分量。在NTSC彩色電視制式中使用YIQ模型，其中的Y表示亮度，I，Q是兩個彩色分量。YUV表示法的重要性是

18、它的亮度信號(Y)和色度信號(U、V)是相互獨立的，也就是Y信號分量構成的黑白灰度圖與用U、V信號構成的另外兩幅單色圖是相互獨立的。由于Y、U、V是獨立的，所以可以對這些單色圖分別進行編碼。采用YUV模型的優(yōu)點之一是亮度信號和色差信號是分離的，使彩色電視系統(tǒng)與黑白電視機亮度信號兼容。,PAL彩色電視制式中采用YUV模型來表示彩色圖像,RGB模型,RGB分別代表紅（Red）、綠(Green)、藍（Blue）三種基本顏色。電視機和計算機

19、顯示器使用的陰極射線管(Cathode Ray Tube，CRT)是一個有源物體。CRT使用3個電子槍分別產(chǎn)生紅、綠和藍三種波長的光(RGB三種電子束)，并以各種不同的相對強度轟擊CRT的熒光涂層屏幕以產(chǎn)生顏色。組合這三種光波以產(chǎn)生特定顏色稱為相加混色，或稱為RGB相加模型。相加混色是計算機應用中定義顏色的基本方法。,CRT顯示器采用RGB彩色模型 A-陰極 B-導電涂層 C-陽極 D-熒光屏 E-電子束

20、F-蔭罩板,YUV與RGB彩色空間變換,由于所有的顯示器都采用RGB值來驅(qū)動，這就要求在顯示每個像素之前，需要把YUV彩色分量值轉(zhuǎn)換成RGB值。這種轉(zhuǎn)換需要花費一定的計算時間，設計軟硬件視頻處理系統(tǒng)時要綜合考慮。在考慮人的視覺系統(tǒng)和陰極射線管(CRT)的非線性特性之后，RGB和YUV的對應關系可以近似地用下面的方程式表示： Y = 0.299R + 0.587G + 0.114B U = - 0.169R - 0.331G +

21、0.5B V = 0.500R - 0.419G - 0.081B,寫成矩陣的形式:,,彩色電視的信號類型,電視頻道傳送的電視信號主要包括亮度信號、色度信號、復合同步信號和伴音信號，這些信號或者可通過頻率域，或者可通過時間域相互分離出來。電視接收機能夠?qū)⑺邮盏降母哳l電視信號還原成視頻信號和低頻伴音信號，并能夠在其熒光屏上重現(xiàn)圖像，在其揚聲器上重現(xiàn)伴音。根據(jù)不同的信號源，電視接收機的輸入、輸出信號有三種類型。,高頻或射頻信號,

22、為了能夠在空中傳播電視信號，必須把視頻全電視信號調(diào)制成高頻或射頻（RF－Radio Frequency）信號，每個信號占用一個頻道，這樣才能在空中同時傳播多路電視節(jié)目而不會導致混亂。PAL制每個頻道占用8MHz的帶寬；NTSC制每個頻道的帶寬為6MHz。有線電視CATV（Cable Television）的工作方式類似，只是它通過電纜而不是通過空中傳播電視信號。電視機在接收受到某一頻道的高頻信號后，要把全電視信號從高頻信號中解調(diào)出來

23、，才能在屏幕上重現(xiàn)視頻圖像。,復合視頻信號,為便于電視信號遠距傳輸，必須把三個分量信號以及同步信號復合成一個信號，然后才進行傳輸。復合視頻信號定義為包括亮度和色度的單路模擬信號，也即從全電視信號中分離出伴音后的視頻信號，這時的色度信號是間插在亮度信號的高端，在信號重放時很難恢復完全一致的色彩。這種信號一般可通過電纜輸入或輸出到家用錄像機上，其信號帶寬較窄，一般只有240線左右的水平分解率。早期的電視機都只有天線輸入端口，較新型的電視

24、機才備有復合視頻輸入和輸出端（Video In，Video Out），也即可以直接輸入和輸出解調(diào)后的視頻信號。視頻信號已不包含高頻分量，處理起來相對簡單一些，因此計算機的視頻卡一般都采用復合視頻輸入端口獲取視頻信號。由于視頻信號中已不包含伴音，故一般與視頻輸入、輸出端口配套的還有音頻輸入、輸出端口，以便同步傳輸伴音。,分量視頻信號與S－Video,為保證視頻信號質(zhì)量，近距離時可用分量視頻信號(component video signa

25、l)傳輸, 分量信號是指每個基色分量( R,G,B 或 Y,U,V )作為獨立的電視信號傳輸。計算機輸出的VGA視頻信號，即為分量形式的視頻信號。S－Video 是一種兩分量的視頻信號，它把亮度和色度信號分成兩路獨立的模擬信號，用兩路導線分別傳輸并可以分別記錄在模擬磁帶的兩路磁軌上。這種信號不僅其亮度和色度都具有較寬的帶寬，而且由于亮度和色度分開傳輸，可以減少其互相干擾，水平分解率可達420線。與復合視頻信號相比，S－Video可以更

26、好地重現(xiàn)色彩。,兼有復合視頻接口和S-Video接口的視頻卡,復合視頻插頭,S-video電纜線及接口,3 視頻的數(shù)字化過程,要讓計算機處理視頻信息，首先要解決的是視頻數(shù)字化的問題。視頻數(shù)字化是將模擬視頻信號經(jīng)模數(shù)轉(zhuǎn)換和彩色空間變換轉(zhuǎn)為計算機可處理的數(shù)字信號。與音頻信號數(shù)字化類似，計算機也要對輸入的模擬視頻信息進行采樣與量化，并經(jīng)編碼使其變成數(shù)字化圖像。,視頻信號的采樣,對視頻采樣的基本要求要滿足采樣定理。對于PAL制電視信號,視

27、頻帶寬為6MHz，按照CCIR601建議，亮度信號的采樣頻率為13.5MHz ，色度信號為6.75MHz。 采樣頻率必須是行頻的整數(shù)倍。這樣可以保證每行有整數(shù)個取樣點，同時要使得每行取樣點數(shù)目一樣多，便于數(shù)據(jù)處理。 要滿足兩種掃描制式。,數(shù)字視頻信號的采樣頻率和格式,現(xiàn)行的掃描制式主要有625行/50場和525行/60場兩種，它們的行頻分別為15625Hz和15734.265Hz。ITU(國際電信聯(lián)盟）建議的分量編碼標準的亮度抽樣

28、頻率為13.5兆赫，這恰好是上述兩種行頻的整數(shù)倍。按照國際現(xiàn)行電視制式，亮度信號最大帶寬是6MHz。根據(jù)奈奎斯特抽樣定理，抽樣頻率至少要大于2×6＝12MHz，因此取13.5MHz也是合適的。,數(shù)字視頻的采樣格式,根據(jù)電視信號的特征，亮度信號的帶寬是色度信號帶寬的兩倍。因此其數(shù)字化時對信號的色差分量的采樣率低于對亮度分量的采樣率。如果用Y：U：V來表示YUV三分量的采樣比例，則數(shù)字視頻的采樣格式分別有4:1:1、4:2:2和4

29、:4:4三種。電視圖像既是空間的函數(shù)，也是時間的函數(shù)，而且又是隔行掃描式，所以其采樣方式比掃描儀掃描圖像的方式要復雜得多。分量采樣時采到的是隔行樣本點，要把隔行樣本組合成逐行樣本，然后進行樣本點的量化，YUV到RGB色彩空間的轉(zhuǎn)換等等，最后才能得到數(shù)字視頻數(shù)據(jù)。,4:2:2采樣格式,模擬視頻的數(shù)字化包括不少技術問題，如電視信號具有不同的制式而且采用復合的YUV信號方式，而計算機工作在RGB空間；電視機是隔行掃描，計算機顯示器大多逐行掃

30、描；電視圖像的分辨率與顯示器的分辨率也不盡相同等等。因此，模擬視頻的數(shù)字化主要包括色彩空間的轉(zhuǎn)換、光柵掃描的轉(zhuǎn)換以及分辨率的統(tǒng)一。模擬視頻一般采用分量數(shù)字化方式，先把復合視頻信號中的亮度和色度分離，得到YUV或YIQ分量，然后用三個模／數(shù)轉(zhuǎn)換器對三個分量分別進行數(shù)字化，最后再轉(zhuǎn)換成RGB空間。,為了在PAL、NTSC和 SECAM電視制式之間確定共同的數(shù)字化參數(shù)，國家無線電咨詢委員會（CCIR）制定了廣播級質(zhì)量的數(shù)字電視編碼標準，稱為

31、CCIR 601標準(現(xiàn)在的ITU-R標準)。在該標準中，對采樣頻率、采樣結構、色彩空間轉(zhuǎn)換等都作了嚴格的規(guī)定。根據(jù)實驗，人眼對顏色的敏感程度遠不如對亮度信號那么靈敏，所以色度信號的取樣頻率可以比亮度信號的取樣頻率低，以減少數(shù)字視頻的數(shù)據(jù)量。ITU-R建議使用了4:2:2采樣結構。,,4:2:2是指色度信號取亮度信號取樣頻率的一半。當以4：2：2格式采樣時 ，每4個連續(xù)的采樣點中取4個亮度Y、2個色差U、2個色差V的樣本值，共8個樣

32、本值。,,,,,,,根據(jù)ITU推薦的采樣率，可計算出在不同的采樣格式下數(shù)字視頻的數(shù)據(jù)量: 未壓縮的數(shù)字視頻數(shù)據(jù)量十分巨大，對于目前的計算機和網(wǎng)絡存儲或傳輸都是不現(xiàn)實的，因此在多媒體中應用數(shù)字視頻的關鍵問題是數(shù)字視頻的壓縮技術。,公用中分辨率格式CIF(Common Intermediate Format),,,,量化,采樣是把模擬信號變成了時間上離散的脈沖信號，量化則是進行幅度上的離散化處理。量化后的信號電平與原模擬信號電

33、平之間在大多數(shù)情況下總是存在有一定的誤差，量化所引入的誤差是不可避免的同時也是不可逆的，由于信號的隨機性這種誤差大小也是隨機的，這種表現(xiàn)類似于隨機噪聲效果，具有相當寬度的頻譜，因此我們又把量化誤差稱為量化噪聲。但量化誤差與噪聲是有本質(zhì)的區(qū)別的。當二個原來不同的數(shù)值用同一個二進制值來表示時，實際數(shù)值與記錄數(shù)值之差就成為量化噪聲。所以，比特率決定了整個系統(tǒng)的理想狀態(tài)下的最小噪聲、動態(tài)范圍和信噪比，模擬信號在理想狀態(tài)是沒有這種限制的。,量化

34、比特率愈高，層次就分得愈細，但數(shù)據(jù)量也成倍上升。每增加一個比特，數(shù)據(jù)量就翻一翻。量化的過程是不可逆的，這是因為量化本身給信號帶來的損傷是不可彌補的。量化時比特數(shù)選取過小則不足以反映出圖像的細節(jié)，比特數(shù)選取過大則會產(chǎn)生龐大的數(shù)碼率，從而占用大量的頻帶，給傳輸帶來困難。降低量化誤差的方法最直接的就是增加量化級數(shù)減小最小量化間隔，但由此帶來碼率的增加從而要求更大的處理帶寬，一般現(xiàn)在的視頻信號均采用8比特、10比特，在信號質(zhì)量要求較高的情況

35、下采用12比特量化。,正如模擬音頻信號傳輸過程中采用不均勻量化一樣。在視頻信號的量化過程中也可以采用不均勻量化方式，即將模擬信號先進行對數(shù)變換，其目的是讓變化量大的地方變化小，讓變化量小的地方變化大，然后，再進行普通的8比特量化，經(jīng)傳輸后再恢復出來的模擬信號可以通過指數(shù)變換予以還原，此時，信號傳輸?shù)男Ч愃朴?2比特量化的效果。,視頻信號的壓縮與編碼,抽樣、量化后的信號轉(zhuǎn)換成數(shù)字符號才能進行傳輸，這一過程稱為編碼。視頻壓縮編碼的理論基礎

36、是信息論。信息壓縮就是從時間域、空間域兩方面去除冗余信息，將可推知的確定信息去掉。在通信理論中，編碼分為信源編碼和信道編碼兩大類。所謂信源編碼是指將信號源中多余的信息除去，形成一個適合傳輸?shù)男盘?。為了抑制信道噪聲對信號的干擾，往往還需要對信號進行再編碼，使接收端能夠檢測或糾正數(shù)據(jù)在信道傳輸過程引起的錯誤，這稱為信道編碼。視頻編碼技術主要包括MPEG與H.261標準，編碼技術主要分成幀內(nèi)編碼和幀間編碼。前者用于去掉圖像的空間冗余信息，

37、后者用于去除圖像的時間冗余信息。,數(shù)字視頻DV格式,數(shù)字視頻（Digital Video-DV）是定義壓縮圖像和聲音數(shù)據(jù)記錄及回放過程的標準。DV格式是一種國際通用的數(shù)字視頻標準，是由10余家公司共同制定的標準。 DV格式具有如下視頻特點： 高清晰度，水平分辨率可達500線； 寬色度帶寬，還原色彩絢麗的圖像；,當前有三種常用DV格式：miniDV、DVCPro和DVCam。miniDV 最常見，通常是家用攝像機使用的格式。

38、DVCPro和DVCam為專業(yè)格式。DV格式數(shù)字攝像機對視頻采用 4:1:1數(shù)字分量采樣標準，8比特量化，基于離散余弦變量DCT的5:1幀內(nèi)壓縮，數(shù)據(jù)傳輸率為24.948 Mbps。,4 基于多媒體計算機的視頻處理系統(tǒng),在多媒體計算機系統(tǒng)中，視頻處理一般是借助于一些相關的硬件和軟件，在計算機上對輸入的視頻信號進行接收、采集、傳輸、壓縮、存儲、編輯、顯示、回放等多種處理。視頻信號主要是指來自電視機、錄/放像機、攝像機等視頻設備的信號

39、，也可以是來自影碟機的影視節(jié)目。,數(shù)字視頻系統(tǒng)的組成,從硬件平臺的角度分析，一個視頻采集系統(tǒng)要包括視頻采集設備、視頻信號源設備、大容量存儲設備、以及配置有相應視頻處理軟件的高性能計算機系統(tǒng)。 提供模擬視頻輸出的設備有錄像機、電視機 、影碟機等；對模擬視頻信號進行采集、量化和編碼的設備由視頻采集卡來完成；計算機接收和記錄編碼后的數(shù)字視頻數(shù)據(jù)。視頻采集卡不僅提供接口以連接模擬視頻設備和計算機，而且具有把模擬信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)的功能。

40、,視頻采集卡的工作原理,視頻采集卡是一個安裝在計算機擴展槽上的一個硬卡。它可以匯集多種視頻源的信息，如電視、影碟、錄像機和攝像機的視頻信息，對被捕捉和采集到的畫面進行數(shù)字化、凍結、存儲、輸出及其他處理操作，如編輯、修整、裁剪、按比例繪制、像素顯示調(diào)整、縮放功能等。視頻采集卡一般具有多種視頻接口，可接收來自攝像機 、錄像機、VCD機等多種視頻信號，通過視頻軟件可選擇所需的視頻源。,,視頻卡的工作原理框圖,視頻采集卡的性能指標,接口 視

41、頻采集卡的接口包括視頻與PC機的接口和與模擬視頻設備的接口。目前PC 視頻采集卡通常采用32位的PCI總線接口，它插到PC機主板的擴展槽中，以實現(xiàn)采集卡與PC機的通信與數(shù)據(jù)傳輸。 視頻采集卡至少要具有一個復合視頻接口（Video In）以便與模擬視頻設備相連。高性能的采集卡一般具有一個復合視頻接口和一個S－Video接口。一般的采集卡都支持PAL和NTSC兩種電視制式。,視頻采集卡如果不具備電視天線接口和音頻輸入接口，就不能用視頻采集

42、卡直接采集電視射頻信號，同時也不能直接采集到模擬視頻中的伴音信號。要采集伴音，PC機上必需要裝有聲卡，視頻采集卡通過PC機上的聲卡獲取數(shù)字化的伴音并把伴音與采集到的數(shù)字視頻同步到一起。 一般而言, 視頻采集卡有單工卡和雙工卡兩種。單工卡只提供視頻輸入接口,雙工卡還提供輸出接口。如果只需在PC機上編輯數(shù)字化視頻,單工卡就可以了。若想把數(shù)字化編輯過后的影像拷貝到錄像帶上,就需要雙工卡。,具有多種接口的視頻采集卡與視頻源的連接,實縮壓縮功

43、能 視頻采集卡要采集模擬視頻序列中的每幀圖像，并在采集下一幀圖像之前把這些數(shù)據(jù)傳入PC系統(tǒng)。因此，實現(xiàn)實時采集的關鍵是每一幀所需的處理時間。如果每幀視頻圖像的處理時間超過相鄰兩幀之間的相隔時間，則要出現(xiàn)數(shù)據(jù)的丟失，也即丟幀現(xiàn)象。采集卡都是把獲取的視頻序列先進行壓縮處理，然后再存入硬盤，也就是說視頻序列的獲取和壓縮是在一起完成的，免除了再次進行壓縮處理的不便。不同檔次的采集卡具有不同質(zhì)量的采集壓縮性能。 大多數(shù)視頻采集卡都具

44、備硬件壓縮的功能，在采集視頻信號時首先在卡上對視頻信號進行壓縮，然后再通過接口把壓縮的視頻數(shù)據(jù)傳送到主機上。,采集分辨率及幀頻 視頻采集卡按照其用途可以分為廣播級視頻采集卡，專業(yè)級視頻采集卡，民用級視頻采集卡。廣播級視頻采集卡屬高檔設備，主要用于電視臺制作節(jié)目。最高采集分辨率一般720?576(CCIR推薦值),PAL制,每秒25幀 ；或分辨率為 640?480，NTSC制，每秒30幀。最小壓縮比一般在4:1以內(nèi)。這一類產(chǎn)品的特點是

45、采集的圖像分辨率高，視頻信噪比高，缺點是視頻文件龐大，每分鐘數(shù)據(jù)量至少為200MB。 專業(yè)級視頻采集卡比廣播級視頻采集卡的性能稍微低一些，分辨率兩者是相同的 ，但壓縮比稍微大一些，其最小壓縮比一般在6:1以內(nèi)，輸入輸出接口為AV復合端子與S端子，此類產(chǎn)品適用于廣告、多媒體節(jié)目制作及多媒體軟件開發(fā)。民用級的視頻采集卡的動態(tài)分辨率一般最大為384?288，PAL制式，幀頻為每秒25幀。,驅(qū)動和應用程序,視頻采集卡一般都配有硬件驅(qū)動程序以

46、實現(xiàn)PC機對采集卡的控制和數(shù)據(jù)通信。根據(jù)不同的采集卡所要求的操作系統(tǒng)環(huán)境，各有不同的驅(qū)動程序。采集卡只有在正確安裝了驅(qū)動程序以后才能正常工作。也可以采用通用的軟件，例如數(shù)字視頻編輯軟件Adobe Premiere。,其他功能的視頻卡,視頻輸出卡-TV Coder 經(jīng)過計算機加工處理的視頻數(shù)據(jù)以視頻文件的格式進行存儲和交流，但不能以錄像帶的形式進行傳播或者直接在電視機上收看。視頻輸出卡的功能是將計算機顯示卡輸出的VGA信號轉(zhuǎn)換為標準

47、的視頻信號，以PAL和NTSC兩種制式輸出，從而可在電視上觀看計算機顯示器上的畫面，或?qū)⑵渫ㄟ^錄像機錄制到錄像帶上 。,MPEG卡MPEG壓縮卡用于將視頻影像壓縮成MPEG的格式。它首先將模擬音視頻信號數(shù)字化，然后按MPEG標準的壓縮算法分別對數(shù)字音視頻信號進行壓縮編碼，產(chǎn)生一個碼率約為1.5Mb/s的MPEG復合音視頻碼流，最后再轉(zhuǎn)變?yōu)?mpg格式的文件儲存在硬盤上。 MPEG解壓卡是采用硬件方式將壓縮后的VCD影碟數(shù)據(jù)解壓后進行

48、回放。當計算機將CD-ROM內(nèi)的數(shù)據(jù)傳送到MPEG卡上時，通過卡上的MPEG解碼器，將已壓縮的數(shù)據(jù)進行解壓。,,MPEG編碼卡,,電視接收卡電視卡（TV TUNER)從工作原理上看相當于一臺數(shù)字式電視機。它首先將從天線接收下來的射頻信號變換成視頻信號，然后經(jīng)A/D轉(zhuǎn)換器變?yōu)閿?shù)字信號，再經(jīng)變換電路變?yōu)镽GB模擬信號，最后通過D/A轉(zhuǎn)換變?yōu)槟MRGB信號送顯示器上顯示。因為電視卡采用逐行掃描方式，加上計算機顯示點距小，分辨率高，所以整個

49、電視圖像看上去清晰穩(wěn)定，完全可以與電視機媲美。,外置式(左)與內(nèi)置式（右）電視卡,5 視頻文件的類型,AVI文件 AVI（Audio Video Interleave）是一種音頻視像交插記錄的數(shù)字視頻文件格式。1992年初微軟公司推出了AVI技術及其應用軟件VFW（Video for Windows）。在AVI文件中，運動圖像和伴音數(shù)據(jù)是以交織的方式存儲，并獨立于硬件設備, 在讀取視頻數(shù)據(jù)流時能更有效地從存儲媒介得到連續(xù)的信息。A

50、VI文件結構不僅解決了音頻和視頻的同步問題，而且具有通用和開放的特點 。它可以在任何Windows環(huán)境下工作，而且還具有擴展環(huán)境的功能。用戶可以開發(fā)自己的AVI視頻文件格式，在Windows環(huán)境下可隨時調(diào)用?？梢杂靡话愕囊曨l編輯軟件如 Adobe Premiere進行編輯和處理。,MOV文件 Apple公司在其生產(chǎn)的Macintosh機也推出了相應的視頻格式 ，即 Movie digital video 的文件格式，其文件以MOV為

51、后綴，相應的視頻應用軟件為 Apple's QuickTime for Macintosh。隨著大量原本運行在Macintosh上的多媒體軟件向PC/Windows環(huán)境的移植，導致了QuickTime視頻文件的流行。Apple公司也推出了適用于PC機的視頻應用軟件Apple's QuickTime for Windows，因此在PC機上也可以播放MOV視頻文件。,MOV格式的視頻文件可以采用不壓縮或壓縮的方式Qui

52、ckTime還采用了一種稱為 QuickTime VR的虛擬現(xiàn)實（VR，Virtual Reality）技術 ，用戶只需通過鼠標或鍵盤，就可以觀察某一地點周圍360度的景象，或者從空間任何角度觀察某一物體。,MEPG文件-MPEG/MPG/DAT格式將MPEG算法用于壓縮全運動視頻圖像，就可以生成全屏幕活動視頻標準文件：MPG文件。MPG格式文件在1024?786的分辯率下可以用每秒25幀（或30幀）的速率同步播放全運動視頻圖像和CD

53、音樂伴音，并且其文件大小僅為AVI文件的六分之一。MPEG-2壓縮技術采用可變速率（VBR-Variable Bit Rate）技術，能夠根據(jù)動態(tài)畫面的復雜程度，適時改變數(shù)據(jù)傳輸率獲得較好的編碼效果，目前使用的DVD就是采用了這種技術。MPEG的平均壓縮比為50∶1，最高可達200∶1。同時圖像和音響的質(zhì)量也非常好。MPEG標準包括MPEG視頻、MPEG音頻和MPEG系統(tǒng) (視頻、音頻同步)三個部分，MP3音頻文件就是MPEG音頻的

54、一個典型應用，而VCD、SVCD、DVD則是全面采用MPEG技術所產(chǎn)生出來的新型消費類電子產(chǎn)品。,RAM格式很多視頻數(shù)據(jù)通過Internet來進行實時傳輸，視頻文件的體積往往比較大，而現(xiàn)有的網(wǎng)絡帶寬卻往往比較“狹窄”，客觀因素限制了視頻數(shù)據(jù)的實時傳輸和實時播放，于是一種新型的流式視頻(Streaming Video)格式應運而生了。流式視頻采用一種“邊傳邊播”的方法，即先從服務器上下載一部分視頻文件，形成視頻流緩沖區(qū)后實時播放，同時

55、繼續(xù)下載，為接下來的播放做好準備。這種方法避免了用戶必須等待整個文件從Internet上全部下載完畢才能觀看的缺點。,RealNetworks公司所制定的音頻視頻壓縮規(guī)范稱為RealMedia，是目前在Internet上的跨平臺的客戶/服務器結構的多媒體應用標準，采用音頻/視頻流和同步回放技術來實現(xiàn)在Internet上流媒體技術，能夠在Internet上以28.8kb/s的傳輸速率提供立體聲和連續(xù)視頻。RealMedia包括三類文件：

56、RealAudio、RealVideo及RealFlash。RealAudio用來傳輸接近CD音質(zhì)的音頻數(shù)據(jù)，RealVideo用來傳輸連續(xù)視頻數(shù)據(jù)，而RealFlash則是RealNetworks公司與Macromedia公司新近合作推出的一種高壓縮比的動畫格式。RealMedia根據(jù)網(wǎng)絡數(shù)據(jù)傳輸速率的不同制定了不同的壓縮比率 ，現(xiàn)在大多使用其中的 14.4kb/s、28.8kb/s 以及 ISDN 56kb/s這三種不同速率下的R

57、ealMedia流格式。,ASF,ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過這種格式，以網(wǎng)絡數(shù)據(jù)包的形式傳輸，實現(xiàn)流式多媒體內(nèi)容發(fā)布。ASF最大優(yōu)點就是體積小，因此適合網(wǎng)絡傳輸，使用微軟公司的最新媒體播放器（Microsoft Windows Media Player）可以直接播放該格式的文件。用戶可以將圖形、聲音和動畫數(shù)據(jù)組合成一個ASF格式的文件，當然也可以將其他格式的視頻和音頻轉(zhuǎn)換為ASF格式。A

58、SF格式的視頻中可以帶有命令代碼，用戶指定在到達視頻或音頻的某個時間后觸發(fā)某個事件或操作。,WMV,Microsoft公司出品的視頻格式文件，希望取代QuickTime之類的技術標準以及WAV、AVI之類的文件。wmv的主要優(yōu)點包括：本地或網(wǎng)絡回放、可擴充的媒體類型、部件下載、可伸縮的媒體類型、流的優(yōu)先級化、多語言支持、環(huán)境獨立性、豐富的流間關系以及擴展性等。 WMA格式的音樂文件的突出特點是提供了比MP3音樂文件更大的壓