遠(yuǎn)程富媒體的呈現(xiàn).pdf

1、在最近的幾十年中，計算模型已經(jīng)從集中式大型機(jī)計算模型轉(zhuǎn)變?yōu)榉植际降淖烂嬗嬎隳Ｐ?。但是，隨著個人計算機(jī)廣泛使用并且保有量越來越大時，用于維護(hù)這些計算機(jī)的開銷變得越來越難以控制。由于存在這樣的問題并且變得越來越難解決時，人們又開始趨向于集中和更易于管理的計算模型。遠(yuǎn)程訪問計算模型就是這種趨勢的一個具體表現(xiàn)。
　　 雖然遠(yuǎn)程訪問計算模型類似于大型機(jī)時代的集中計算模型，但是如今的用戶已經(jīng)不滿足于只使用ASCⅡ文本來表示輸入與輸出。遠(yuǎn)程訪

2、問系統(tǒng)必須有效地支持富媒體環(huán)境來滿足客戶的需求。達(dá)到這樣的目的的關(guān)鍵技術(shù)就是遠(yuǎn)程富媒體呈現(xiàn)技術(shù)使得圖形顯示能夠通過網(wǎng)絡(luò)實時地傳輸并呈現(xiàn)在客戶端并且支持與用戶的可交互功能。
　　 隨著處理器計算速度和圖形芯片處理速度的快速發(fā)展，從早期簡單的文本處理軟件到如今絢麗的3D游戲畫面和豐富的多媒體應(yīng)用，富媒體內(nèi)容越來越復(fù)雜，富媒體應(yīng)用與人的交互也越來越豐富。豐富的富媒體內(nèi)容與應(yīng)用使得其在計算資源受限或網(wǎng)絡(luò)帶寬受限條件下的實時低延時編碼、傳

3、輸與交互帶來了極大的挑戰(zhàn)。而且在目前互聯(lián)網(wǎng)上的異構(gòu)網(wǎng)絡(luò)環(huán)境下，遠(yuǎn)程富媒體呈現(xiàn)也面臨著不同網(wǎng)絡(luò)所引起的傳輸帶寬差異、傳輸延時差異和帶寬的波動等所帶來的問題。并且，客戶端設(shè)備也在計算能力、接入帶寬和顯示分辨率方面存在廣泛的異構(gòu)性。設(shè)備的異構(gòu)性也給富媒體呈現(xiàn)服務(wù)的廣泛普及帶來了挑戰(zhàn)。
　　 本文從富媒體的特點出發(fā)，針對遠(yuǎn)程富媒體呈現(xiàn)系統(tǒng)的性能要求，創(chuàng)新性地提出了一個高性能的遠(yuǎn)程富媒體呈現(xiàn)系統(tǒng)，并且提出了若干技術(shù)來進(jìn)一步提高遠(yuǎn)程富媒體的

4、呈現(xiàn)性能、減少帶寬資源/計算資源損耗、提高系統(tǒng)對異構(gòu)網(wǎng)絡(luò)和設(shè)備的自適應(yīng)性和提高用戶的交互體驗。本文具體的研究內(nèi)容主要包括：
　　 首先，我們提出了一個完整的端到端的可交互的富媒體呈現(xiàn)系統(tǒng)。該系統(tǒng)能夠支持高性能的遠(yuǎn)程屏幕呈現(xiàn)以及桌面的遠(yuǎn)程使用，即使是在具有極大顯示量的多媒體應(yīng)用中。在該系統(tǒng)中，我們?yōu)檫h(yuǎn)程顯示提出了一個對壓縮友好(Compression friendly)的系統(tǒng)結(jié)構(gòu)。在這個系統(tǒng)結(jié)構(gòu)下，我們提出了一個有效的屏幕圖像編碼

5、方案。該編碼方案自動地根據(jù)圖像塊的內(nèi)容使用合適的編碼方法來壓縮該塊。同時，我們針對不同的終端設(shè)備提出了一個自適應(yīng)的傳輸機(jī)制來減小網(wǎng)絡(luò)帶寬的消耗量而又不犧牲用戶體驗；針對不同的網(wǎng)絡(luò)環(huán)境，我們提出動態(tài)地調(diào)整發(fā)送緩沖區(qū)的方法來取得網(wǎng)絡(luò)吞吐量與數(shù)據(jù)延時之間的平衡。我們還提出了一些交互機(jī)制和網(wǎng)絡(luò)傳輸機(jī)制來提高系統(tǒng)的可交互體驗。
　　 第二，針對多客戶端連接的屏幕共享系統(tǒng)，我們提出了一個有效的屏幕圖像編碼方法。對多客戶端連接時所需要的多碼率

6、碼流編碼時，我們提出了一個一次化編碼算法(one-pass encoding)。一次化編碼算法使得遠(yuǎn)程主機(jī)端編碼生成多個碼率時只需要一次編碼過程，使得主機(jī)端的編碼復(fù)雜度極大的降低。特別是當(dāng)遠(yuǎn)程的計算資源受限時，一次化編碼算法能夠較大地提高屏幕共享系統(tǒng)的性能。基于我們提出的屏幕圖像編解碼方案，我們還為基于以數(shù)據(jù)中心為基礎(chǔ)的大規(guī)模桌面網(wǎng)絡(luò)會議提出了一個快速的屏幕圖像轉(zhuǎn)碼方案。
　　 第三，我們提出了使用GPU來加速屏幕圖像編碼的算法

7、，以加快遠(yuǎn)程主機(jī)端的編碼速度。在這個算法中，我們將屏幕圖像編碼端除熵編碼以外的所有計算模塊都轉(zhuǎn)移至GPU中以有效的利用GPU強(qiáng)大的并行計算能力。實驗結(jié)果表明，GPU加速能夠大幅度地提高遠(yuǎn)程主機(jī)端的編碼速度。
　　 第四，針對富媒體中的視頻媒體類型，根據(jù)視頻內(nèi)容的特點，我們使用視頻轉(zhuǎn)碼來達(dá)到對視頻內(nèi)容的有效傳輸并且減少網(wǎng)絡(luò)帶寬的消耗。我們提出了一個基于功率譜密度的率失真優(yōu)化(Rate-distortion optimization

8、，RDO)模型來加速視頻轉(zhuǎn)碼的過程。在這個模型中，運動補(bǔ)償?shù)念A(yù)測誤差不是由塊內(nèi)的SAD或者SSD之和計算出來而是由輸入輸出運動矢量之差和預(yù)測信號的功率譜密度計算猜測出來。該方法不僅能夠應(yīng)用于時域的視頻轉(zhuǎn)碼，包括對碼率、分辨率、幀率的轉(zhuǎn)碼，而且還適用于在頻域上的視頻轉(zhuǎn)碼。本文中，我們以H.264/AVC編碼標(biāo)準(zhǔn)為例，將所提出的率失真模型用在對P幀的時域轉(zhuǎn)碼和對B幀的頻域轉(zhuǎn)碼。由于該模型省掉了運動估計中計算量最大的SAD/SSD計算，該率失

9、真優(yōu)化模型能夠大幅度地加速視頻轉(zhuǎn)碼的過程。
　　 第五，基于我們所提的遠(yuǎn)程富媒體呈現(xiàn)技術(shù)，我們構(gòu)建了一個高性能的基于Proxy的手機(jī)網(wǎng)頁瀏覽器。該手機(jī)網(wǎng)頁瀏覽器可以提供給用戶在無線和移動網(wǎng)絡(luò)下高質(zhì)量的網(wǎng)頁顯示和豐富的交互體驗。我們的瀏覽器系統(tǒng)提供了一個完整的端到端的方案，該方案把網(wǎng)頁格式轉(zhuǎn)換成位圖和網(wǎng)頁對象的組合來解決原始網(wǎng)頁對手機(jī)設(shè)備的不兼容性。為了提高用戶的交互體驗，我們?yōu)椴煌愋偷木W(wǎng)頁對象設(shè)計了不同的交互機(jī)制。對象級的交互