深度視頻預(yù)處理方法的設(shè)計(jì)和實(shí)現(xiàn)【開(kāi)題報(bào)告】

1、畢業(yè)設(shè)計(jì)開(kāi)題報(bào)告畢業(yè)設(shè)計(jì)開(kāi)題報(bào)告電子信息科學(xué)與技術(shù)電子信息科學(xué)與技術(shù)深度視頻預(yù)處理方法的設(shè)計(jì)和實(shí)現(xiàn)深度視頻預(yù)處理方法的設(shè)計(jì)和實(shí)現(xiàn)一、選題的背景與意義一、選題的背景與意義隨著寬帶網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和多媒體技術(shù)的不斷進(jìn)步，人們對(duì)多媒體應(yīng)用的期盼也越來(lái)越高，傳統(tǒng)的二維視頻已無(wú)法滿(mǎn)足人們?nèi)找嬖鲩L(zhǎng)的觀看需求。自由視點(diǎn)視頻(FVVFreeViewpointVideo)系統(tǒng)是當(dāng)前先進(jìn)視覺(jué)媒體模式。FVV系統(tǒng)能讓人們通過(guò)自由選擇視點(diǎn)欣賞場(chǎng)景體驗(yàn)到身臨其

2、境的感覺(jué)。因而，這種媒體模式在教育培訓(xùn)、娛樂(lè)、交通、銀行、醫(yī)療和文化遺產(chǎn)保護(hù)等領(lǐng)域具有非常廣闊的應(yīng)用前景和巨大的市場(chǎng)價(jià)值。通常情況下，一個(gè)自由視點(diǎn)視頻系統(tǒng)從邏輯結(jié)構(gòu)上分為服務(wù)器端和用戶(hù)端兩個(gè)部分。在服務(wù)器端，利用多個(gè)相機(jī)對(duì)同一場(chǎng)景進(jìn)行采集而得到多路視頻信號(hào)，并且完成多視點(diǎn)視頻的壓縮編碼。多視點(diǎn)視頻編碼（MultiviewVideocodingMVC）是新一代多媒體的技術(shù)核心之一，也是現(xiàn)階段多媒體領(lǐng)域的研究熱點(diǎn)之一。壓縮后的多視點(diǎn)視頻碼流

3、通過(guò)網(wǎng)絡(luò)傳送到用戶(hù)端用于自由視頻的顯示。目前，兩大國(guó)際標(biāo)準(zhǔn)化組織ISO的MPEG和ITU的VCEG組成的聯(lián)合視頻專(zhuān)家組(JVTJointVideoTeam)制定的FVV標(biāo)準(zhǔn)草案里采用多視點(diǎn)彩色視頻和深度視頻(MVDMultiviewVideoplusDepth)來(lái)表示3D場(chǎng)景和實(shí)現(xiàn)FVV系統(tǒng)?；贛VD的FVV系統(tǒng)可以采用基于深度的繪制技術(shù)把有限個(gè)實(shí)際視點(diǎn)視頻擴(kuò)展到無(wú)限個(gè)虛擬視點(diǎn)，實(shí)現(xiàn)視點(diǎn)間的平滑過(guò)渡。在基于MVD的FVV系統(tǒng)中，由于深

4、度多視點(diǎn)數(shù)據(jù)的數(shù)據(jù)量和相機(jī)的數(shù)量正比。與單通道視頻信號(hào)相比，MVD有著非常大的數(shù)據(jù)量。因而，多視點(diǎn)視頻的壓縮編碼是一項(xiàng)關(guān)鍵技術(shù)，直接影響到FVV信號(hào)能否進(jìn)入到實(shí)際應(yīng)用領(lǐng)域。在基于MVD的FVV系統(tǒng)中，深度視頻信號(hào)一般由服務(wù)器端傳送給用戶(hù)端，進(jìn)而降低用戶(hù)端的接受設(shè)備的生產(chǎn)成本。因?yàn)?，用?hù)端的設(shè)備一般不具備很強(qiáng)的計(jì)算能力，深度不適合在用戶(hù)端通過(guò)深度估計(jì)產(chǎn)生。即深度視頻需要在服務(wù)端采集得到。深度信息可以通過(guò)深度相機(jī)采集或者通過(guò)深度估計(jì)程序來(lái)獲

5、得。由于深度相機(jī)價(jià)格昂貴，目前深度視頻序列一般是通過(guò)深度估計(jì)而得到。在MVD信號(hào)中，從理論上講，深度視頻只需要普通彩色視頻的10%－20%的碼流就可以獲得較高的圖像質(zhì)量。但是，通過(guò)深度估計(jì)或者通過(guò)深度相機(jī)而得到的深度視頻在時(shí)間相關(guān)性比對(duì)應(yīng)彩色視頻差，因而不能獲得很好的壓縮性能。很難達(dá)到理論上的壓縮效果，因此深度視頻需要考慮時(shí)間上相關(guān)性的影響。本課題研究的是關(guān)于深度視頻預(yù)處理的設(shè)計(jì)與實(shí)現(xiàn)。2、研究的基本內(nèi)容研究的基本內(nèi)容擬解決的主要問(wèn)題擬

6、解決的主要問(wèn)題2.12.1研究的基本內(nèi)容研究的基本內(nèi)容能夠顯著提高編碼效率且具有網(wǎng)絡(luò)友好性可有效用于各種網(wǎng)絡(luò)和應(yīng)用環(huán)境尤其在低碼率視頻編碼方面性能比MPEG4視頻編碼標(biāo)準(zhǔn)有顯著提高。采用H.264編碼標(biāo)準(zhǔn)對(duì)處理完的深度視頻在JMVM平臺(tái)上進(jìn)行編碼實(shí)驗(yàn)，比較碼流和虛擬視點(diǎn)繪制的質(zhì)量，通過(guò)比較衡量所設(shè)計(jì)的深度平滑處理方法進(jìn)行評(píng)測(cè)。2.22.2擬解決的主要問(wèn)題擬解決的主要問(wèn)題[1]分析多視點(diǎn)深度視頻的特性；[2]對(duì)深度視頻進(jìn)行幀內(nèi)的時(shí)間平滑處

7、理的算法的研究；[3]研究深度視頻預(yù)處理的算法；三、研究的方法與技術(shù)路線三、研究的方法與技術(shù)路線3.13.1深度視頻在時(shí)間軸上進(jìn)行平滑處理深度視頻在時(shí)間軸上進(jìn)行平滑處理圖像平滑的目的是為了消除噪聲，主要處理方式有鄰域平均法即通過(guò)提高信噪比，取得較好的平滑效果；空間域低通濾波采用低通濾波的方法去除噪聲；以及頻域低通濾波法通過(guò)除去其高頻分量就能去掉噪聲，從而使圖像得到平滑。3.1.13.1.1空間域平滑處理空間域平滑處理（一）鄰域平均法鄰域

8、平均法是簡(jiǎn)單的空域處理方法。這種方法的基本思想是用幾個(gè)像素灰度的平均值來(lái)代替每個(gè)像素的灰度。鄰域平均法的空域思想使得算法的思想簡(jiǎn)單、清晰；處理結(jié)果表明，鄰域平均算法對(duì)抑制噪聲是有效的。但是，隨著鄰域的增大，圖像的模糊程度也愈加嚴(yán)重。為克服這一缺點(diǎn)，可以采用閾值法減少由于鄰域平均所產(chǎn)生的模糊效應(yīng)。（二）低通濾波法這種方法是一種頻域處理法。在分析圖像信號(hào)的頻率特性時(shí)，一幅圖像的邊緣、跳躍部分以及顆粒噪聲代表圖像信號(hào)的高頻分量，而大面積的背景

9、區(qū)則代表圖像信號(hào)的低頻分量。用濾波的方法濾除其高頻部分就能去掉噪聲，使圖像得到平滑。（三）多圖像平均法如果一幅圖像包含有加性噪聲，這些噪聲對(duì)于每個(gè)坐標(biāo)點(diǎn)是不相關(guān)的，并且其平均值為零，在這種情況下就可能采用多圖像平均法來(lái)達(dá)到去掉噪聲的目的。多圖像平均法是把一系列有噪聲的圖像迭加起來(lái)，然后再取平均值以達(dá)到平滑的目的。以上這些方法在不同程度上增強(qiáng)了去噪效果，但也帶來(lái)了運(yùn)算復(fù)雜、適用面窄等缺點(diǎn)。因而我們?cè)谶x擇消除噪聲方法時(shí)，必須綜合考慮各種因素

10、，選擇最適合的平滑方法。3.1.23.1.2對(duì)深度視頻進(jìn)行幀內(nèi)的時(shí)間平滑處理的算法的研究對(duì)深度視頻進(jìn)行幀內(nèi)的時(shí)間平滑處理的算法的研究深度視頻在在時(shí)間軸上內(nèi)容和對(duì)應(yīng)彩色視頻相比，具有更多的不一致性。這種特點(diǎn)直接導(dǎo)致了深度視頻序列在時(shí)間方向比對(duì)應(yīng)的彩色視頻的相關(guān)性弱。深度視頻在時(shí)間上的較弱相關(guān)性，通過(guò)采用時(shí)間平滑算法，來(lái)增強(qiáng)深度視頻序列在時(shí)間上的一致性，并且保留深度視頻序列中的運(yùn)動(dòng)部分。3.1.33.1.3深度視頻預(yù)處理的算法總流程深度視頻