2D-3D視頻轉(zhuǎn)換中關(guān)鍵幀選取方法的研究.pdf

1、立體電影和電視節(jié)目受到越來越多的觀眾的喜愛。但是，目前3D片源稀少，主要由三種制作方式得到:實(shí)拍立體、三維圖形立體和2D轉(zhuǎn)3D。2D轉(zhuǎn)3D因其較低的制作成本和較好的3D效果受到越來越多的關(guān)注。
　　2D轉(zhuǎn)3D按照人工參與程度可分為人工轉(zhuǎn)換、半自動(dòng)轉(zhuǎn)換和自動(dòng)轉(zhuǎn)換。人工轉(zhuǎn)換的立體效果最好，但是資金和人力需求較高;半自動(dòng)轉(zhuǎn)換需要人工為選擇出來的關(guān)鍵幀分配深度圖，耗費(fèi)較多的人力和時(shí)間;自動(dòng)轉(zhuǎn)換自動(dòng)估計(jì)視頻幀深度圖，不需人工參與，3D視頻立

2、體效果較差。
　　在半自動(dòng)2D-3D視頻轉(zhuǎn)換中，由關(guān)鍵幀的深度利用深度傳播算法得到非關(guān)鍵幀的深度圖，進(jìn)行虛擬視點(diǎn)繪制后得到3D視頻。關(guān)鍵幀的質(zhì)量影響著深度圖的質(zhì)量和3D視頻的立體效果。國內(nèi)外對于此領(lǐng)域的關(guān)鍵幀選擇研究較少，目前主要是利用固定間隔選取關(guān)鍵幀。
　　為減小深度傳播過程中的誤差，提高3D視頻的質(zhì)量，本文提出了一種基于遮擋區(qū)域的關(guān)鍵幀選取方法。遮擋產(chǎn)生的空洞影響著深度傳播的質(zhì)量，較小的遮擋區(qū)域更利于深度的分配和傳播，

3、因此首先進(jìn)行遮擋區(qū)域的檢測。為避免關(guān)鍵幀冗余和較大的深度傳播誤差，根據(jù)遮擋設(shè)定閾值，利用特征匹配比率選取候選關(guān)鍵幀。最后，為了使3D視頻與真實(shí)場景的差異盡可能小，利用最小重投影誤差選取關(guān)鍵幀。
　　為關(guān)鍵幀分配深度需要較多的人工參與，耗費(fèi)大量時(shí)間。我們將深度是否便于自動(dòng)估計(jì)作為選取關(guān)鍵幀的標(biāo)準(zhǔn)，提出了一種基于深度估計(jì)的關(guān)鍵幀選取方法。選取出候選關(guān)鍵幀后，利用前、背景的顏色區(qū)別，以及前景物體的面積依次更新候選關(guān)鍵幀。最后，根據(jù)邊緣點(diǎn)

4、選擇關(guān)鍵幀。結(jié)合深度估計(jì)選擇關(guān)鍵幀之后，半自動(dòng)2D-3D視頻轉(zhuǎn)換變?yōu)橐环N自動(dòng)2D-3D視頻轉(zhuǎn)換，節(jié)省了大量人力和時(shí)間。
　　最后，結(jié)合我們在視覺關(guān)注方面所做的研究，提出了一種基于視覺關(guān)注的關(guān)鍵幀選取方法，將觀眾的注視習(xí)慣作為選取關(guān)鍵幀的標(biāo)準(zhǔn)，選取某一時(shí)間段內(nèi)觀眾注意力集中的視頻幀作為關(guān)鍵幀，力求達(dá)到更好的主觀效果。首先，分別構(gòu)建視頻的時(shí)域和空域關(guān)注模型。然后，按照時(shí)域優(yōu)先的原則融合得到時(shí)空域混合關(guān)注模型。計(jì)算得到受關(guān)注區(qū)域，根據(jù)受