圖像-視頻縮放的SEAM CARVING技術(shù)改進研究.pdf

1、在圖像與視頻處理領(lǐng)域，圖像/視頻縮放非常重要。特別是，當(dāng)需要在具有不同顯示分辨率的顯示終端上顯示相同的一幅圖像時，需要進行縮放操作。圖像縮放就是指根據(jù)特定應(yīng)用的需要，對一幅圖像的分辨率進行自適應(yīng)的調(diào)整，得到的結(jié)果圖像具有不同的分辨率大小，但是具有相同的內(nèi)容。實際上，圖像縮放是一些流行的圖像編輯軟件工具的標(biāo)準(zhǔn)功能。然而，傳統(tǒng)的圖像縮放技術(shù)通過按照比例一致地縮放一幅圖像到它的目標(biāo)大小。比例縮放與剪切是兩種常見的圖像與視頻縮放技術(shù)。比例縮放對

2、于整幅圖像采用一致的采樣比例改變。它可以保留圖像中所有的可見元素，但是它寬高比改變時，它會引起嚴(yán)重的幾何失真。而且，它可能因為過多地收縮一幅圖像而導(dǎo)致觀察者看不到圖像的細(xì)節(jié)。另一方面，剪切則去除圖像邊界區(qū)域，而保留一幅圖像中的主要內(nèi)容。顯然，當(dāng)在圖像中的對角方向都有重要的目標(biāo)物體時，它不能夠很好地保護它們。近些年，內(nèi)容感知的圖像縮放得到了持續(xù)的關(guān)注。它尋求在改變圖像大?。ㄖ阜直媛剩峦┑耐瑫r，保持圖像重要內(nèi)容的完整性。線雕刻(Seam

3、 Carving)是最近幾年由Avidan和Shamir最早提出的的一種圖像操作符(operator)。它能夠很好地在圖像的不同位置刪除或者添加像素，實現(xiàn)圖像大小的改變，是迄今為止的已有圖像縮放技術(shù)中最為成功的一種。它的關(guān)鍵思想在于:根據(jù)能量函數(shù)，通過去除那些混合在周圍像素中，而不容易引起注意的像素。數(shù)字視頻也存在類似的需求，即需要被縮放，以適應(yīng)顯示在不同的終端，包括電視、計算機、蜂窩電話等。顯然，把圖像SeamCarving技術(shù)擴展到

4、視頻縮放的一種最直接的方式是把每個視頻幀視為一幅靜止圖像，并且獨立地進行縮放。
　　Seam Carving定義了一種能量函數(shù)，以反映圖像中像素的重要性。Seam是一幅圖像中具有低能量的像素所組成的從上至下，或者從左至右的連通路徑。Seam Carving可以支持多種不同類型的能量函數(shù)，例如梯度幅度、熵、視覺關(guān)注度、眼睛眨動，或者其他的定義。Seam位置的計算實質(zhì)上是從圖像的一端尋找到另一端的最有最小代價的路徑。這可以通過動態(tài)規(guī)劃

5、的方式實現(xiàn)。動態(tài)規(guī)劃通過存儲子過程的計算結(jié)果，以簡化計算更為復(fù)雜的結(jié)果。因此，在Seam的計算中，采用了動態(tài)規(guī)劃技術(shù)。通過迭代地去除或者插入Seams，可以在水平或者垂直方向縮小或者放大圖像的大小。刪除或者插入的過程是無參數(shù)的。然而，為了方便交互式的控制，也可以提供一種基于scribble的接口，通過調(diào)節(jié)圖像不同部分能量的權(quán)重，并且引導(dǎo)出最終的結(jié)果。然而，它有時候可能會失去對圖像中重要目標(biāo)的保護。也就是，它不能夠在于重要區(qū)域的保護與整體

6、概貌的保持之間進行有效的平衡，甚至可能出現(xiàn)結(jié)構(gòu)失真。
　　一種好的圖像/視頻縮放方法應(yīng)該能夠在不損害整體概貌的前提下，保護重要的內(nèi)容，以一種“智能”的方式進行。因此，本論文針對Avidan和Shamir提出的圖像SeamCarving技術(shù)進行改進。改進的方向是:一是通過引入人機交互，方便用戶使用;二是減少可能存在的失真，改善視覺質(zhì)量;三是將圖像Seam Carving擴展到視頻縮放，并且綻放過程中結(jié)合數(shù)字視頻的特點。具體地，本文的

7、主要工作與創(chuàng)新點如下:
　　第一，結(jié)合原始的Seam Carving方法與GrowCut圖像分割，提出了一種交互式的圖像Seam Carving方法。首先，輸入圖像進行GrowCut處理，在感興趣區(qū)域（對象）內(nèi)部與外部標(biāo)記輪廓線，從而自動地區(qū)選擇整個對象。然后，對進行了對象標(biāo)注后的圖像進行Seam Carving縮放。顯然，GrowCut被用于選擇需要保留或者去除的對象。原因在于:GrowCut作為一種交互式的分割算法，可以作為對

8、圖像進行交互式多標(biāo)記分割的新工具。GrowCut算法使用細(xì)胞自動機作為圖像模型，把像素標(biāo)記過程視為細(xì)菌生長過程。細(xì)菌從種子像素點開始生長，并且試圖占據(jù)整幅圖像，這就是所謂的GrowCut方法。本文之所以把GrowCut方法與Seam Carving方法相結(jié)合，就是因為它可以解決對象分割的困難，能夠?qū)θ我饩S的圖像進行多標(biāo)記的圖像分割，且允許構(gòu)造新的分割算法。通過交互，用戶可以觀察“進化”的過程，并且可以在線(online)修正分割結(jié)果。該

9、算法具有簡單、易于理解和實現(xiàn)的特點，并且由于采用了細(xì)胞自動機，便于并行實現(xiàn)。在人機交互上，本方法的用戶接口直觀，方便使用，這是因為用戶只需要在目標(biāo)的內(nèi)部和外部標(biāo)記一些輪廓點，感興趣（需要保護或者去除）的目標(biāo)對象是自動地選擇的。實驗結(jié)果說明，把Growcut與Seam Carving相結(jié)合，感興趣的區(qū)域可以通過采用新的能量函數(shù)對圖像能量函數(shù)進行更新，從而保護或者去除它們。該機制保證了檢測到的seams是優(yōu)化的?；趯ο蟮牟僮魇侵冈趫D像中保

10、護或者去除目標(biāo)對象的過程。對于對象去除，通常包括兩個步驟:選擇對象和去除對象。在第一步中，對象去除通常是通過填補對象所在區(qū)域?qū)崿F(xiàn)的，而在本文中它是通過使用GrowCut方法實現(xiàn)的。它不需要填補整個對象，而只需要簡單地選擇對象，因為GrowCut算法可以把像素標(biāo)記過程視為細(xì)菌的增長過程，從種子像素開始直至占據(jù)整個感興趣區(qū)域。本文提出的方法以保護一幅圖像中的重要對象。并且，它的選擇過程是自動的，更為高效。
　　下面對“交互式區(qū)域增長”

11、與GrowCut進行簡單比較:區(qū)域增長是一種經(jīng)典的圖像分割方法，用戶可以通過在感興趣的對象內(nèi)部選擇一些種子像素點，從而選擇整個像素區(qū)域。該方法的基本思路是從單一的種子像素開始，通過添加鄰域像素增長區(qū)域，需要滿足的條件是周圍的像素強度與區(qū)域像素的平均強度差小于某一固定的閥值。比較結(jié)果顯示，GrowCut更適合于從圖像中選擇目標(biāo)，原因在于它具有更好的交互性，允許用戶方便和直觀地進行對象修正，從而可以保證得到更為平滑的對象邊緣。在區(qū)域增長過程

12、中，它的主要問題是當(dāng)增長的區(qū)域通過弱邊緣時，可能導(dǎo)致缺損。因此，GrowCut可以滿足圖像縮放過程中用戶控制的要求，從而更好地去除或者保持對象。因此，我們采用GrowCut方法與Seam Carving結(jié)合。
　　第二，將Seam Carving方法與目標(biāo)檢測方法結(jié)合，提出了一種圖像/視頻縮放方法。該算法的基本思路是通過目標(biāo)檢測的方法，自動地得到需要保護或者去除的目標(biāo)，從而避免人機交互的過程。為了得到更為準(zhǔn)確的目標(biāo)檢測結(jié)果，本文提

13、出的方法結(jié)合了視頻鏡頭分割與高斯混合模型。
　　鏡頭檢測是一個有效的視頻摘要方法，被用來從輸入的視頻中提取一些關(guān)鍵幀。在視頻中，包括三種類型的幀:I幀，P幀和B幀。因為視頻中包含了很多冗余信息，為了實現(xiàn)快速檢索，需要通過視頻摘要減少視頻中的重復(fù)信息，而視頻摘要中從視頻源中生成的或者提取的少量顯著圖像集。視頻摘要通常可以較高效率地完成，因為它通常只利用視覺信息，并且不需要處理音頻和紋理信息。為了實現(xiàn)視頻摘要，首要的步驟是把視頻分解為

14、更小的單元，稱為鏡頭，然后，從每個鏡頭提取關(guān)鍵幀，代表緊湊的視頻摘要。高斯混合模型被用于從關(guān)鍵幀中檢測目標(biāo)。高斯混合模型可以處理多模背景，被廣泛應(yīng)用于運動目標(biāo)的檢測。為每個像素建立模型，并且每幀進行更新。它有三個參數(shù)，逐像素逐幀進行更新。與幀差法以及其他的背景減方法相比，高斯混合模型更適合于目標(biāo)檢測，因為它對于復(fù)雜的背景具有適應(yīng)性，能夠得到更準(zhǔn)確的對象輪廓。最后，圖像能量通過選擇“保護”或者“去除”按鈕，進行自適應(yīng)的調(diào)整。所有的這些步驟

15、只一個關(guān)鍵幀執(zhí)行一次，其他的關(guān)鍵幀通過對象跟蹤完成。實驗結(jié)果說明，把Seam Carving與對象檢測結(jié)合起來，可以很好地保護重要的視頻內(nèi)容，并且避免失真。此外，它可以節(jié)省視頻存儲空間的要求。該方法在從因特網(wǎng)上下載的多組視頻進行測試，包括不同類型的視頻（背景簡單的、背景復(fù)雜的、動態(tài)背景的），總共大約70000幀。對高斯混合模型與幀差法進行比較，結(jié)果顯示高斯混合模型是在圖像的每個像素上工作，而幀差法是對圖像之間進行比較。因此，幀差法相對來

16、說效率更高，但是檢測到的對象精度低。因為高斯混合模型可以實現(xiàn)更好的分割精度，它被選擇為目標(biāo)檢測的工具。使用本文提出的方法，優(yōu)勢在于:除了可以改善Seam Carving時圖像和視頻的視覺質(zhì)量外，它還減少了對于視頻存儲空間的要求。此外，結(jié)合Seam Carving與對象檢測，也可以進行交互式的圖像縮放。通過結(jié)合結(jié)合Seam Carving與對象檢測，目標(biāo)對象（感興趣區(qū)域）是通過高斯混合模型檢測的。在對象檢測后，可以很方便地通過新的能量映射

17、引導(dǎo)Seam為優(yōu)化的seam,從而選擇要保留或者去除的目標(biāo)。實驗結(jié)果說明，通過結(jié)合結(jié)合Seam Carving與對象檢測，可以很好地保持圖像內(nèi)容且避免失真，此外還可以節(jié)省圖像存儲的空間。該方法同樣在從網(wǎng)絡(luò)上下載的圖像測試集上進行測試，共包括了大約300張不同類型的圖像。我們同樣將它們分為兩種類型:簡單背景，且只有一個目標(biāo)的圖像和復(fù)雜背景，或包含多個目標(biāo)的圖像。通過比較剪切法與本文提出的方法，可以觀察到剪切法只能夠保護一個感興趣區(qū)域。如果

18、一幅圖像在相反的角落包含了兩個感興趣區(qū)域，它將失效。然而，本文的方法仍然能夠保護所有的這些區(qū)域，因為它可以通過去除低能量線而改變圖像的大小，而不需要失去任何重要的內(nèi)容。通過比較對象去除與本文的方法，對象去除是通過修復(fù)所有的對象改變圖像大小，而本文方法采用高斯混合模型進行對象檢測，檢測輸入圖像中的對象。比較第一個工作中提出的GrowCut結(jié)合Seam Carving的方法和本方法，在前面的方法里，對象檢測是通過在對象內(nèi)部和外部劃線的方法選

19、擇的，但是在本方法中對象檢測是自動完成的，無需勾劃對象的大致位置。
　　第三，同時結(jié)合Seam Carving與基于匹配區(qū)域的目標(biāo)檢測技術(shù)，提出了一種新的視頻縮放方法。該方法是基于匹配區(qū)域的，時域能量的調(diào)整允許每個關(guān)鍵幀進行，去除優(yōu)化的像素，從而實現(xiàn)空域和時域連續(xù)的縮放視頻。同樣，對象檢測也是建立在高斯混合模型的基礎(chǔ)上檢測目標(biāo)。在目標(biāo)檢測后，可以很方便地在關(guān)鍵幀中選擇對象進行保留或者去除，并且在關(guān)鍵幀之間進行基于匹配區(qū)域的跟蹤。因

20、此，時域和空域的連續(xù)性都可以得到保證。鏡頭檢測用于從輸入的視頻中提取關(guān)鍵幀。我們使用高斯混合模型方法從關(guān)鍵幀中檢測目標(biāo)對象。多種目標(biāo)檢測算法已經(jīng)在系統(tǒng)中使用，使用最廣泛的是高斯混合模型。在從關(guān)鍵幀中提取目標(biāo)后，修改圖像能量。我們使用該檢測通過選擇“保護”或者“去除”，以改變關(guān)鍵幀的能量圖。對于目標(biāo)保護，能量被設(shè)置為一個較高的值;對于目標(biāo)去除，能量被設(shè)置為一個較低的值。這樣，采用修改后的能量實現(xiàn)了對關(guān)鍵幀的Seam Carving縮放。<

21、br>　　如果當(dāng)前關(guān)鍵幀是第一幀，我們跳過能量調(diào)整部分。否則，基于前面的Seam計算匹配區(qū)域，并且通過分配受獎像素（R-區(qū)域）和受罰像素（P-區(qū)域）調(diào)整能量映射圖(EM)。實驗結(jié)果說明，該技術(shù)可以容易地去除或者保護視頻中的感興趣區(qū)域，并且存儲視頻所需的空間顯著減小。該方法在從網(wǎng)絡(luò)上下載的大量視頻上進行測試，包括多種不同類型的視頻（簡單背景、復(fù)雜背景和動態(tài)背景）大約70000幀。通過比較SeamCarving方法與本文的方法可以得到，通過

22、本文的目標(biāo)檢測，可以選擇目標(biāo)，從而控制非感興趣區(qū)域的Seam線去除或者保護視頻中的重要目標(biāo)。這是通過在關(guān)鍵幀之間進行區(qū)域匹配以及分配受獎像素（R-區(qū)域）和受罰像素（P-區(qū)域）來完成的。此外，比較文獻(xiàn)中同類的基于匹配區(qū)域的方法(Yang Bo.etc)與本文方法，也可以發(fā)現(xiàn)本方法是對關(guān)鍵幀進行處理，從而可以節(jié)省視頻縮放的時間。在視頻壓縮中，有三種類型的幀:I幀（關(guān)鍵幀），P幀和B幀。I幀是是完全指定幀，而P幀和B幀只包含部分圖像信息。但是

23、，在同類方法中，它是逐幀進行處理的。我們的方法則控制感興趣區(qū)域，并且采用區(qū)域匹配技術(shù)，我們可以控制非感興趣區(qū)域，而同類方法只能控制感興趣區(qū)域。通過對采用區(qū)域匹配和不采用區(qū)域匹配方法（第二種方法）的比較，可以得到具有區(qū)域匹配的方法除了感興趣區(qū)域外，能夠得到其余區(qū)域的更好的Seams，而第二種方法只能夠保護感興趣區(qū)域。仿真與實驗結(jié)果說明，前面所提到的四種方法都可以方便地去除或者保護圖像與視頻之中的感興趣區(qū)域，最后一種方法還能夠?qū)Ψ歉信d趣區(qū)域

24、進行處理。在進一步的研究中，我們將持續(xù)在圖像與視頻編碼領(lǐng)域展開，特別是利用提出的感興趣區(qū)域檢測方法，發(fā)展和改善文獻(xiàn)video condensation的結(jié)果。基本的思路是采用SeamCarving將圖像分解為兩個部分:關(guān)鍵/基礎(chǔ)圖像和Seams序列。這兩部分單獨進行了編碼，并且合成為一個漸進(progressive)碼流。根據(jù)顯示設(shè)備的分辨率，只傳輸和解碼必要的關(guān)鍵圖像和Seams序列。有兩種基本的思路:一是在編碼階段采用目標(biāo)對象檢測技

25、術(shù)，二是使用本文提出的方法得到的需要大小的圖像，并且在編碼過程中作為輸入圖像或者關(guān)鍵幀。該方法拓展了文獻(xiàn)video condensation的方法，對于視頻同樣適用。輸入圖像或者關(guān)鍵幀被劃分為兩部分，也就是關(guān)鍵圖像和附加的seams。關(guān)鍵圖像涵蓋了感興趣區(qū)域(ROI)，它是通過對象選擇得到的，且不希望在圖像縮放的過程中被修改。其余的Seams則方便在特定分辨率的范圍內(nèi)任意的縮放。在編碼端，采用SPIHT方法編碼關(guān)鍵圖像，它是一種基于小波

26、變換的高性能漸進式圖像編碼器。邊信息(附加的Seams)包括Seams的位置和顏色，對它們進行編碼。在解碼端，取決于希望的重建圖像的大小，所需要的Seams被解碼并且添加到關(guān)鍵圖像中。
　　通過這種方式，可以只編碼關(guān)鍵圖像中的感興趣區(qū)域和相對次重要的邊信息。邊信息的編碼則包含在每條Seam的起始部分，用一位指示它是一條列或者行Seam。接著是 Seam的每個像素的信息，包括它的位置與顏色。需要指出的是，在解碼階段添加Seams的順