圖像與視頻的實時抽象化.pdf

1、抽象化藝術(shù)反映了人類豐富的想象力，在人類文明發(fā)展過程中占有舉足輕重的地位。如今，卡通效果已經(jīng)被廣泛應用于電影、電視、游戲、網(wǎng)絡、廣告、科普示圖以及醫(yī)學成像等諸多領域。中國擁有世界上最大的動漫產(chǎn)業(yè)消費市場以及在線聊天群體，被抽象化之后的可視信息往往能夠更加吸引人眼的注意力，是藝術(shù)家和觀看者之間信息交流的橋梁。圖像和視頻抽象化是把真實的照片或錄制好的視頻轉(zhuǎn)換成非真實感效果的重要技術(shù)，因而對這方面的研究不僅具有重要的理論意義，而且還具有現(xiàn)實的

2、應用價值。本文主要研究圖像和視頻抽象化中的若干關(guān)鍵技術(shù)，具體包括基于顏色的圖像風格遷移、基于特征流場的流線感抽象化、基于形狀簡化的抽象化、基于視覺感知的非均勻抽象化以及基于可編程圖形硬件的加速優(yōu)化算法。
　　 1.我們提出了一種實時的基于顏色的圖像風格遷移方法。首先，我們將輸入圖像從RGB顏色空間轉(zhuǎn)換到oRGB顏色空間。該oRGB顏色空間能夠充分地分離出彼此獨立的白-黑、紅-綠以及黃-藍等三個顏色通道。然后，我們利用基于統(tǒng)計分析

3、的顏色校正技術(shù)對兩個彩色通道進行遷移。同時，我們運用直方圖匹配算法對亮度通道進行遷移。我們還可以對顏色遷移后的圖像進行抽象化以增強視覺效果。最后，我們把oRGB顏色空間轉(zhuǎn)換回RGB空間得到最終的處理圖片。當將一幅目標圖像的顏色風格遷移到一段視頻時，由于目標圖像的顏色統(tǒng)計值以及亮度直方圖都是不變的，我們只需要對相關(guān)信息計算一次來減少處理時間。
　　 2.我們提出了一個實時的基于特征流場的流線感圖像和視頻抽象化框架。首先，我們將輸入

4、圖像從RGB顏色空間轉(zhuǎn)換到CIE Lab顏色空間或oRGB顏色空間并只對其中的亮度通道進行后續(xù)操作。接下來，我們用迭代雙邊濾波的方法逐漸構(gòu)造出一個光滑、連貫且特征保持的邊緣切向流場。利用這個特征流場，低對比度區(qū)域用基于流場的雙邊濾波器進行平滑操作，而高對比度區(qū)域用基于流場的高斯差分濾波器進行進一步加深。然后我們再將抽象化后的圖像用軟量子化方法使其進一步卡通化并改進其幀連續(xù)性。最后，我們將結(jié)果轉(zhuǎn)換回RGB顏色空間得到最終抽象化圖像。

5、>　　 3.我們采用一個更加準確的視覺感知模型，并提出一個實時的非均勻圖像和視頻抽象化框架。為了同時減少空間和時間的視頻噪音，我們將時間視為第三維，對視頻應用一次三維的雙邊濾波。然后我們導出一張光滑的興趣區(qū)域函數(shù)圖，該興趣區(qū)域函數(shù)圖基于一個視覺注意力模型，能很好地反應人眼的注意力。最后，我們再利用這張興趣區(qū)域函數(shù)圖來指導自動的非均勻抽象化。
　　 4.我們提出了一個實時的基于形狀簡化的圖像抽象化框架，該框架能同步地簡化圖像中的

6、形狀和顏色信息。我們迭代地對邊緣切向曲線進行雙邊濾波以得到一個光滑連貫的特征流場。該特征流場指示了輸入圖像的顯著特征方向。然后我們用受特征流場約束的平均曲率流濾波器來迭代地簡化和收縮圖像的整體形狀。最后，我們用Shock濾波器以保護重要的邊界信息。為了直觀地控制抽象化的程度，我們可以迭代地和漸進地應用上述濾波過程。由于顏色信息包括紅、綠、藍三個彩色通道，為了得到較好的顏色簡化效果，我們對該三個彩色通道獨立地進行抽象化處理。