圖像超分辨率綜述及應用

1、圖像超分辨率圖像超分辨率ImageImageSuperSuperResolutionResolution概述概述圖像超分辨率是指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像。圖像超分辨率技術分為超分辨率復原和超分辨率重建。目前，圖像超分辨率研究可分為3個主要范疇：基于插值、基于重建和基于學習的方法超分辨率超分辨率(SuperResolution)(SuperResolution)即通過硬件或軟件的方法提高原有圖像的分辨率，通過一系列低

2、分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬用時間帶寬(獲取同一場景的多幀圖像序列獲取同一場景的多幀圖像序列)換取空間分辨率換取空間分辨率實現(xiàn)時間實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。分辨率向空間分辨率的轉(zhuǎn)換。超分辨率圖像重建綜述超分辨率圖像重建綜述超分辨率圖像重建超分辨率圖像重建(SuperResolution(SuperResolutionImageImageReconstruction

3、)Reconstruction)在大量的電子圖像應用領域，人們經(jīng)常期望得到高分辨率（簡稱HR）圖像。高分辨率高分辨率意味著圖像中的像素密度高，能夠提供更多的細節(jié)，而這些細節(jié)在許多實際應意味著圖像中的像素密度高，能夠提供更多的細節(jié)，而這些細節(jié)在許多實際應用中不可或缺。例用中不可或缺。例如，高分辨率醫(yī)療圖像對于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就很容易從相似物中區(qū)別相似的對象；如果能夠提供高分辨的圖像，計算機視覺中的模式

4、識別的性能就會大大提高。自從上世紀七十年代以來，電荷耦合器件(CCD)、CMOS圖像傳感器已被廣泛用來捕獲數(shù)字圖像。盡管對于大多數(shù)的圖像應用來說這些傳感器是合適的，但是當前的分辨率水平和消費價格不能滿足今后的需求。例如，人們希望得到一個便宜的高分辨率數(shù)碼相機便攜式攝像機，或者期望其價格逐漸下降；科學家通常需要一個非常高的接近35毫米模擬膠片的分辨率水平，這樣在放大一個圖像的時候就不會有可見的瑕疵。因此，尋找一種增強當前分辨率水平的方法是

5、非常必須的。增加空間分辨率最直接的解決方法就是通過傳感器制造技術減少像素增加空間分辨率最直接的解決方法就是通過傳感器制造技術減少像素尺寸（例如增加每單元面積的像素數(shù)量）。然而，隨著像素尺寸的減少，光通尺寸（例如增加每單元面積的像素數(shù)量）。然而，隨著像素尺寸的減少，光通量也隨之減少，它所產(chǎn)生的散粒噪聲使得圖像質(zhì)量嚴重惡化。不受散粒噪聲的量也隨之減少，它所產(chǎn)生的散粒噪聲使得圖像質(zhì)量嚴重惡化。不受散粒噪聲的影響而減少像素的尺寸有一個極限，對于

6、影響而減少像素的尺寸有一個極限，對于0.350.35微米的微米的CMOSCMOS處理器，像素的理處理器，像素的理想極限尺寸大約是想極限尺寸大約是4040平方微米。平方微米。當前的圖像傳感器技術大多能達到這個水平。在許多高分辨率圖像的商業(yè)應用領域，高精度光學和圖像傳感器的高價格也是一個必須考慮的重要因素。因此，有必要采用一種新的方法來增加空間分辨率，從而克服傳感器和光學制造技術的限制。一種很有前途的方法就是采一種很有前途的方法就是采用信號

7、處理的方法從多個可觀察到的低分辨率（簡稱用信號處理的方法從多個可觀察到的低分辨率（簡稱LRLR）圖像得到高分辨率圖）圖像得到高分辨率圖像。像。最近這樣的一種分辨率增強技術正成為最熱的研究領域之一，在文獻中人們把它叫超分辨率（簡稱SR或者HR）圖像復原或者簡單地叫做分辨率增強。本文中我們用“超分辨率圖像復原”這個術語來指分辨率增強的信號處理方法，因為在克服低分辨率圖像系統(tǒng)固有的分辨率限制方面，“超分率”術語中的“超”字代表了一個非常好的技

8、術特性。信號處理方法最大的好處就是它的成本低，同時現(xiàn)存的低分辨率圖像系統(tǒng)仍能使用。在許多實際應用中，特別是在醫(yī)療圖像、衛(wèi)星圖像和視頻等領域，同樣場景的多幀低分辨率圖像很容易得像，而是對真實高分辨率圖像的某種估計，因而通常稱所獲得的圖像為超分辨像，而是對真實高分辨率圖像的某種估計，因而通常稱所獲得的圖像為超分辨率圖像，相應處理過程為超分辨率圖像重建率圖像，相應處理過程為超分辨率圖像重建.2、超分辨率重建技術應用(1)生物醫(yī)學成像:核磁共振

9、成像等；(2)衛(wèi)星成像：遙感、遙測、軍事偵察等；(3)視頻監(jiān)控(4)視頻格式轉(zhuǎn)換(5)視頻增強和復原：老舊電影的翻制等；(6)顯微成像、虛擬現(xiàn)實等3、降質(zhì)模型圖像的超分辨率重建是建立在圖像降質(zhì)的數(shù)學模型基礎上的建立在圖像降質(zhì)的數(shù)學模型基礎上的，降質(zhì)的數(shù)學模型反映圖像降質(zhì)的因素，才能用數(shù)學方法進行處理，重建圖像重建圖像。(1)位移—模糊模型(2)模糊—位移模型4、超分辨率涉及的兩個問題：a)圖像修復改良光照不均勻、噪聲較多的圖像，但是不改

10、變圖像大小b)b)圖像插值圖像插值改變圖像大小，對單張圖像進行差值并不屬于超分辨率重建技術改變圖像大小，對單張圖像進行差值并不屬于超分辨率重建技術5、基于重建的超分辨率技術(1)頻域方法通過在頻率域消除頻譜而改善圖像的空間分辨率?；诟道锶~變換的移位特性；(TsaiHuang)考慮光學系統(tǒng)的點擴展函數(shù)和噪聲的影響；（Tekalp）估計幀間整體平移參數(shù)的解算方法；(KaltenbackerHardie)用遞歸最小二乘對對Tsai公式中的混

11、疊矩陣進行求解。由于頻率域方法只能應用于全局平移和線性空間不變降質(zhì)模型，并且它對空間域先驗的能力不足，缺少靈活性，所以目前這類方法已經(jīng)不再是研究的熱點。(2)空域方法非均勻樣本內(nèi)插法（Nonunifminterpolation）；迭代反投影方法（IterativeBackProjectionIBP）凸影投影法（ProjectionontoConvexSetPOCS）最大后驗概率估計（MaximumaPosteriiMAP）混合MapPO