模糊圖像復原算法研究實現(xiàn)-論文答辯ppt

1、模糊圖像復原算法研究實現(xiàn),報告人： 導師：專業(yè)：計算機技術,研究目的和意義,圖像復原，是通過圖像復原技術對降質的圖像進行處理，提升圖像質量。,2,目標的快速移動,相機的抖動,研究現(xiàn)狀,[利用慣性測量傳感器 Joshi et al. 2008],[利用模糊和噪聲圖像對 Yuan et al. 2007],[梯度重尾分布及核稀疏性 Fergus et al. 2006],[兩個不同方向模糊圖像

2、 Rav-Acha et al. 2007],[圖像強度和梯度L0正則化 Pan et al. 2014],3,[ 加入編碼孔徑Levin et al. 2007],濾鏡面板全尺寸展示,濾鏡參數(shù)展示,參數(shù)窗口展示,主窗口展示,商業(yè)應用,4,5,主要工作,單尺度基于距離限制的局部模糊檢測優(yōu)化算法自動控制的模糊核估計算法局部模糊RL非盲反卷積算法,局部模糊檢測：（1）提出了單尺度的利用基于距離限制上下文的局

3、部模糊檢測優(yōu)化算法；（2）首先提取圖像塊重尾分布、峰度、功率譜、線性濾波等模糊特征，然后使用貝葉斯法學習模型，計算后驗概率作為初步估計模糊響應；（3）再利用單尺度的距離限制的上下文以減小計算量，從而構造新的能量函數(shù)進行全局優(yōu)化，通過最小化能量函數(shù)得到最終的模糊響應。,模糊核估計：（1）提出了自動控制的模糊核估計算法；（2）先將圖像及初始模糊核進行多尺度縮放，從分辨率低尺度開始，交替迭代的估計核及中間潛在圖像；（3）在每一次迭代

4、結束后，根據(jù)模糊核修正情況判斷是否停止迭代。,非盲反卷積：（1）提出了局部模糊RL非盲反卷積算法；（2）首先利用模糊/非模糊響應函數(shù)及掩碼控制只有模糊區(qū)域中的像素對下一次迭代復原起效果；（3）計算相鄰兩次迭代復原圖像的差異變化程度判斷是否停止迭代；再利用模糊/非模糊二值掩碼合并模糊部分的復原結果和原圖中非模糊部分得到復原圖。,,6,退化與復原模型,退化的數(shù)學公式：,復原問題難點—反向問題，具有嚴重的病態(tài)性，高維解空間,退化與復原模

5、型,7,本文總體框架,8,局部模糊檢測—待解決問題,待解決問題：多尺度特征局部模糊檢測方法時間效率低。,局部模糊圖 初始模糊特征響應結果 多尺度局部模糊檢測結果,9,多尺度特征局部模糊檢測方法,該方法使用三種不同的特征提取窗口獲取三個不同尺度的局部模糊特征，為了提高初始模糊響應估計準確率，建立三層圖模型，對初始模糊特征進行全局優(yōu)化。構造的能量函數(shù)：,數(shù)據(jù)保真項，防止在求解能量最小化過程中過大

6、的失真,同一尺度下各像素與其領域內其他像素點模糊特征不同產生的懲罰,不同尺度間相關聯(lián)像素模糊特征不同產生的懲罰,,,,最終想要得到優(yōu)化后的局部模糊響應，就是最小化能量函數(shù)E，使關聯(lián)的像素盡可能有一致的特征響應，并保持總體特征結構。優(yōu)化E的可用環(huán)路置信傳播算法。,10,模糊檢測優(yōu)化算法——解決方案,多尺度特征局部模糊檢測方法在對初始特征進行優(yōu)化弊端在于：首先，對同一尺度內像素點只考慮4-鄰域內的信息作為其上下文，進行平滑，偶然性比較大

7、，易造成誤差；再次，需要在多尺度下重復計算局部模糊特征，需要建立的鄰接關系復雜，計算量大，時間效率低。,--在窗口范圍內選擇鄰接點。通過實驗發(fā)現(xiàn)，直接使用以像素點為中心的c*c范圍內所有點作為其鄰接點，鄰接點過多，優(yōu)化算法效率會下降，因此本文引入距離限制，利用距離像素點c步長的近鄰信息作為該點上下文，如右圖，其中灰色為處理點，黑色點為灰色點的鄰接點，即灰色點的模糊響應值需要考慮所有黑色點的信息。這樣不但可以通過尺寸的增加，使上

8、下文獲得較大的支撐域，更充分的考慮周圍的信息，減小誤差，還可以減少計算量，提高時間效率。,11,改進上文的能量函數(shù)：,模糊檢測優(yōu)化算法——結果比較,本文方法不同參數(shù)準確率-召回率曲線對比 不同方法準確率-召回率曲線對比,12,與現(xiàn)有的方法相比，當參數(shù)選擇合適時，在召回率為[0,1]范圍內本文的使用的方法都能夠獲得比較高精確度。,使用文獻[9]數(shù)據(jù)集中600張圖（其中包括296張部分運動模糊和304張散焦模

9、糊圖片，并且每張圖像都有經過人工標定模糊區(qū)域的標記圖）進行模糊檢測,模糊檢測優(yōu)化算法——結果比較,13,給出了具體的三個例子，說明本文提出的距離限制的局部模糊檢測優(yōu)化算法能獲得較明顯的優(yōu)化效果。,,,,對比文獻中方法,模糊檢測優(yōu)化算法——結果比較,14,本文選擇在單尺度下進行特征優(yōu)化，不需要多次提取特征，當參數(shù)選擇合適時時，時間效率也得到較大提升。,,,15,模糊檢測優(yōu)化算法——結論,對基于特征的局部模糊檢測算法的改進：將鄰近像素點的模

10、糊響應信息作為上下文更新像素點自身響應信息，通過增加上下文支撐域的尺寸以更充分的考慮周圍信息，使用單尺度的距離限制的上下文以減小計算量，從而構造新的能量函數(shù)進行全局優(yōu)化，通過最小化能量函數(shù)得到最終的模糊響應。 實驗結果表明該算法在檢測的優(yōu)化效果得到提升的同時提升了時間效率，提高了算法的性能。,局部模糊提取——步驟,最終二值掩碼,,,,,,,,模糊提取階段,,,,模糊區(qū)域提取的流程圖,文獻[9]的分割結果,文獻[9]的分割結

11、果,本文的分割結果,本文的分割結果,16,雖然此時的二值掩碼依然存在誤差，但其對模糊/非模糊區(qū)域的邊界處理較好，在模糊檢測有誤差的情況下，本文的方法能比較完整地提取出模糊區(qū)域。,,模糊核估計—待解決問題,待解決問題：基于圖像強度及梯度的L0正則化模糊核估計方法，當處理的圖像很大時，時間效率十分低。,模糊圖像 復原圖像 模糊核,17,18,基于圖像

12、強度及梯度的L0正則化模糊核估計方法,基于圖像強度及梯度的L0正則化模糊核估計方法，首先根據(jù)模糊核大小構建模糊核及模糊圖像多層分辨率圖像金字塔，通過L0正則化項將圖像強度和梯度及模糊核的先驗知識引入模型中，在估計潛在清晰圖像時，能將許多微小的不利于復原的結構去除，形成邊緣定位更準確的潛在清晰圖像，構造總的能量函數(shù)：,,約束噪聲的距離函數(shù)，假設公式退化復原模型中加性噪聲是符合均值為零的高斯，采用L2范數(shù)，對應高斯似然，得到的圖像和觀察到的

13、模糊圖之間的差異,,圖像先驗，通過研究文本圖像與相應的模糊圖得出的關于像素強度與梯度L0正則化項（研究表明，該先驗在自然圖像模糊核估計方面也表現(xiàn)良好，對低照度或含有飽和像素的模糊圖像同樣表現(xiàn)出良好的魯棒性）,,模糊核具有稀疏性，使用L2正則化進行約束,將總的能量函數(shù)分為兩個獨立的子問題：,交替迭代地求解潛在清晰圖像L和模糊核k，直至收斂。,基于圖像強度及梯度的L0正則化模糊核估計方法,合成模糊圖像的模糊核估計時間方面表現(xiàn)情況,19,雖然

14、上述模糊核估計的方法能夠得到比較好的結果，但當對較大的圖像處理時，時間的效率十分低，如圖可知，隨著迭代處理圖像大小的增大，耗時也在增加且增加的速度越來越快。,基于圖像強度及梯度的L0正則化模糊核估計方法,估計的核與真實模糊核的PSNR值和SSIM,中間潛在圖像與真實清晰圖像的PSNR和SSIM值,20,隨著迭代不斷進行，中間過程中估計的模糊核和中間潛在圖像越來越接近真實的模糊核和清晰圖像；且在同一個尺度中，隨著迭代的進行，模糊核所得到的

15、修正或改善越來越?。浑S著當前處理圖像尺度不斷接近原始圖像尺度，模糊核所得到的修正或改善也越來越小。,21,L0正則化模糊核估計方法——解決方案,改進：,模糊核及潛在圖像相似度可使用SSIM指標，SSIM值越大，那么相鄰兩次迭代的結果越相似，表示估計的核修正程度越小。,22,L0正則化模糊核估計方法——結果比較,由于迭代過程的截斷使本文估計的模糊核在精度上確實有所缺失，但是其趨勢與原方法保持一致并且誤差較小。,估計的核與真實核PSNR值,

16、原方法,本文,估計的核與真實核SSIM值,L0正則化模糊核估計方法——結果比較,23,中間潛在圖像與真實清晰圖像的PSNR值,原方法,本文,中間潛在圖像與真實清晰圖像的SSIM值,同樣，由于迭代過程的截斷使本文獲得的中間潛在清晰圖像在精度上確實有所缺失，但是其趨勢與原方法保持一致并且誤差較小。,L0正則化模糊核估計方法——結果比較,24,使用文獻[21]提供的7個模糊核及9張真實圖像（其中2張為飽和圖像）來合成模糊圖像，共合成63張實驗

17、圖像作為數(shù)據(jù)集進行模糊核估計的實驗,雖然本文所提出的改進的方法會因為截斷迭代過程而造成估計精度的下降，但與現(xiàn)有的效果較好的方法相比，不管從結構相似度或是峰值信噪比看，本文的方法都能得到比較優(yōu)秀的結果。,,原方法,L0正則化模糊核估計方法——結果比較,25,給出第3個模糊核和清晰文字圖片5合成的模糊圖像使用各方法估計的復原結果比較，可以看出，本文的方法沒有造成明顯的誤差。,,原方法,L0正則化模糊核估計方法——結果比較,(a)模糊圖像,(

18、d)文獻[38]結果及模糊核,(c)SD復原圖及估計的模糊核,(b)PS復原圖及估計的模糊核,(g)本文復原結果及模糊核,(f)文獻[21]結果及模糊核,26,給出自然場景、含飽和像素及紋理復雜的模糊圖像使用各方法估計的復原結果比較，可以看出，本文的方法沒有造成明顯的誤差，且具有較強的魯棒性和較廣的適用性。,合成的模糊圖像估計模糊核時間效率對比,L0正則化模糊核估計方法——結果比較,27,對于不同的圖片，使用本文算法所帶來時間上的改善不

19、同。本文算法在時間方面對原方法較明顯的改進，尤其是當模糊圖像較大時，由于算法耗費的時間主要集中在最后幾層中，而模糊核的修正不明顯，根據(jù)本文算法符合條件停止迭代，能顯著減少算法耗費時間。,28,L0正則化模糊核估計方法——結論,改進的L0正則化模糊核估計方法，通過在迭代求解過程中加入結果相似度判斷來自動控制算法何時停止，進而將一些效率低的步驟刪除，從而提高時間效率。 實驗表明，本文的改進算法能有效地估計運動模糊核，在基本保持模

20、糊核準確率及復原效果的情況下減少迭代次數(shù)，提高時間效率，通過犧牲一部分估計效果換取了其時間效率的提高。,29,非盲反卷積——三種情況,非盲反卷積就是使用已知或已計算得到的模糊核估計出振鈴少、噪聲少、細節(jié)豐富、質量高的清晰圖像。 本文主要針對不含飽和像素、含飽和像素和局部模糊圖像這三種模糊圖像分別進行討論：(1)不含飽和像素模糊圖像——拉普拉斯先驗的非盲反卷積；,復原清晰圖像的表達式為：,,,約束噪聲的距離函數(shù)，分布采用L

21、2范數(shù)，對應高斯似然,許多研究中表明，自然場景圖像梯度分布符合重尾分布的。構造相應的正則化項，對圖像梯度進行懲罰。高斯似然和拉普拉斯先驗表達簡單并且有較強的抗噪能力和容錯能力,30,非盲反卷積——三種情況,非盲反卷積就是使用已知或已計算得到的模糊核估計出振鈴少、噪聲少、細節(jié)豐富、質量高的清晰圖像。 本文主要針對不含飽和像素、含飽和像素和局部模糊圖像這三種模糊圖像分別進行討論：(1)不含飽和像素模糊圖像——拉普拉斯先驗的非

22、盲反卷積；(2)含飽和像素模糊圖像反卷積——飽和RL反卷積算法；(3)局部模糊圖像——局部模糊RL非盲反卷積。,飽和RL反卷積,在飽和模糊圖像反卷積方面，使用正則化方法，由于飽和像素不符合上文給出的退化模型，通常會造成比較嚴重的振鈴，而飽和RL非盲反卷積算法，是迭代的方法，通過在每次迭代中利用非線性飽和響應函數(shù)自動地讓飽和像素不參與迭代即不進行更新；并利用二值掩碼將圖像分為明亮區(qū)域和非明亮區(qū)域，非明亮區(qū)域內的更新操作不允許明亮區(qū)域中

23、像素參與，從而防止誤差傳遞，最終達到減小飽和像素的影響的目的。,明亮區(qū)域S使用的迭代公式為： 非明亮區(qū)域U使用的迭代公式為：,,由U產生的二值掩碼，其作用是只允許U中的像素參與非明亮區(qū)域的更新迭代,,31,飽和響應函數(shù)：非飽和像素部分：飽和像素部分：,原始的清晰圖像與當前估計的清晰圖像的誤差比,,,,,迭代的更新比率,,32,局部模糊非盲反卷積—待解決問題,待解決問題：雖然標準RL算法在非模糊區(qū)域和模糊區(qū)域交界附近較

24、正則化方法能產生較更少的振鈴，但振鈴仍然明顯。,模糊圖 RL反卷積結果,拉普拉斯先驗正則化方法反卷積結果,32,局部模糊RL算法——解決方案,根據(jù)標準RL反卷積算法，清晰圖像迭代的表達式為：標準RL反卷積算法沒有對模糊和非模糊區(qū)域分開處理，非模糊區(qū)域的誤差容易傳入模糊區(qū)域。 本文提出局部模糊RL非盲反卷積

25、算法，將圖像分為模糊區(qū)域和非模糊區(qū)域分開處理，結合模糊/非模糊響應函數(shù)計算原始的清晰圖像與當前估計的清晰圖像的誤差比，計算迭代更新速率，根據(jù)更新速率得到新的估計圖像。,復原的迭代公式為：,,模糊/非模糊響應函數(shù)（逐點操作）：,33,局部模糊RL算法——解決方案,本文提出局部模糊RL非盲反卷積算法，將圖像分為模糊區(qū)域和非模糊區(qū)域分開處理，結合模糊/非模糊響應函數(shù)計算原始的清晰圖像與當前估計的清晰圖像的誤差比，計算迭代更新速率，根據(jù)更新速率

26、得到新的估計圖像。,模糊區(qū)域BL使用的迭代公式為： 非模糊區(qū)域CL使用的迭代公式為：,34,,β是由BL產生的二值掩碼，其作用是只允許BL中的像素參與更新迭代,,原始的清晰圖像與當前估計的清晰圖像的誤差比,,,,,迭代的更新比率,拉普拉斯先驗的非盲反卷積——結果比較,各種反卷積結果PSNR平均值,各種反卷積結果SSIM平均值,35,使用文獻[21]提供的7個模糊核及7張不含飽和像素的圖像來合成模糊圖像，共合成49張實驗圖像

27、作為數(shù)據(jù)集進行非盲反卷積的實驗，并使用同一的由本文提出的模糊核估計方法得到的模糊核,拉普拉斯先驗的非盲反卷積算法不管從峰值信噪比和結構相似度指標看，總體上都有良好的表現(xiàn)。,拉普拉斯先驗的非盲反卷積——結果比較,(a)合成的模糊圖像及真實模糊核,(b)中間潛在圖像及本文估計模糊核,(c)標準的RL反卷積,(d)維納濾波反卷積,(e)約束最小二乘濾波反卷積,(f)拉普拉斯先驗的反卷積,36,相比起來，拉普拉斯先驗的非盲反卷積結果能復原更多細

28、節(jié)和結構，同時引入的噪聲較少。,飽和RL反卷積——結果比較,各種反卷積結果PSNR平均值,各種反卷積結果SSIM平均值,37,給出了各反卷積結果的PSNR和SSIM值，可以看出對于含飽和像素模糊像素來說，飽和RL反卷積算法從PSNR指標看，有比較明顯的優(yōu)勢。,使用文獻[21]提供的7個模糊核及2張夜間含飽和像素的圖像來合成模糊圖像，共合成14張實驗圖像作為數(shù)據(jù)集進行非盲反卷積的實驗，并使用同一的由本文提出的模糊核估計方法得到的模糊核,飽

29、和RL反卷積——結果比較,(a)合成的模糊圖像及本文估計模糊核,(b)維納濾波反卷積,(c)約束最小二乘濾波反卷積,(d)拉普拉斯先驗反卷積結果圖,(e)標準的RL反卷積,(f)飽和RL反卷積結果圖,38,維納濾波反卷積、約束最小二乘濾波反卷積以及拉普拉斯先驗反卷積算法復原的飽和圖像也存在明顯的振鈴，都不能有效地對飽和模糊圖像進行復原。而標準的RL算法飽和模糊圖像反卷積時有比較好的振鈴抑制作用。相較于標準的RL非盲反卷積算法，飽和RL非

30、盲反卷積算法所復原的圖像擁有更少的振鈴，復原質量更高。,39,局部模糊RL非盲反卷積——結果比較,(a)模糊圖像,(b)文獻[21]的復原結果,(c)使用拉普拉斯先驗反卷積的復原結果,(d)標準RL反卷積的復原結果,(e)本文局部圖像RL非盲反卷積（不控制誤差傳播）的復原結果,(f)本文局部圖像RL非盲反卷積的復原結果,綜合觀察各圖可知，本文提出的局部模糊RL非盲反卷積算法能在復原局部模糊的情況下，能盡量地減少估計的模糊/非模糊邊界處的

31、振鈴效應。,非盲反卷積——結論,在處理不含飽和像素模糊圖像時，本文采用高斯似然和拉普拉斯先驗，實驗表明，拉普拉斯先驗的非盲反卷積算法能在較短的時間內利用估計出的模糊核復原模糊圖像，時間效率高且復原質量高。 在對含飽和像素模糊圖像反卷積時，本文采用飽和RL反卷積算法，實驗表明，飽和RL非盲反卷積算法能減小飽和像素的影響，有效地抑制振鈴。 在處理局部模糊圖像時，本文提出局部模糊RL非盲反卷積算法，利用模糊檢測提取

32、獲得的二值掩碼構造模糊/非模糊響應函數(shù)，并利用該二值掩碼防止非模糊區(qū)域的誤差傳播至模糊區(qū)域，實驗表明，本文提出的局部模糊RL反卷積算法復原的局部模糊圖像振鈴程度低。,40,41,本文結論,(1)通過研究多尺度特征局部模糊檢測算法，提出單尺度的基于距離限制上下文的局部模糊檢測優(yōu)化算法。實驗表明，本文算法能有效檢測圖像的局部模糊，在檢測的優(yōu)化效果得到提升的同時提升了時間效率。在模糊檢測方面，實驗表明，在模糊檢測有誤差的情況下，本文的方法能將

33、模糊的區(qū)域大部分提取出來。 (2)改進的L0正則化模糊核估計方法，通過在迭代求解過程中加入結果相似度判斷來自動控制算法何時停止，進而將一些效率低的步驟刪除，從而提高時間效率。實驗表明，本文的改進算法能有效地估計運動模糊核，在基本保持模糊核準確率及復原效果的情況下，減少迭代次數(shù)，提高時間效率。 (3)在非盲反卷積階段，本文分別針對非飽和、飽和以及局部模糊圖像的復原進行了討論分析。在處理局部模糊圖像時，本文提出局部模糊RL非

34、盲反卷積算法，利用模糊檢測提取獲得的二值掩碼構造模糊/非模糊響應函數(shù)，并利用該二值掩碼防止非模糊區(qū)域的誤差傳播至模糊區(qū)域，實驗表明，本文提出的局部模糊RL反卷積算法復原的局部模糊圖像振鈴程度會有比較明顯的下降。,42,改進與展望,(1)在模糊檢測階段，當模糊區(qū)域紋理豐富而清晰區(qū)域較平坦時，檢測常常失靈，雖然本文中有對其進行優(yōu)化，但進一步從語義級別進行模糊檢測，提高檢測效率，將是未來的方向。(2)復雜運動模糊核大小確定，在之前的文章中