圖像視頻中運動估計和分析.pdf

1、隨著多媒體技術和傳感器技術的飛速發(fā)展，圖像和視頻作為記錄視覺的載體，對人們的生活、生產等產生越來越重要的影響。近十年來，在各個方面的記錄視覺信息的需求，產生了爆炸式的圖像和視頻。在這些數(shù)據中，運動信息在圖像和視頻的生成和記錄過程中都扮演著重要的角色，可以說覆蓋了圖像和視頻處理的各個領域，而在語義上也涵蓋了從低層的運動軌跡估計到高層的運動理解。具體來說，在圖像生成過程中，相機運動會帶來圖像的模糊，而使得圖像的信息熵增大，為了能夠恢復出清楚

2、的尖銳的圖像，我們往往需要精確估計相機的運動。在圖像的記錄過程中，有可能因為物體或人的快速運動造成了圖像內容的運動模糊。在記錄過程中產生的運動模糊往往比清楚圖像提供的信息更多因為其捕捉到了動態(tài)的物體疊加。視頻通?？梢钥醋魇菆D像在時序上的疊加，類似地，在視頻產生過程中，相機的運動往往會導致畫面的晃動和模糊，無論在圖像質量上和視頻可觀賞性上都有一定的影響。而在視頻內容記錄中，運動信息往往是視頻存在的理由，分析其運動往往更關注高層的語義。

3、r>　　本課題以運動為核心，對圖像和視頻中的運動估計和分析展開了深入研究，具體包括:圖像生成過程中相機運動的建模和表征，模糊圖像中的相機運動估計和圖像復原，視頻內容記錄中的運動的多層次表征學習以及運動的快速分析。本論文的主要工作和創(chuàng)新點可以總結為以下幾點:
　　1.在圖像成像過程中對相機運動的深層分析，我們提出了對運動核進行分解并獨自優(yōu)化的模型。該分解模式能夠揭示相機成像的內在特性，從而以一種全新的角度觀測經典的圖像去模糊問題。為

4、了展示該表征的優(yōu)勢，我們提出了軌跡隨機擾動算法來優(yōu)化運動核。在很多例子當中，我們發(fā)現(xiàn)現(xiàn)有的去模糊算法落人局部極值的時候，我們的算法通過獨立優(yōu)化相機軌跡能夠取得較好的去模糊效果以及正確的模糊核。
　　2.在圖像成像過程中利用高亮區(qū)域能夠較準確地刻畫相機運動這一特點，我們針對夜景這一非常具有挑戰(zhàn)性的場景結合高亮區(qū)域把該問題變得可行。我們提出了一個全新的框架有機地把從高亮區(qū)域中推斷出的運動核和非高亮區(qū)域結合求解更準確的運動核，除此之外，

5、我們提出了一個全新的函數(shù)化運動核表征從而較準確地從高亮區(qū)域推斷運動核，我們提出了一個新的能量最小化方程能夠自動地把提取的運動核分配給不同的區(qū)域以便進行非均勻去模糊。
　　3.在視頻內容記錄中，我們側重分析了視頻內容中的重要的運動信息:摔倒動作檢測，為了適應視頻流場景下實時的運動分析，即實時的摔倒檢測，我們把視頻內容中運動信息按照”難易程度”分層，通過級聯(lián)的方式進行動作檢測，不同于傳統(tǒng)的級聯(lián)框架，該級聯(lián)框架能夠支持不同復雜度的特征。

6、通過這種混合特征的級聯(lián)框架，我們的系統(tǒng)在精確度和效率上能夠達到較好的折中。除此之外，我們精細地設計了我們采用的特征，支持特征復用以及增量式更新從而能夠對視頻流場景具有較好地支持。最后，在摔倒動作檢測的基礎之上，我們進行了拓展從而能夠支持一般種類的動作檢測以及引入了更多種類的特征從而在精確度上有一個更好的提升。
　　本文針對圖像生成過程中和視頻內容記錄中的運動進行了深入的分析。大量的實驗結果表明了我們對相機運動建模的有效性以及對視頻