家用視頻內(nèi)容分析方法研究.pdf

1、 隨著便攜式電子記錄設(shè)備的普及，越來越多的家庭用戶開始使用這些設(shè)備來記錄有意義的生活經(jīng)歷和日常生活片斷，家用視頻的數(shù)據(jù)量呈現(xiàn)出快速增長的趨勢。但是，家用視頻具有視覺和聲音質(zhì)量較差、內(nèi)容沒有經(jīng)過編輯等特點。為了實現(xiàn)對家用視頻內(nèi)容的自動、有效的組織和管理，減輕普通家庭用戶瀏覽、檢索和共享視頻內(nèi)容的負擔，視頻內(nèi)容分析已經(jīng)成為家用視頻領(lǐng)域一個重要的研究課題。對家用視頻內(nèi)容分析方法進行研究，不僅能為家庭用戶提供個性化的多媒體服務(wù)，而且有助于

2、推動視頻領(lǐng)域的語義建模、機器學(xué)習(xí)和信息檢索等相關(guān)課題的發(fā)展。由此可見，家用視頻內(nèi)容分析方法研究具有重要的理論和應(yīng)用價值。 本論文從三個不同層次研究了家用視頻內(nèi)容分析中的關(guān)鍵問題，即質(zhì)量評估、內(nèi)容理解和內(nèi)容表征，目標是實現(xiàn)一個自動理解、表征和瀏覽的家用視頻處理系統(tǒng)。由于家用視頻視覺質(zhì)量較差的特點，為實現(xiàn)對家用視頻內(nèi)容的過濾，質(zhì)量評估成為內(nèi)容分析的一個基本步驟，處于最底層。內(nèi)容理解主要解決對視頻內(nèi)容中的語義概念進行建模，處于比質(zhì)量評

3、估更高的層次。而內(nèi)容表征則是基于質(zhì)量評估和內(nèi)容理解的結(jié)果，對家用視頻內(nèi)容以最緊湊和有效的方式進行表征；作為家用視頻的一種應(yīng)用，它處于最高層。這三個層次組成了家用視頻內(nèi)容分析的一個相對完整的框架。本文對家用視頻內(nèi)容分析方法進行了深入的研究，取得了以下成果： (1)對于質(zhì)量評估問題，針對目前家用視頻領(lǐng)域缺乏專門的視覺質(zhì)量評估方法這一現(xiàn)狀，提出了一個全新的、面向家用視頻的時空質(zhì)量評估方法，并深入研究了影響整體視覺質(zhì)量的幾個關(guān)鍵時空因素

4、以及這些因素和整體視覺質(zhì)量的內(nèi)在關(guān)系。與傳統(tǒng)的基于單幀圖像的質(zhì)量評估方法不同的是，采用子鏡頭這種視頻時序結(jié)構(gòu)單元作為質(zhì)量評估的基本單位。在子鏡頭上分析了一組影響視覺質(zhì)量的時空因素，包括不穩(wěn)定性、驟動性、失真性、模糊性、亮度性和方向性，并提出三種方法將這些時空因素融合到整體視覺質(zhì)量的評估準則中，分別是基于用戶研究、基于規(guī)則和基于學(xué)習(xí)的方法。為實現(xiàn)對視頻內(nèi)容的過濾，提出了一個可擴展的、基于視覺質(zhì)量的家用視頻摘要系統(tǒng)，目的是在保證視頻摘要信息

5、性的同時，保證其視覺質(zhì)量最優(yōu)。與基于用戶注意力的視頻摘要系統(tǒng)的對比實驗表明，本文提出的基于質(zhì)量的視頻摘要系統(tǒng)對家用視頻具有更好的適用性。 (2)對于內(nèi)容理解問題，從“用戶拍攝意圖”這一全新的角度來研究家用視頻內(nèi)容分析方法，并參考心理學(xué)上的意圖產(chǎn)生機制，建立了對用戶拍攝意圖進行建模和挖掘的完整的理論和系統(tǒng)框架。首先，基于心理學(xué)上的意圖機制和廣泛的用戶研究實驗，定義了一組用戶拍攝意圖的概念，包括“靜態(tài)場景”、“動態(tài)事件”、“特寫畫面

6、”、“美麗風(fēng)景”、“轉(zhuǎn)換記錄”、“長時間記錄”和“隨意記錄，，等。提出了一個對用戶拍攝意圖進行挖掘的全面和可擴展的框架，包括視頻結(jié)構(gòu)分解、意圖相關(guān)的特征分析、基于奇異值分解的意圖單元分割和基于學(xué)習(xí)的意圖概念分類等部分。實驗在一個具有90段家用視頻序列、由16位普通家庭用戶在最近20年拍攝的視頻數(shù)據(jù)庫上進行?？陀^和主觀評價都驗證了意圖挖掘這一全新分析方法的有效性。 (3)對于內(nèi)容表征問題，提出了一個新的家用視頻內(nèi)容表征和瀏覽系統(tǒng)—

7、—視頻相冊，改變了普通家庭用戶傳統(tǒng)的利用PC機、鍵盤和鼠標的視頻瀏覽方式，支持更為自然和有效的視頻瀏覽和檢索，從而在數(shù)字家用視頻和模擬家庭相冊之間建立了一種無縫的通信方式。首先，視頻相冊通過基于優(yōu)化的方法挑選出具有代表性的縮略圖集合，并將這些縮略圖按照預(yù)定義的個性化形狀模板進行變形，然后采用基于關(guān)鍵幀或全拼圖的方式對變形后的縮略圖進行表征，并將其打印成真實的相冊形式。這樣，用戶可以像瀏覽普通家庭相冊一樣瀏覽視頻相冊。當用戶想觀看打印出來

8、的視頻相冊中特定照片對應(yīng)的視頻片斷時，可以通過手機或其他拍攝設(shè)備隨意的拍下該照片，并通過無線網(wǎng)絡(luò)將其傳送到服務(wù)器。服務(wù)器中的視頻相冊系統(tǒng)將通過自訓(xùn)練主動形狀模型算法對拍攝的照片輪廓進行精確定位和重建。最后，根據(jù)重建的照片內(nèi)容特征對相應(yīng)的視頻片斷進行檢索，并將該片斷在用戶終端進行回放。 (4)在視頻相冊系統(tǒng)中，分別對傳統(tǒng)的全拼圖和主動形狀模型算法進行了改進。提出一種新的基于運動特征的快速有效的全拼圖算法，在提高全拼圖視覺質(zhì)量的同時