基于內(nèi)容的多層次語(yǔ)義視頻對(duì)象提取技術(shù)研究.pdf

1、近年來(lái)，隨著視頻信號(hào)的壓縮、傳輸和存儲(chǔ)等方面技術(shù)的迅速發(fā)展，引發(fā)了基于內(nèi)容的視頻分析的研究熱潮，人們對(duì)多媒體信息的需求也從簡(jiǎn)單的播放轉(zhuǎn)向了以基于內(nèi)容的訪問(wèn)、檢索和操作為特征的交互式視頻服務(wù)、娛樂(lè)視頻應(yīng)用以及各種媒體的視頻點(diǎn)播等。 由于MPEG-4和MPEG-7等標(biāo)準(zhǔn)的提出，理解和提取語(yǔ)義視頻對(duì)象成為一個(gè)視頻壓縮、檢索等領(lǐng)域中非常重要的一個(gè)研究方向。盡管利用各種區(qū)域特征進(jìn)行圖片分割的研究已經(jīng)取得了很大成效，但從眾多視頻資源中提取語(yǔ)

2、義視頻對(duì)象，建立具有健壯性的多層次的語(yǔ)義視頻樹(shù)還是一個(gè)亟待研究的課題。但由于特征和語(yǔ)義之間并不存在一一匹配的關(guān)系，傳統(tǒng)視頻內(nèi)容分析方法帶來(lái)了語(yǔ)義鴻溝問(wèn)題。 如何利用現(xiàn)有的視頻分割提取及內(nèi)容分析技術(shù)，建立合理有效且更加具有一般性的語(yǔ)義視頻信息描述模型，提出基于具體模型和內(nèi)容的多層次語(yǔ)義視頻對(duì)象提取算法是本文的主要工作。本文的主要思路是:首先在前期的研究基礎(chǔ)上，對(duì)語(yǔ)義視頻信息描述模型進(jìn)行研究和探討，提出一種基于內(nèi)容的多層次語(yǔ)義視頻對(duì)

3、象描述模型，進(jìn)而基于該語(yǔ)義視頻對(duì)象提取結(jié)構(gòu)框圖設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)足球視頻對(duì)象提取算法。主要工作包括如下幾個(gè)方面： 在語(yǔ)義視頻對(duì)象描述與分析方面，本文在分析了基于結(jié)構(gòu)建模和基于內(nèi)容建模的傳統(tǒng)語(yǔ)義視頻對(duì)象描述模型及改進(jìn)的視頻語(yǔ)義信息層次化描述模型基礎(chǔ)上，提出了一種適用于足球視頻信息檢測(cè)的多層次語(yǔ)義視頻對(duì)象描述模型。 在語(yǔ)義視頻對(duì)象提取方面，本文在提出的描述模型的基礎(chǔ)上進(jìn)一步提出了一個(gè)基于內(nèi)容的多層次語(yǔ)義視頻對(duì)象提取結(jié)構(gòu)框圖，并

4、設(shè)計(jì)了基于多層次語(yǔ)義視頻對(duì)象提取算法。算法具體如下：首先進(jìn)行鏡頭邊緣檢測(cè)，利用光流法在一段連續(xù)的視頻序列中提取關(guān)鍵幀。然后用高斯馬爾可夫模型對(duì)其進(jìn)行顏色和紋理的混合特征進(jìn)行圖像分割。用Normalize-cut準(zhǔn)則，對(duì)其運(yùn)動(dòng)信息進(jìn)行分析，分離背景，最后進(jìn)行區(qū)域聚合，即得到具有語(yǔ)義的視頻對(duì)象。本算法對(duì)于背景運(yùn)動(dòng)信息較豐富的序列圖像取得良好的提取效果。 最后，論文還研究和預(yù)測(cè)了該技術(shù)在視頻會(huì)議、視頻對(duì)象監(jiān)控的應(yīng)用前景，并結(jié)合國(guó)家86