基于統(tǒng)計(jì)學(xué)的視頻語(yǔ)義分析與提取技術(shù)研究.pdf

1、視頻分析是多媒體信息處理的重要研究?jī)?nèi)容。多媒體信息呈現(xiàn)爆炸式增長(zhǎng)，海量視頻數(shù)據(jù)需要高效的瀏覽、檢索工具進(jìn)行管理和訪問(wèn)。現(xiàn)有內(nèi)容分析技術(shù)大多是基于非語(yǔ)義低層物理特征，不僅難以理解而且與人類思維中的高層語(yǔ)義概念相差甚遠(yuǎn)，嚴(yán)重影響和制約了基于內(nèi)容的視頻管理、檢索技術(shù)進(jìn)一步推廣和應(yīng)用。如何跨越低層特征和高層語(yǔ)義概念間的語(yǔ)義鴻溝，以語(yǔ)義概念來(lái)管理、訪問(wèn)視頻數(shù)據(jù)，已成為多媒體領(lǐng)域頗具挑戰(zhàn)性的研究課題。 本文基于統(tǒng)計(jì)學(xué)理論，提出了一個(gè)視頻數(shù)據(jù)

2、多粒度語(yǔ)義分析和提取的通用解決方案。在該方案中，多層次語(yǔ)義分析與多模式信息融合技術(shù)在同一模型中得到統(tǒng)一和應(yīng)用。本文首先提出了一種基于統(tǒng)計(jì)分布的鏡頭漸變邊界檢測(cè)方法，并用一種具有時(shí)間語(yǔ)義語(yǔ)境約束的關(guān)鍵幀選取策略對(duì)時(shí)域內(nèi)容進(jìn)行表示；然后在基本視覺(jué)語(yǔ)義識(shí)別后，得出一種層次的多粒度視覺(jué)語(yǔ)義分析提取框架；隨后把時(shí)頻變換得到的聲音頻譜作為可觀察特征，構(gòu)建了基本聲音語(yǔ)義識(shí)別的隱馬爾可夫模型，通過(guò)語(yǔ)義窗口獲得基本聲音語(yǔ)義組后，按照高層邏輯定義提取音頻高

3、層語(yǔ)義；最后仿照人腦多感覺(jué)器官信息融合機(jī)理，將視頻中多模式特征按不同類別進(jìn)行劃分，設(shè)計(jì)了一種基于仿生的視頻語(yǔ)義分析兩級(jí)多模式信息融合算法。 本文的創(chuàng)新點(diǎn)是： （1）提出一種多層次／多粒度視覺(jué)語(yǔ)義分析的通用框架。仿照人類視覺(jué)系統(tǒng)的注意力機(jī)制，利用時(shí)空注意力模型選擇動(dòng)態(tài)和靜態(tài)顯著區(qū)域；將所選區(qū)域用模式分類技術(shù)進(jìn)行基本視覺(jué)語(yǔ)義分類識(shí)別；設(shè)計(jì)了一種適合基本視覺(jué)語(yǔ)義分類識(shí)別的特征選擇算法；得出一種定步長(zhǎng)組合劃分方法，用于對(duì)具有多峰

4、分布屬性的特殊顯著區(qū)域進(jìn)行基本視覺(jué)語(yǔ)義識(shí)別；將高層視覺(jué)語(yǔ)義看作是隱含狀態(tài)，利用層次隱馬爾可夫模型和幀切片策略建立時(shí)間語(yǔ)義語(yǔ)境約束后，對(duì)高層視覺(jué)語(yǔ)義進(jìn)行提取。 （2）提出一種對(duì)音頻語(yǔ)義分析和提取的方法。采用隱馬爾可夫模型（HMMs）對(duì)分析窗口內(nèi)的基本聲音語(yǔ)義進(jìn)行識(shí)別；以貝葉斯決策排除語(yǔ)義窗口聲音段中的未定義基本語(yǔ)義；按貝葉斯公式計(jì)算最大后驗(yàn)概率后，得到語(yǔ)義窗口內(nèi)的一個(gè)基本聲音語(yǔ)義組；采用高層語(yǔ)義邏輯定義來(lái)描述基本語(yǔ)義與高層聲音語(yǔ)義