感知,思維,行為-層次化的視頻內(nèi)容分析技術研究.pdf

1、基于內(nèi)容的視頻分析技術是解決當前信息超載現(xiàn)象的重要方法,已經(jīng)成為多媒體分析領域的研究熱點。本文的研究目標是模擬人類認知過程研究有效的視頻內(nèi)容分析技術,使用戶可以在海量視頻中便捷地發(fā)現(xiàn)自己喜歡的視頻片段。本文根據(jù)認知心理學理論體系,提出了基于“感知,思維,行為”的層次化視頻內(nèi)容分析框架,并重點對用戶注意力建模、視頻語義事件檢測及視頻精彩鏡頭的個性化推薦進行了較深入地研究。論文的創(chuàng)新性工作主要表現(xiàn)在以下三個方面:
　　 1、提出了通

2、用的視頻內(nèi)容分析框架:與現(xiàn)有以視頻類型為中心的分析框架不同,本文以認知心理學的理論框架為基礎,提出了符合人類認知過程的“感知,思維,行為”層次化視頻內(nèi)容分析框架。該框架可以將視頻內(nèi)容分析相關技術按照人類認知過程有機結合起來,并且該框架不再受制于多樣的視頻類型、復雜的編輯規(guī)則等客觀因素。
　　 2、提出了符合人類認知過程的各層核心問題及其解決方法:感知層的核心問題是對人的注意力的研究,本文提出了基于韋伯.費希納定律的用戶注意力模型

3、來進行視頻顯著性分析；思維層的核心問題是人類對概念和邏輯推理的研究,根據(jù)人類邏輯推理的兩種方式,即演繹推理和歸納推理,本文提出基于規(guī)則、統(tǒng)計模型以及決策融合的三類語義事件檢測方法,從而實現(xiàn)視頻語義事件的自動標注；行為層的核心問題是行為動機,為了達到使用戶便捷的獲取信息這一目標,本文通過融合視頻內(nèi)容和用戶偏好信息研究了視頻精彩鏡頭的個性化推薦方法。
　　 3、提出了面向實際應用的視頻內(nèi)容瀏覽系統(tǒng):為了分析各層研究內(nèi)容對用戶視頻瀏覽

4、的重要性,我們在視頻結構化的基礎上利用各層核心技術開發(fā)了結構化視頻瀏覽和顯著性標注系統(tǒng)、結構化視頻瀏覽和語義標注系統(tǒng)以及視頻精彩鏡頭的個性化推薦系統(tǒng)。
　　 本文綜合客觀評價和主觀評價方式對基于“感知,思維,行為”的層次化視頻內(nèi)容分析框架及其各層核心技術進行了評測。對于視頻字幕提取和語義事件建模核心技術,主要以查全率和查準率為標準證明本文提出的方法的準確性和魯棒性。對于本文提出的層次化視頻分析框架及開發(fā)的三個系統(tǒng),采用了基于用戶