視頻鏡頭檢測和人體行為分析.pdf

1、在過去的二十年中，人體運動的視覺分析已經(jīng)成為計算機視覺領(lǐng)域中一個較為活躍的研究方向，特別是9-11事件后，其重視程度大幅提高，在虛擬現(xiàn)實、智能監(jiān)控及身份識別等方面都已具有初步的應(yīng)用。在人體運動的視覺分析框架中，人體行為的檢測與識別研究既是重點也是難點，它是計算機視覺實現(xiàn)從低、中層處理(運動檢測、運動目標分類和人體跟蹤等)逐步向高層抽象思維(人體行為理解與描述等)轉(zhuǎn)變的關(guān)鍵。然而，目前此研究尚屬初級階段，主要集中在簡單場景下標準行為的檢測

2、與識別，仍有很多挑戰(zhàn)性的問題有待解決。
　　 本文首先闡述了人體行為分析(主要包括人體行為檢測與行為識別)的研究背景和研究意義，并對已有方法進行了歸納總結(jié)。同時介紹了相關(guān)的行為數(shù)據(jù)庫，綜述了各種算法的評測性能，并引出人體行為檢測與識別的若干關(guān)鍵問題，對其發(fā)展趨勢作了較為詳細的探討。隨后分別從鏡頭檢測、行為檢測、行為識別三方面展開討論，提出新算法，并將它們用于解決實際問題。
　　 鏡頭檢測是視頻分析的基礎(chǔ)，也可以廣義地看成

3、是人體行為分析的預(yù)處理環(huán)節(jié)。由于鏡頭變化的形成十分復(fù)雜，基于強度、顏色以及形狀等低層特征的鏡頭變化檢測經(jīng)常會發(fā)生漏檢現(xiàn)象。同時，由于此類特征對噪聲、攝像機運動等干擾比較敏感，錯檢也較為頻繁。針對以上不足，本文提出了一種基于空時顯著性變化的統(tǒng)計方法用于檢測視頻中的鏡頭變化。它融合時間歷史幀信息和當前幀的空間信息生成顯著圖，通過觀察空時顯著性變化提取相鄰鏡頭之間的差異作為有效特征，在統(tǒng)一框架下，以最小化檢測誤差為前提，構(gòu)造統(tǒng)計檢測器從而檢測

4、出各種類型的鏡頭變化。在TREC01和各種類型(廣告、體育競技和電影)視頻上的評測結(jié)果表明了以空時顯著性變化差異作為特征的統(tǒng)計鏡頭檢測方法具有一定的優(yōu)越性。
　　 在行為檢測方面，本文提出一種由粗到精的匹配策略以檢測出真實視頻中較為復(fù)雜的人體行為。假設(shè)只給定一個查詢行為的樣本，行為檢測是在真實視頻中搜索與查詢行為相似的所有行為。真實視頻通常持續(xù)較長時間，若采用窮舉搜索的匹配方式，計算花費相當巨大。因此，本文采取由粗到精的匹配策略

5、：首先通過時間和空間分割粗糙地確定最有可能存在查詢行為的空時體集合；然后通過分別匹配每個空時體與查詢行為之間的結(jié)構(gòu)相似性，檢測出真實視頻中與查詢行為相似的所有行為。實驗結(jié)果表明，此方法在Weizmann-Ⅱ庫上取得了與窮舉搜索法相當?shù)臋z測率，但由粗到精的匹配策略卻使得計算復(fù)雜度大大降低。
　　 人體行為識別與行為檢測既有相似又有不同之處。行為檢測一般是指在給定一個查詢行為樣本的條件下，在真實視頻中檢測與查詢行為類似的所有行為；而

6、行為識別則是在大量訓(xùn)練樣本類別已知的條件下識別未知行為。論文的行為識別工作主要包括前景周期行為的識別和原始周期行為的識別。
　　 在背景已知的監(jiān)控條件下，人體剪影比較容易獲取，由每幀剪影圖像按時序堆疊起來的空時體則同時包含了人體行為的時間和空間信息。在識別這種前景周期行為的問題上，本文從幾何特性(弧長及主軸角度)方面定義了體語義局部二值模式描繪子并直接用于提取其低維特征，在測試行為與已知行為訓(xùn)練集特征之間構(gòu)造分類器即可識別未知行

7、為。在Weizmann-Ⅰ庫的前景行為數(shù)據(jù)上，我們?nèi)〉昧?5.56％的識別率。同時，測試實驗表明，體語義局部二值模式描繪子對視角的微小變化、部分遮擋及行為方式的不規(guī)則性具有較高的魯棒性。體語義局部二值模式描繪子不需要降維，能夠直接提取行為空時體中的低維特征，并且提取特征的維數(shù)只與局部二值模式事先定義的鄰域點個數(shù)有關(guān)，從而減小了行為之間執(zhí)行速率的不同對識別率所造成的影響。
　　 在原始周期行為的識別方而，本文提出一種正則回歸的秩-

8、1張量投影技術(shù)。對視頻數(shù)據(jù)采用張量的表達方式既可以保留每幀圖像內(nèi)部的空間結(jié)構(gòu)，又可以避免視頻中的二維幀圖像轉(zhuǎn)為一維向量而造成的維數(shù)災(zāi)難。基于張量的分類方法大多采用張量子空間方法首先獲取特征張量，進而對特征張量構(gòu)造合適的分類器，計算較為復(fù)雜。本文將多類行為識別問題分解為多個One vs.All的兩類回歸問題，對每種行為采用正則回歸的方法分別構(gòu)造秩-1張量投影，通過子集嵌入和后精煉處理將張量樣本直接映射到對應(yīng)的類別標記。在Weizmann-