基于時空特征和分層模型的人體行為識別研究.pdf

1、圖像和視頻數(shù)據(jù)的海量增長，以及賦予計算機以人類視覺系統(tǒng)的能力的渴望推動計算機視覺的研究和應(yīng)用不斷向前發(fā)展。通過計算機對視頻進行處理，分析與理解是計算機視覺的一個熱點研究領(lǐng)域，而人體行為識別是計算機視覺領(lǐng)域的一個重要研究方向。
　　人體行為識別通過分析視頻序列中人體的相關(guān)特征來確定人體行為的類別，它涉及圖像處理、人工智能和模式識別等多門學(xué)科。人體行為識別在反恐行動、公共安全、人機交互、輔助駕駛、虛擬現(xiàn)實、視頻檢索等軍民領(lǐng)域有著廣泛的

2、應(yīng)用價值和應(yīng)用前景。人體行為識別的關(guān)鍵在于特征的選擇和提取以及行為的分類。
　　本文圍繞人體行為識別的相關(guān)問題進行研究，通過采用引入正交平面概念的時空局部特征點提取方法提取興趣點，進而提取時空局部特征描述信息，然后通過分層模型生成對視頻序列中人體行為的多層次表示來實現(xiàn)人體行為識別。主要完成了以下工作:
　　本文在現(xiàn)有方法的基礎(chǔ)上，通過引入正交平面的概念，在時空特征點提取和時空局部特征描述兩個方面進行了改進，提出了一種新的時空

3、特征點提取方法和時空局部特征描述方法。該時空特征點提取方法將整個視頻序列視為三維立方體，在任一維度上的平面檢測興趣點，借助集合的運算和弱約束規(guī)則獲得時空特征點;該時空特征描述方法對以時空特征點為中心構(gòu)造的時空立方體內(nèi)的像素點采用中心對稱擴展的方法構(gòu)造部分重疊的小立方體，利用組合梯度方向直方圖和光流直方圖，加權(quán)生成高維時空局部特征描述子，并采用局部保留投影算法獲得時空局部特征描述子的低維向量表示，從而保留時空局部特征描述子所包含的局部信息

4、。
　　通過引入特征池的概念，構(gòu)建分層“bag-of-words”模型，形成輸入一個底層局部特征而輸出多個不同粒度的人體行為描述的機制。通過該模型所獲得的人體行為描述能夠兼有底層的局部信息和局部特征之間的結(jié)構(gòu)信息。
　　本文在通用的標準測試視頻庫上進行了實驗，驗證了本文所提方法的可行性和有效性。實驗表明采用本文所提出的時空特征點提取方法所提取的時空特征點具有較好的穩(wěn)定性和代表性;所提取的時空局部特征描述較好地捕捉了人體的外觀