基于深度學習的人類行為分析技術(shù)的研究與實現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展、城市信息化應用水平不斷提升，視頻監(jiān)控逐漸陷入“監(jiān)而不控”的病態(tài).現(xiàn)階段對于監(jiān)控視頻中人類行為的判斷，需要消耗大量的人力。而利用自動化行為分析系統(tǒng)可以有效地緩解這樣的問題。
　　本文實現(xiàn)了基于深度學習的人類行為分析框架，該框架主要包括目標檢測、目標跟蹤、ROI提取、行為識別等步驟。本文在現(xiàn)有的目標檢測方法的基礎(chǔ)上，對其做了擴展，提出了一種人類行為序列提取方法;為了更好地提取出視頻中人類行為的時空信息，本文在T

2、wo-Stream的基礎(chǔ)上做出了改進，提出了基于C3D的Two-Stream行為識別方法。本文主要工作如下:
　　1)對現(xiàn)有基于幀的目標檢測方法YOLOv2進行擴展，將前后幀中同一目標主體進行關(guān)聯(lián)，實現(xiàn)了檢測與跟蹤功能，同時將跟蹤目標行為從場景中分割出來，排除外界干擾，以便隨后對其行為進一步分析。
　　2)針對Two-Stream中將時空信息分開提取做法不能夠充分融合時空信息的問題，本文對其進行了改進，使用了C3D神經(jīng)網(wǎng)絡來

3、分別提取視頻幀和光流矢量圖像的時空信息，并在提取過程中通過網(wǎng)絡的3D卷積和3D池化操作融合，形成更具有說服力的視頻級描述符。
　　3)本文將上述方法結(jié)合，實現(xiàn)了基于深度學習的人類行為分析技術(shù)框架，該框架可以用來對于現(xiàn)實場景監(jiān)控中多目標主體的行為單獨分析，對于單個行為進行跟蹤分析，能夠排除外界環(huán)境的干擾。
　　實驗結(jié)果表明，本文實現(xiàn)的人類行為序列提取方法能夠?qū)σ曨l中人類進行實時檢測與跟蹤;本文提出的基于C3D的Two-Stre