基于RGB-D大規(guī)模數(shù)據(jù)集的人體行為識(shí)別算法研究.pdf

1、進(jìn)入21世紀(jì)，隨著信息技術(shù)的發(fā)展和人類(lèi)生活的不斷智能化，計(jì)算機(jī)視覺(jué)正日益影響到人們生活的各個(gè)方面，而人體行為識(shí)別及分析，因其廣泛的應(yīng)用前景和實(shí)用價(jià)值，近幾年來(lái)一直都是計(jì)算機(jī)視覺(jué)方向的研究熱點(diǎn)。人體行為識(shí)別，即對(duì)原始的視頻圖像序列進(jìn)行分析，提取相關(guān)的行為特征信息，最后對(duì)這些信息進(jìn)行解釋以實(shí)現(xiàn)對(duì)人體行為的識(shí)別和學(xué)習(xí)。盡管計(jì)算機(jī)技術(shù)和圖像處理技術(shù)的快速發(fā)展極大地推動(dòng)了行為識(shí)別領(lǐng)域的研究，而且隨著大數(shù)據(jù)技術(shù)的普及，算法的性能越來(lái)越多地依賴(lài)于數(shù)據(jù)

2、集，然而如何選擇有效行為特征，以及目前數(shù)據(jù)集存在的遮擋、背景單一和缺少大量樣本數(shù)據(jù)等問(wèn)題，使得基于大量數(shù)據(jù)的復(fù)雜自然場(chǎng)景下的人體行為識(shí)別技術(shù)仍然是一個(gè)非常具有挑戰(zhàn)性的研究領(lǐng)域。
　　彩色-深度(RGB-Depth，RGB-D)傳感器能夠同時(shí)提供彩色和深度圖像，3D深度信息可以直接獲取而不再需要額外的計(jì)算，這為深度信息在人體行為識(shí)別領(lǐng)域內(nèi)的應(yīng)用提供了很大的方便。人體行為的識(shí)別和分析是依托于行為數(shù)據(jù)集進(jìn)行的，在行為識(shí)別研究的過(guò)程中，先

3、后出現(xiàn)了多種數(shù)據(jù)集，目前存在的公共RGB-D行為數(shù)據(jù)集由于有限的行為類(lèi)別，行為樣本數(shù)量以及單一化的背景環(huán)境，很難用于基于大量數(shù)據(jù)的復(fù)雜自然場(chǎng)景下的行為識(shí)別。因此，本文建立了一個(gè)綜合性RGB-D大規(guī)模行為數(shù)據(jù)集，以促進(jìn)對(duì)復(fù)雜自然場(chǎng)景下人體行為識(shí)別的研究，同時(shí)，基于該綜合性數(shù)據(jù)集應(yīng)用了三種特征提取算法。本文的具體研究?jī)?nèi)容如下:
　　第一，分析了人體行為識(shí)別的研究背景、意義和目的，從數(shù)據(jù)集、特征提取和分類(lèi)器三個(gè)層面綜述了人體行為識(shí)別的研

4、究現(xiàn)狀，對(duì)基于RGB-D的行為識(shí)別研究面臨的問(wèn)題進(jìn)行了闡述，介紹了本文的主要研究?jī)?nèi)容和章節(jié)安排。
　　第二，闡述了RGB-D傳感器的優(yōu)點(diǎn)以及深度信息在人體行為識(shí)別中的重要性，對(duì)目前已經(jīng)存在的一些RGB-D數(shù)據(jù)集進(jìn)行了詳細(xì)的介紹，并比較了它們的優(yōu)缺點(diǎn)。
　　第三，選擇了五個(gè)常用典型的RGB-D數(shù)據(jù)集，通過(guò)對(duì)這五個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行預(yù)處理、統(tǒng)計(jì)分析，最后整合成一個(gè)綜合性的RGB-D大數(shù)據(jù)集，并且對(duì)RGB-D大規(guī)模數(shù)據(jù)集中的行為類(lèi)

5、別進(jìn)行了重新標(biāo)定，統(tǒng)一了數(shù)據(jù)存儲(chǔ)格式。該部分主要對(duì)建立大規(guī)模數(shù)據(jù)集中的工作做了具體的描述，同時(shí)介紹了RGB-D大規(guī)模數(shù)據(jù)集的數(shù)據(jù)信息、優(yōu)勢(shì)以及建立意義。
　　第四，基于RGB-D大規(guī)模數(shù)據(jù)集提取了深度行為投影圖(Depth Motion Maps，DMMs)、深度立方體相似性特征（Depth Cuboid Similarity Feature，DCSF）和曲率尺度空間(Curvature Space Scale，CSS)三種類(lèi)型的

6、特征。DMMs特征累計(jì)整個(gè)深度視頻序列里兩個(gè)連續(xù)幀投影圖之間的絕對(duì)差（運(yùn)動(dòng)能量）;DCSF描述了圍繞時(shí)空興趣點(diǎn)構(gòu)造的尺度自適應(yīng)3D深度立方體之間的相似性關(guān)系;CSS可以表示不同尺度水平下人體輪廓曲線的不變特征。三種特征提取算法分別在五個(gè)子數(shù)據(jù)集和綜合性大數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，應(yīng)用協(xié)作表示分類(lèi)器(CollaborativeRepresentation Classifier，CRC)對(duì)人體行為進(jìn)行識(shí)別，通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的比較和分析來(lái)驗(yàn)證所建立RG