基于深度學(xué)習(xí)的人體動(dòng)作識(shí)別研究.pdf

1、人體動(dòng)作識(shí)別因?yàn)槠鋸V泛的現(xiàn)實(shí)應(yīng)用前景，成為圖像處理、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等領(lǐng)域的研究熱點(diǎn)，但仍然是一個(gè)具有挑戰(zhàn)性的課題。在人腦視覺(jué)機(jī)理的啟發(fā)下，深度學(xué)習(xí)的提出使得機(jī)器學(xué)習(xí)取得突破性的進(jìn)展，也為人體動(dòng)作識(shí)別的研究帶來(lái)了新的方向。深度學(xué)習(xí)基于一系列算法，通過(guò)分層非線性轉(zhuǎn)換無(wú)監(jiān)督地獲取數(shù)據(jù)的高層抽象。不同于傳統(tǒng)的識(shí)別方法手工提取特征，深度學(xué)習(xí)能夠自動(dòng)地從低層次的特征中學(xué)習(xí)出高層次的特征，解決了特征選取過(guò)于依賴任務(wù)本身和調(diào)整過(guò)程耗費(fèi)時(shí)間等問(wèn)題。

2、本文重點(diǎn)研究在復(fù)雜場(chǎng)景下的人體動(dòng)作識(shí)別及運(yùn)動(dòng)視頻中時(shí)空特征的提取問(wèn)題，克服環(huán)境差異和時(shí)間變化給識(shí)別造成的困難。本文在研究深度學(xué)習(xí)典型模型卷積神經(jīng)網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)的基礎(chǔ)上，提出了具有創(chuàng)新性的人體動(dòng)作識(shí)別模型。
　　本文的具體研究工作如下：
　　（1）研究了復(fù)雜場(chǎng)景下RGB圖像中人體的動(dòng)作識(shí)別問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)由于局部權(quán)值共享和池化的特殊結(jié)構(gòu)，對(duì)于特定的姿態(tài)、光照、環(huán)境雜亂變化均具有不變性，在圖像處理方面具有天然的優(yōu)越性。因此

3、，本文提出一個(gè)改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型，提取2D圖像序列中的動(dòng)作特征，并經(jīng)過(guò)softmax回歸進(jìn)行分類。其中，為了更有效的預(yù)訓(xùn)練卷積核權(quán)值，本文還利用卷積自動(dòng)編碼器替代傳統(tǒng)的后向傳播算法進(jìn)行初始化工作。試驗(yàn)表明該模型有效地解決了復(fù)雜場(chǎng)景下動(dòng)作識(shí)別問(wèn)題，較傳統(tǒng)方法具有更高的識(shí)別率。
　?。?）針對(duì)運(yùn)動(dòng)視頻中的時(shí)空特征進(jìn)行研究。為了使識(shí)別方法更具實(shí)用價(jià)值，本文提出了一個(gè)多分辨率的3D卷積神經(jīng)網(wǎng)絡(luò)模型。在保留高分辨率的原始輸入流的前提下，

4、增加一個(gè)包含動(dòng)作的低分辨率輸入流，形成一個(gè)新的雙流3D卷積神經(jīng)網(wǎng)絡(luò)框架。這樣既能夠利用3D卷積核提取連續(xù)視頻幀中的時(shí)空信息，又加快了網(wǎng)絡(luò)的運(yùn)算速度。實(shí)驗(yàn)證明，此方法無(wú)需任何先驗(yàn)信息取得了和傳統(tǒng)算法相近的結(jié)果。
　?。?）前兩個(gè)研究點(diǎn)均為基于RGB圖像序列的特征提取方法，第三個(gè)研究點(diǎn)則提出了一個(gè)基于RGB-D視頻數(shù)據(jù)的識(shí)別模型。該模型通過(guò)傳感器Kinect獲取深度圖像序列，并進(jìn)行一定處理獲取低層時(shí)空信息，再通過(guò)一個(gè)金字塔型的深度置信