用于視頻動(dòng)作檢測(cè)的時(shí)空多任務(wù)神經(jīng)網(wǎng)絡(luò).pdf

1、近些年來(lái)，通過(guò)使用深度學(xué)習(xí)技術(shù)，視頻中的動(dòng)作檢測(cè)任務(wù)已經(jīng)取得了十分顯著的進(jìn)步。在實(shí)際的應(yīng)用中，更多的需求是在未裁剪的長(zhǎng)視頻中進(jìn)行動(dòng)作檢測(cè)任務(wù)，然而由于在時(shí)間維度上定位一個(gè)動(dòng)作的難度較大，目前已有方法的準(zhǔn)確率都并不能令人滿意。為了解決這一挑戰(zhàn)，本文提出了一個(gè)基于時(shí)空特征的、多任務(wù)的、三維卷積神經(jīng)網(wǎng)絡(luò)，用于在未剪裁長(zhǎng)視頻中進(jìn)行動(dòng)作檢測(cè)（包括時(shí)序定位）。首先，本文提出了一個(gè)融合網(wǎng)絡(luò)結(jié)構(gòu)，用于在訓(xùn)練階段提取視頻級(jí)時(shí)空特征。通過(guò)在動(dòng)作識(shí)別任務(wù)數(shù)據(jù)

2、集上評(píng)價(jià)這一融合網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果說(shuō)明了視頻級(jí)時(shí)空特征的有效性。第二，基于這一融合結(jié)構(gòu)，本文提出了一個(gè)時(shí)空的多任務(wù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這一網(wǎng)絡(luò)結(jié)構(gòu)中包含兩個(gè)分支輸出層分別用處動(dòng)作分類和動(dòng)作的時(shí)序定位。為了達(dá)到較高的時(shí)序定位的準(zhǔn)確率，本文展現(xiàn)了一個(gè)新的時(shí)序回歸方法，用于校正包含一個(gè)動(dòng)作的時(shí)序候選框。與此同時(shí)，為了更好的利用視頻中豐富的運(yùn)動(dòng)信息，本文引入了一個(gè)新的視頻表示方法，交錯(cuò)圖像，作為神經(jīng)網(wǎng)絡(luò)的一個(gè)另外的輸入。綜合以上本文提出的方法，最終本