基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的視頻目標(biāo)屬性識(shí)別.pdf

1、隨著當(dāng)前監(jiān)控視頻數(shù)據(jù)的爆炸式增長(zhǎng)，如何高效分析視頻中的數(shù)據(jù)內(nèi)容，并使其為智慧城市服務(wù)成為近年來關(guān)注熱點(diǎn)。其中，對(duì)監(jiān)控視頻數(shù)據(jù)的分析，主要涉及對(duì)視頻中目標(biāo)進(jìn)行定位跟蹤以及精細(xì)化屬性識(shí)別兩個(gè)領(lǐng)域。本文針對(duì)上述領(lǐng)域分別研究視頻目標(biāo)跟蹤以及目標(biāo)屬性識(shí)別等工作，并分別結(jié)合多任務(wù)學(xué)習(xí)方法，實(shí)現(xiàn)相應(yīng)的高效算法。其中主要成果有以下兩方面:
　　(1)在目標(biāo)跟蹤領(lǐng)域，尤其是多模態(tài)目標(biāo)跟蹤中，仍存在諸多問題。一方面，對(duì)每個(gè)模態(tài)質(zhì)量的評(píng)估方法對(duì)多個(gè)模態(tài)

2、的融合機(jī)制至關(guān)重要;另一方面，每個(gè)模態(tài)中的局部信息同樣能夠提升跟蹤目標(biāo)特征表示的魯棒性。因此，本文針對(duì)如何挖掘目標(biāo)區(qū)域的關(guān)聯(lián)關(guān)系以及高效融合多個(gè)模態(tài)信息這兩方面進(jìn)行改進(jìn)，提出一種基于多任務(wù)拉普拉斯稀疏表示的多任務(wù)目標(biāo)跟蹤算法。具體實(shí)現(xiàn)方式為:給定第一幀某跟蹤目標(biāo)的真值包圍盒，該算法首先提取多個(gè)不重疊的局部圖像塊集合，并通過多任務(wù)聯(lián)合學(xué)習(xí)的方式實(shí)現(xiàn)可見光和熱紅外兩種模態(tài)下的目標(biāo)特征的稀疏表示。然后，將兩個(gè)模態(tài)的特征連接成一個(gè)特征向量用于表

3、示目標(biāo)包圍盒的特征。其次，我們利用拉普拉斯約束將每一個(gè)圖像塊之間的相似性引入到已有模型中，進(jìn)一步優(yōu)化稀疏表示中的稀疏系數(shù)，構(gòu)成拉普拉斯稀疏表示。與此同時(shí)，該算法結(jié)合兩種模態(tài)之間的利弊優(yōu)劣，引入新的模態(tài)權(quán)重計(jì)算方式，將更準(zhǔn)確的模態(tài)權(quán)重引入到拉普拉斯稀疏表示模型中，實(shí)現(xiàn)多個(gè)模態(tài)數(shù)據(jù)之間的自適應(yīng)融合。為驗(yàn)證所提出的模型有效性，本文采集了一個(gè)全新且涵蓋多種挑戰(zhàn)的可見光-熱紅外多模態(tài)目標(biāo)跟蹤數(shù)據(jù)集，并對(duì)現(xiàn)有公共數(shù)據(jù)集進(jìn)一步擴(kuò)展，最終在這兩個(gè)數(shù)據(jù)集

4、上運(yùn)行大量對(duì)比實(shí)驗(yàn)進(jìn)行分析，驗(yàn)證該模型相對(duì)于多種單模態(tài)目標(biāo)跟蹤算法和多模態(tài)目標(biāo)跟蹤算法的有效性。
　　(2)對(duì)視頻中車輛目標(biāo)屬性，現(xiàn)有方法常將每個(gè)車輛屬性作為一個(gè)單獨(dú)任務(wù)進(jìn)行研究，這類方法一方面忽略車輛多個(gè)屬性之間的共同信息，另一方面會(huì)增加整個(gè)車輛屬性識(shí)別系統(tǒng)的硬件配置要求。因此，為了克服上述問題，并實(shí)現(xiàn)對(duì)車輛屬性的精細(xì)化識(shí)別分析，本文提出一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識(shí)別算法，同時(shí)實(shí)現(xiàn)車輛類型和車輛顏色的識(shí)別。該算法主要流

5、程為:首先，根據(jù)車輛屬性數(shù)目設(shè)計(jì)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并準(zhǔn)備相應(yīng)多屬性車輛數(shù)據(jù)集;然后，利用此數(shù)據(jù)集訓(xùn)練多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)模型;其次，根據(jù)該網(wǎng)絡(luò)模型輸出的車輛類型結(jié)果，設(shè)計(jì)相應(yīng)的車輛掩膜，并將車輛掩膜加入到原圖像中;然后，利用加入掩膜處理后的圖像訓(xùn)練SVM分類器，并進(jìn)行車輛顏色識(shí)別工作。最后，在由高速卡口相機(jī)抓拍的大規(guī)模高清車輛圖像數(shù)據(jù)集上進(jìn)行測(cè)試。同時(shí)，本文最后在所構(gòu)建的卡口車輛圖像數(shù)據(jù)集上對(duì)該算法的有效性，并對(duì)比加入車輛掩膜對(duì)車輛