基于多任務卷積神經(jīng)網(wǎng)絡的視頻目標屬性識別.pdf

1、隨著當前監(jiān)控視頻數(shù)據(jù)的爆炸式增長，如何高效分析視頻中的數(shù)據(jù)內(nèi)容，并使其為智慧城市服務成為近年來關(guān)注熱點。其中，對監(jiān)控視頻數(shù)據(jù)的分析，主要涉及對視頻中目標進行定位跟蹤以及精細化屬性識別兩個領(lǐng)域。本文針對上述領(lǐng)域分別研究視頻目標跟蹤以及目標屬性識別等工作，并分別結(jié)合多任務學習方法，實現(xiàn)相應的高效算法。其中主要成果有以下兩方面:
　　(1)在目標跟蹤領(lǐng)域，尤其是多模態(tài)目標跟蹤中，仍存在諸多問題。一方面，對每個模態(tài)質(zhì)量的評估方法對多個模態(tài)

2、的融合機制至關(guān)重要;另一方面，每個模態(tài)中的局部信息同樣能夠提升跟蹤目標特征表示的魯棒性。因此，本文針對如何挖掘目標區(qū)域的關(guān)聯(lián)關(guān)系以及高效融合多個模態(tài)信息這兩方面進行改進，提出一種基于多任務拉普拉斯稀疏表示的多任務目標跟蹤算法。具體實現(xiàn)方式為:給定第一幀某跟蹤目標的真值包圍盒，該算法首先提取多個不重疊的局部圖像塊集合，并通過多任務聯(lián)合學習的方式實現(xiàn)可見光和熱紅外兩種模態(tài)下的目標特征的稀疏表示。然后，將兩個模態(tài)的特征連接成一個特征向量用于表

3、示目標包圍盒的特征。其次，我們利用拉普拉斯約束將每一個圖像塊之間的相似性引入到已有模型中，進一步優(yōu)化稀疏表示中的稀疏系數(shù)，構(gòu)成拉普拉斯稀疏表示。與此同時，該算法結(jié)合兩種模態(tài)之間的利弊優(yōu)劣，引入新的模態(tài)權(quán)重計算方式，將更準確的模態(tài)權(quán)重引入到拉普拉斯稀疏表示模型中，實現(xiàn)多個模態(tài)數(shù)據(jù)之間的自適應融合。為驗證所提出的模型有效性，本文采集了一個全新且涵蓋多種挑戰(zhàn)的可見光-熱紅外多模態(tài)目標跟蹤數(shù)據(jù)集，并對現(xiàn)有公共數(shù)據(jù)集進一步擴展，最終在這兩個數(shù)據(jù)集

4、上運行大量對比實驗進行分析，驗證該模型相對于多種單模態(tài)目標跟蹤算法和多模態(tài)目標跟蹤算法的有效性。
　　(2)對視頻中車輛目標屬性，現(xiàn)有方法常將每個車輛屬性作為一個單獨任務進行研究，這類方法一方面忽略車輛多個屬性之間的共同信息，另一方面會增加整個車輛屬性識別系統(tǒng)的硬件配置要求。因此，為了克服上述問題，并實現(xiàn)對車輛屬性的精細化識別分析，本文提出一種基于多任務卷積神經(jīng)網(wǎng)絡的車輛屬性識別算法，同時實現(xiàn)車輛類型和車輛顏色的識別。該算法主要流

5、程為:首先，根據(jù)車輛屬性數(shù)目設(shè)計多任務卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，并準備相應多屬性車輛數(shù)據(jù)集;然后，利用此數(shù)據(jù)集訓練多任務卷積神經(jīng)網(wǎng)絡模型;其次，根據(jù)該網(wǎng)絡模型輸出的車輛類型結(jié)果，設(shè)計相應的車輛掩膜，并將車輛掩膜加入到原圖像中;然后，利用加入掩膜處理后的圖像訓練SVM分類器，并進行車輛顏色識別工作。最后，在由高速卡口相機抓拍的大規(guī)模高清車輛圖像數(shù)據(jù)集上進行測試。同時，本文最后在所構(gòu)建的卡口車輛圖像數(shù)據(jù)集上對該算法的有效性，并對比加入車輛掩膜對車輛