跨視域攝像頭網(wǎng)絡(luò)下的監(jiān)控視頻結(jié)構(gòu)化與檢索.pdf

1、視頻監(jiān)控是城市公共安全領(lǐng)域一項重要的監(jiān)控手段。隨著監(jiān)控攝像頭數(shù)目和監(jiān)控視頻數(shù)據(jù)量的急劇上升，傳統(tǒng)基于人工操作的監(jiān)控方式越來越難以滿足需求，亟需發(fā)展基于智能算法的視頻監(jiān)控技術(shù)。
　　智能視頻監(jiān)控中的關(guān)鍵問題在于“監(jiān)控視頻內(nèi)容結(jié)構(gòu)化”與“監(jiān)控對象檢索”。圍繞這兩大關(guān)鍵問題，本文(1)針對監(jiān)控視頻內(nèi)容結(jié)構(gòu)化中的目標元數(shù)據(jù)獲取問題，開展了群體目標跟蹤的研究;(2)針對監(jiān)控視頻內(nèi)容結(jié)構(gòu)化中的目標理解與描述問題，開展了圖像多屬性識別的研究;(

2、3)針對監(jiān)控對象檢索中的基于圖像的檢索問題，開展了跨視域行人群組再識別的研究。群體目標跟蹤獲取了每個行人的運動視頻片段和運動軌跡信息，為后續(xù)分析處理提供了重要的素材。圖像多屬性識別為每個監(jiān)控對象生成了高層語義描述信息，一方面為基于圖像的檢索提供了高層語義特征，另一方面為基于自然語言的檢索提供了可能?？缫曈蛐腥巳航M再識別的研究是對單行人再識別問題的重要補充，為視頻監(jiān)控中基于行人外觀特征（非人臉）的跨視域行人檢索應(yīng)用提供了重要的技術(shù)基礎(chǔ)。<

3、br>　　本論文的主要研究工作與創(chuàng)新成果如下:
　　(1)提出了一種基于群組關(guān)系演化的群體目標跟蹤算法。該算法將低層次(Low-Level)的關(guān)鍵點跟蹤、中層次(Mid-Level)的圖像塊檢測及跟蹤和高層次（High-Level）的群組關(guān)系演化融入一個統(tǒng)一框架。不同于以往的計算光流、跟蹤關(guān)鍵點或者檢測行人目標，本文提出將人群表示成一組外觀獨特且穩(wěn)定的圖像塊。在低層次上，關(guān)鍵點跟蹤提供了非常精確的局部軌跡信息，可以用于檢測圖像塊以

4、及推測群體的群組關(guān)系。在中層次上，采用所提出的分層樹形結(jié)構(gòu)對圖像塊之間的空間關(guān)系進行建模和學(xué)習。在高層次上，群組關(guān)系的演化使得分層樹形結(jié)構(gòu)可以通過分裂、合并等形式進行動態(tài)更新。實驗結(jié)果表明:所提出的圖像塊檢測方法為給定目標的跟蹤提供了重要的輔助信息;所提出的動態(tài)分層樹形結(jié)構(gòu)能夠有效學(xué)習目標之間的空間關(guān)系;所提出的基于群組關(guān)系演化的群體目標跟蹤算法顯著提高了群體目標跟蹤的準確性。
　　(2)提出了一種基于空間幾何關(guān)系的圖像多屬性識別

5、算法。該算法通過一個可以“端到端”訓(xùn)練的深層卷積神經(jīng)網(wǎng)絡(luò)來同時學(xué)習屬性之間的空間和語義關(guān)系，而僅僅利用了圖像的屬性標簽類別信息作為訓(xùn)練監(jiān)督信號。具體來說，對于輸入圖像，使用所提出的“空間正則網(wǎng)絡(luò)”(SRN: Spatial Regularization Network)為每個可能的屬性類別標簽生成一個注意力圖，并基于注意力圖來同時學(xué)習屬性之間的空間和語義關(guān)系。最后，將“空間正則網(wǎng)絡(luò)”得到的各個屬性的置信度得分與基本卷積神經(jīng)網(wǎng)絡(luò)（如:殘差

6、網(wǎng)絡(luò)ResNet-101）得到的置信度得分進行加和，修正屬性置信度得分。在多個不同類型的公開數(shù)據(jù)集上的實驗結(jié)果表明:“空間正則網(wǎng)絡(luò)”可以有效學(xué)習圖像中屬性之間的空間幾何關(guān)系;這種空間幾何關(guān)系可以顯著提升圖像多屬性識別的準確性。
　　(3)提出了一種基于塊匹配的行人群組再識別算法。相對于單行人再識別問題，行人群組再識別面臨著更多的新問題，比如:群組內(nèi)行人之間嚴重的相互遮擋、群組內(nèi)行人在不同視域下發(fā)生相對位置變化等。為了解決上述問題，