基于動態(tài)協(xié)同圖的多模態(tài)目標跟蹤.pdf

1、視頻跟蹤也稱目標跟蹤，即在特定視頻序列中，持續(xù)有效地獲取特定目標的時序信息，是計算機視覺研究領域中一個重要且基礎性的研究課題，也是智能視頻監(jiān)控的關鍵與核心技術。
　　近年來，視覺跟蹤已經取得了許多突破，出現(xiàn)了許多基于不同理論框架的跟蹤算法，這些算法在時間和精度兩個方面都顯著提升了目標跟蹤的性能。同時，許多標準的包含復雜挑戰(zhàn)因素的目標跟蹤數(shù)據(jù)集被公開，用于對不同的目標跟蹤算法做性能評估，這些工作奠定了視覺跟蹤在理論和應用上的基礎。雖

2、然這些跟蹤算法已經取得了良好的跟蹤效果，但在許多復雜的環(huán)境或極端條件下其算法魯棒性仍有待提高，如低光照、局部遮擋、嚴重霧霾等。為了克服上述問題，本文通過引入熱紅外信息來彌補可見光信息的缺陷，即利用可見光(RGB)模態(tài)和熱紅外(T)模態(tài)信息間的互補性，有效提高在復雜條件下的目標跟蹤性能。
　　本論文的主要工作和貢獻如下:
　　(1)在目標跟蹤方面，為了解決基于檢測的跟蹤框架中目標漂移的問題，提出了基于吸收馬爾科夫模型的目標跟蹤

3、算法，該方法主要是在結構化SVM跟蹤框架下，基于圖像塊加權信息融合表示方法實現(xiàn)，減弱了背景噪聲對分類器的影響。傳統(tǒng)的加權信息融合表示方法指的是先把目標矩形框劃分成多個均勻非重疊的小圖像塊。其次，以半監(jiān)督的方式為每個圖像塊分配一個權重，來表示該圖像塊在表達目標上的重要性，即權重越大，該圖像塊表示目標的可能性越大，反之亦然。再者，本文利用了吸收馬爾科夫可以綜合考慮目標對象的外觀差異和空間分布以及背景信息的特點，在具有吸收馬爾科夫性質的圖結構

4、上，對圖像塊的初始權重進行傳播。同時，考慮到初始種子點可能含有噪聲，提出種子點優(yōu)化算法對初始種子點進行篩選，避免含噪聲的種子點對正確結果的影響。最后，將學習的權重融入到基于SVM的跟蹤算法中，提高算法的穩(wěn)定性。在公開可用的基準數(shù)據(jù)集上的實驗表明，所提出的算法具有良好的性能。
　　(2)在多模態(tài)目標跟蹤數(shù)據(jù)集方面，由于當前公開的多模態(tài)數(shù)據(jù)集，如OSU-CT、LITIV等，其存在場景單一、挑戰(zhàn)因素較少、視頻總幀數(shù)較少等缺點，這對于多模

5、態(tài)目標跟蹤是不公平的。為了更有效地評估各種多模態(tài)目標跟蹤算法，建立了一個統(tǒng)一的RGB-T多模態(tài)目標追蹤數(shù)據(jù)集。與現(xiàn)有的數(shù)據(jù)集相比，新構建的數(shù)據(jù)集具有以下優(yōu)點:1)對于大規(guī)模性能評估(總幀數(shù):210K，每個視頻對的最大幀數(shù):8K)，其規(guī)模足夠大，挑戰(zhàn)場景比較豐富。2)RGB-T視頻對之間的對齊非常準確，具有很高的配準性，不需要預處理和后處理等額外操作。3)為了分析不同程度的遮擋敏感性能，標注了遮擋程度等級，數(shù)據(jù)集還包括低光照、背景雜亂、尺

6、度變化和運動模糊等復雜變化的挑戰(zhàn)因素。
　　(3)在多模態(tài)目標跟蹤方面，提出了一種稱為加權稀疏表示正則化圖學習的新型圖模型，用于學習使用RGB可見光和熱紅外多光譜數(shù)據(jù)進行多模態(tài)目標跟蹤的魯棒目標表示。具體來說，被跟蹤的對象用具有圖像塊作為節(jié)點的圖來表示，圖中邊表示相連的兩圖像塊之間親和性關系，該圖模型是從兩個方面動態(tài)學習的。首先，基于加權稀疏表示模型來優(yōu)化表示兩個相鄰節(jié)點的外觀兼容性的圖親和度，親和度矩陣包含了圖的結構和邊的權重信