基于多模態(tài)視覺數(shù)據融合的目標跟蹤方法研究.pdf

1、視覺目標跟蹤，旨在連續(xù)的視頻幀或在線視頻中，計算出選定目標在每一幀中的位置信息，是計算機視覺研究領域中的一個基礎且重要的研究課題，其在諸如目標制導、自動駕駛、行為識別等應用場景下有著廣泛的應用價值。
　　可見光單模態(tài)目標跟蹤作為視覺目標跟蹤的首要研究問題，近年來，獲得了豐富的研究成果。人們不僅提出了多種基于不同理論框架的目標跟蹤算法，這些算法在時間和精度兩個方面提升目標跟蹤算法的性能;還建立了包含多種復雜條件的可見光目標跟蹤數(shù)據集

2、，用于評估這些不同目標跟蹤算法的性能。這些工作不僅奠定了可見光單模態(tài)目標跟蹤算法的理論基礎，而且在實際的工程項目中也有著廣泛的應用。
　　雖然目前的可見光單模態(tài)目標跟蹤算法，在很多復雜的跟蹤場景下仍然有著良好的跟蹤性能，但是在某些極端條件下，如低照度或零照度條件，現(xiàn)有的基于可見光的單模態(tài)目標跟蹤算法仍會失效。針對這一問題，研究人員通過引入熱紅外圖像或顏色深度圖像信息，來彌補可見光單模態(tài)視頻數(shù)據的不足。由于可見光視頻和熱紅外視頻良好

3、的互補特性，近年來，基于熱紅外視頻和可見光視頻的多模態(tài)目標跟蹤算法的研究，得到了廣泛的關注。
　　本文針對基于熱紅外和可見光視頻的多模態(tài)目標跟蹤算法進行了相關的研究，其主要貢獻有:
　　(1)提出了一種基于模態(tài)可靠性相關度的多模態(tài)目標跟蹤算法。由于熱紅外和可見光不同的成像機制，不同成像機制下獲取的目標信息具有不同的權重，為了評估不同模態(tài)的權重，使得傳統(tǒng)的單模態(tài)算法能夠始終在較好的模態(tài)下進行目標跟蹤，本文提出了一種模態(tài)可靠性定

4、義準則，并在此準則基礎上，設計實現(xiàn)了一種實時的多模態(tài)目標跟蹤算法，該算法能夠自適應的利用熱紅外和可見光信息實現(xiàn)目標的持續(xù)穩(wěn)健跟蹤，在跟蹤過程中，通過相關的模型更新算法，使得跟蹤模型能夠適應目標外觀變化，降低噪聲的影響。
　　(2)提出了一種融合局部和全局信息的多模態(tài)協(xié)同目標跟蹤算法。在多模態(tài)目標跟蹤過程中，不同的視頻模態(tài)有著不同的權重，進一步，跟蹤樣本的不同區(qū)域對于跟蹤結果而言也有著不同的貢獻?？紤]到不同模態(tài)的權重以及跟蹤樣本不同

5、分塊區(qū)域的權重，本文提出了一種融合多模態(tài)數(shù)據的協(xié)同目標跟蹤算法。該模型通過聯(lián)合的稀疏表示學習來充分使用跟蹤目標樣本和樣本內部圖像塊之間的內在聯(lián)系。同時，模型在處理樣本的內部圖像塊時，保持了其空間結構布局信息;并且考慮到跟蹤目標樣本和其局部圖像塊對跟蹤結果的不同貢獻值，進行了聯(lián)合的加權處理;最后，考慮了多模態(tài)不同模態(tài)的權重，并且將該權重和整個目標跟蹤稀疏外觀表示模型聯(lián)合求解。
　　(3)構建了一個包含多種復雜條件的多模態(tài)目標跟蹤數(shù)據

6、集。由于當前公開的多模態(tài)數(shù)據集，如OSU、AIC等，其場景單一、視頻序列較少，難以作為評估多模態(tài)目標跟蹤來使用。為了能夠建立一個統(tǒng)一的多模態(tài)跟蹤目標跟蹤數(shù)據集，以評估各種多模態(tài)目標跟蹤算法，本文構建了一個包括低照度、背景雜亂等復雜條件的多模態(tài)視頻數(shù)據集，這些視頻包含了低照度條件下的單人行進，兩人交叉遮擋，單個剛體自行車行進等多種挑戰(zhàn)性因素。原始視頻數(shù)據，經過初步整理、場景對齊、跟蹤目標位置人工標注之后，形成了一個較為完備的多模態(tài)目標跟蹤