基于多模態(tài)視覺數(shù)據(jù)融合的目標(biāo)跟蹤方法研究.pdf

1、視覺目標(biāo)跟蹤，旨在連續(xù)的視頻幀或在線視頻中，計算出選定目標(biāo)在每一幀中的位置信息，是計算機視覺研究領(lǐng)域中的一個基礎(chǔ)且重要的研究課題，其在諸如目標(biāo)制導(dǎo)、自動駕駛、行為識別等應(yīng)用場景下有著廣泛的應(yīng)用價值。
　　可見光單模態(tài)目標(biāo)跟蹤作為視覺目標(biāo)跟蹤的首要研究問題，近年來，獲得了豐富的研究成果。人們不僅提出了多種基于不同理論框架的目標(biāo)跟蹤算法，這些算法在時間和精度兩個方面提升目標(biāo)跟蹤算法的性能;還建立了包含多種復(fù)雜條件的可見光目標(biāo)跟蹤數(shù)據(jù)集

2、，用于評估這些不同目標(biāo)跟蹤算法的性能。這些工作不僅奠定了可見光單模態(tài)目標(biāo)跟蹤算法的理論基礎(chǔ)，而且在實際的工程項目中也有著廣泛的應(yīng)用。
　　雖然目前的可見光單模態(tài)目標(biāo)跟蹤算法，在很多復(fù)雜的跟蹤場景下仍然有著良好的跟蹤性能，但是在某些極端條件下，如低照度或零照度條件，現(xiàn)有的基于可見光的單模態(tài)目標(biāo)跟蹤算法仍會失效。針對這一問題，研究人員通過引入熱紅外圖像或顏色深度圖像信息，來彌補可見光單模態(tài)視頻數(shù)據(jù)的不足。由于可見光視頻和熱紅外視頻良好

3、的互補特性，近年來，基于熱紅外視頻和可見光視頻的多模態(tài)目標(biāo)跟蹤算法的研究，得到了廣泛的關(guān)注。
　　本文針對基于熱紅外和可見光視頻的多模態(tài)目標(biāo)跟蹤算法進行了相關(guān)的研究，其主要貢獻有:
　　(1)提出了一種基于模態(tài)可靠性相關(guān)度的多模態(tài)目標(biāo)跟蹤算法。由于熱紅外和可見光不同的成像機制，不同成像機制下獲取的目標(biāo)信息具有不同的權(quán)重，為了評估不同模態(tài)的權(quán)重，使得傳統(tǒng)的單模態(tài)算法能夠始終在較好的模態(tài)下進行目標(biāo)跟蹤，本文提出了一種模態(tài)可靠性定

4、義準(zhǔn)則，并在此準(zhǔn)則基礎(chǔ)上，設(shè)計實現(xiàn)了一種實時的多模態(tài)目標(biāo)跟蹤算法，該算法能夠自適應(yīng)的利用熱紅外和可見光信息實現(xiàn)目標(biāo)的持續(xù)穩(wěn)健跟蹤，在跟蹤過程中，通過相關(guān)的模型更新算法，使得跟蹤模型能夠適應(yīng)目標(biāo)外觀變化，降低噪聲的影響。
　　(2)提出了一種融合局部和全局信息的多模態(tài)協(xié)同目標(biāo)跟蹤算法。在多模態(tài)目標(biāo)跟蹤過程中，不同的視頻模態(tài)有著不同的權(quán)重，進一步，跟蹤樣本的不同區(qū)域?qū)τ诟櫧Y(jié)果而言也有著不同的貢獻?？紤]到不同模態(tài)的權(quán)重以及跟蹤樣本不同

5、分塊區(qū)域的權(quán)重，本文提出了一種融合多模態(tài)數(shù)據(jù)的協(xié)同目標(biāo)跟蹤算法。該模型通過聯(lián)合的稀疏表示學(xué)習(xí)來充分使用跟蹤目標(biāo)樣本和樣本內(nèi)部圖像塊之間的內(nèi)在聯(lián)系。同時，模型在處理樣本的內(nèi)部圖像塊時，保持了其空間結(jié)構(gòu)布局信息;并且考慮到跟蹤目標(biāo)樣本和其局部圖像塊對跟蹤結(jié)果的不同貢獻值，進行了聯(lián)合的加權(quán)處理;最后，考慮了多模態(tài)不同模態(tài)的權(quán)重，并且將該權(quán)重和整個目標(biāo)跟蹤稀疏外觀表示模型聯(lián)合求解。
　　(3)構(gòu)建了一個包含多種復(fù)雜條件的多模態(tài)目標(biāo)跟蹤數(shù)據(jù)

6、集。由于當(dāng)前公開的多模態(tài)數(shù)據(jù)集，如OSU、AIC等，其場景單一、視頻序列較少，難以作為評估多模態(tài)目標(biāo)跟蹤來使用。為了能夠建立一個統(tǒng)一的多模態(tài)跟蹤目標(biāo)跟蹤數(shù)據(jù)集，以評估各種多模態(tài)目標(biāo)跟蹤算法，本文構(gòu)建了一個包括低照度、背景雜亂等復(fù)雜條件的多模態(tài)視頻數(shù)據(jù)集，這些視頻包含了低照度條件下的單人行進，兩人交叉遮擋，單個剛體自行車行進等多種挑戰(zhàn)性因素。原始視頻數(shù)據(jù)，經(jīng)過初步整理、場景對齊、跟蹤目標(biāo)位置人工標(biāo)注之后，形成了一個較為完備的多模態(tài)目標(biāo)跟蹤