基于特征融合與聯(lián)合決策的視頻跟蹤算法研究.pdf

1、由于計(jì)算機(jī)視覺技術(shù)的發(fā)展，視頻目標(biāo)跟蹤技術(shù)在眾多相關(guān)應(yīng)用領(lǐng)域受到了廣泛關(guān)注，例如智能視頻監(jiān)控、人機(jī)界面、智能機(jī)器人、運(yùn)動(dòng)分析等。其中，視覺表觀模型的構(gòu)建是視頻目標(biāo)跟蹤問題的重中之重。然而，運(yùn)動(dòng)目標(biāo)自身的旋轉(zhuǎn)、扭曲、尺度等復(fù)雜變化，加上背景的擁簇、光線變化、外物遮擋、三維空間投影到二維平面所造成的信息缺失，以及實(shí)時(shí)處理的需求等情況的發(fā)生，都給高效表觀模型的構(gòu)建帶來了極大挑戰(zhàn)。
　　本文主要圍繞視頻單目標(biāo)跟蹤中視覺表觀模型的構(gòu)建問題展

2、開，對特征融合與聯(lián)合決策對視頻跟蹤的影響進(jìn)行了深入研究，并針對表觀模型構(gòu)建的難點(diǎn)問題，提出了一些有效的新算法，對今后的研究學(xué)習(xí)產(chǎn)生了重要的理論意義和實(shí)用價(jià)值。
　　本文主要研究成果如下：
　　1.提出了一種基于時(shí)空卡爾曼融合（Time-Space Kalman Fusion，TSKF）模型的融合壓縮跟蹤方法。壓縮跟蹤（Compressive Tracking，CT）是一種既簡單又有效的跟蹤方法，它在保留大部分顯著信息的同時(shí)，

3、能夠?qū)⒏呔S特征壓縮到低維空間。新方法正是利用壓縮跟蹤的這個(gè)優(yōu)勢，將其擴(kuò)展到可見光與紅外傳感器特征融合跟蹤的問題上。此外，傳統(tǒng)的融合跟蹤算法對多傳感器特征進(jìn)行單獨(dú)處理，沒有考慮它們在時(shí)間、空間上的自適應(yīng)性，在更新過程中所積累的重要信息也沒有被充分挖掘出來。與傳統(tǒng)算法不同的是，新方法的融合模型同時(shí)在時(shí)間域和空間域完成，并利用擴(kuò)展卡爾曼濾波器實(shí)現(xiàn)所提融合模型中融合系數(shù)的有效更新。實(shí)驗(yàn)結(jié)果表明新方法具有較好的跟蹤精度，并在對抗噪聲方面具有較強(qiáng)的

4、魯棒性。
　　2.提出了一種基于多視角多核融合（Multi-View Multi-Kernel Fusion，MVMKF）模型的可見光與紅外傳感器融合跟蹤方法。對視頻目標(biāo)跟蹤問題來說，可見光與紅外傳感器具有互補(bǔ)的有用信息，且對目標(biāo)與背景的分離具有一致性的判別信息。多視角學(xué)習(xí)方法能夠?qū)⒍鄠€(gè)包含一致性和互補(bǔ)性特點(diǎn)的視角特征統(tǒng)一結(jié)合，因此近年來得到了研究學(xué)者的廣泛關(guān)注。論文所提的多視角多核模型同時(shí)將可見光與紅外傳感器視角的特征信息考慮進(jìn)

5、來，使用多核框架對視角特征的重要性進(jìn)行學(xué)習(xí)，然后根據(jù)各自的表現(xiàn)進(jìn)行加權(quán)融合。此外，由于分類器級和復(fù)雜特征級多視角學(xué)習(xí)的優(yōu)越表現(xiàn)，論文的跟蹤過程由復(fù)雜壓縮特征域下的貝葉斯分類器實(shí)現(xiàn)。實(shí)驗(yàn)數(shù)據(jù)表明，新方法在準(zhǔn)確率、魯棒性及速度方面都具有較好表現(xiàn)。
　　3.提出了一種基于結(jié)構(gòu)化稀疏表示的視覺核函數(shù)聯(lián)合跟蹤與識別（Kernel Joint Tracking and Recognition，KJTR）方法。視頻目標(biāo)的跟蹤與識別兩者緊密相連、

6、相互依存，兩者的結(jié)合能夠取長補(bǔ)短、相得益彰。為了同步處理視頻目標(biāo)的跟蹤與識別，論文采用了最優(yōu)聯(lián)合決策與估計(jì)（Joint Decision and Estimation，JDE）模型促使決策（識別）與估計(jì)（跟蹤）有潛力達(dá)到全局最優(yōu)，并利用迭代學(xué)習(xí)過程實(shí)現(xiàn)跟蹤與識別結(jié)果。此外，文中表觀模型依靠能夠同時(shí)表征全局和局部信息的結(jié)構(gòu)化稀疏表示（Structured Sparse Representation，SSR）模型建立。同時(shí)，我們在學(xué)習(xí)過程中