基于顯著性的視覺目標(biāo)跟蹤研究.pdf

1、隨著視頻采集設(shè)備的成本不斷降低，其普及率越來越高，使得各種來源的視頻數(shù)量正在急速增長。如何解放人力利用機(jī)器對(duì)視頻進(jìn)行自動(dòng)分析存在迫切需求。目標(biāo)跟蹤作為視頻自動(dòng)分析系統(tǒng)的關(guān)鍵，對(duì)理解視頻內(nèi)容、分析并識(shí)別目標(biāo)屬性起著重要作用，因此一直是學(xué)術(shù)界和工業(yè)界關(guān)注的研究課題。由于實(shí)際場景中存在諸多干擾因素，如目標(biāo)和場景的動(dòng)態(tài)變化、背景中相似物的干擾、目標(biāo)的變形遮擋、尺度變化和旋轉(zhuǎn)、以及運(yùn)動(dòng)模糊和噪聲等，目前設(shè)計(jì)穩(wěn)定可靠的跟蹤器仍然是具有挑戰(zhàn)的任務(wù)。心

2、理學(xué)研究表明，人的視覺系統(tǒng)存在選擇注意機(jī)制，使我們?cè)谔幚硪曈X信息時(shí)能夠排除干擾，快速有效地從場景中篩選出感興趣對(duì)象信息。這種數(shù)據(jù)的篩選能力能夠極大地提高信息處理的效率。因此，本文基于人眼的視覺注意機(jī)制，開展了基于顯著性的目標(biāo)跟蹤研究。本文首先對(duì)視頻顯著性檢測問題進(jìn)行研究，然后研究了目標(biāo)跟蹤中的外觀建模與特征關(guān)聯(lián)匹配問題，最后從人眼的視覺注意機(jī)制入手，研究結(jié)合顯著性檢測的目標(biāo)跟蹤算法，以期提升跟蹤性能。
　　本研究主要內(nèi)容包括：⑴針

3、對(duì)視頻中待跟蹤目標(biāo)的自動(dòng)獲取問題，提出了基于底層視覺特征的視頻顯著性檢測方法。該方法首先檢測空間顯著性和時(shí)間顯著性，然后通過運(yùn)動(dòng)熵將二者動(dòng)態(tài)融合?？臻g顯著性檢測考慮三個(gè)因素：像素的空間位置，雙對(duì)比色和相似性分布。時(shí)間顯著性檢測利用光流特征計(jì)算運(yùn)動(dòng)的全局對(duì)比度。為了抑制場景中的運(yùn)動(dòng)噪聲提出一種平均光流直方圖（HOAOF）方法。相比于傳統(tǒng)的視頻顯著性檢測方法，當(dāng)存在攝像機(jī)和顯著對(duì)象同時(shí)運(yùn)動(dòng)時(shí)，本方法依舊能得到較好的檢測結(jié)果。⑵針對(duì)場景中底層

4、特征無法反映由高層語義對(duì)象驅(qū)動(dòng)的視覺顯著性問題，提出結(jié)合底層和高層特征的視頻顯著性檢測方法，并以新聞視頻為例研究了特定類型視頻中的高層語義特征對(duì)顯著性檢測的影響。其中自下而上注意力模型利用底層的視覺刺激，采取局部和全局相結(jié)合的方式檢測圖像顯著譜和運(yùn)動(dòng)顯著譜。在檢測圖像顯著譜時(shí)引入四元數(shù)圖像的概念，提出一種多尺度多顏色通道的四元數(shù)圖像顯著性檢測方法。在自上而下的注意力模型中通過檢測視頻圖像的通用高層語義特征（如人臉、行人和車輛），以及新聞

5、視頻中特有的高層特征（如播報(bào)員和閃光燈），生成自上而下的顯著譜。最后，將自下而上顯著譜與自上而下顯著譜融合得到視頻顯著譜。通過結(jié)合高層語義特征，本文方法能夠獲得和人眼更相近的檢測結(jié)果。⑶針對(duì)跟蹤過程中的目標(biāo)遮擋、旋轉(zhuǎn)和尺度變化等挑戰(zhàn)，提出基于一致性特征點(diǎn)選擇的目標(biāo)跟蹤方法。該方法利用特征點(diǎn)構(gòu)建目標(biāo)外觀模型，在跟蹤過程中采用空間幾何約束定義特征點(diǎn)的一致性，然后通過一種改進(jìn)的密度聚類方法選擇與目標(biāo)一致的興趣點(diǎn)。另外為了適應(yīng)跟蹤過程中目標(biāo)外觀

6、的變化，本文還采用顏色直方圖作為目標(biāo)的參考模板，用于計(jì)算跟蹤結(jié)果的置信度，然后據(jù)此更新目標(biāo)的外觀模型。該方法能夠克服目標(biāo)旋轉(zhuǎn)和尺度變化，而且在發(fā)生部分遮擋甚至完全遮擋時(shí)也能夠重新跟蹤到目標(biāo)。⑷針對(duì)特征點(diǎn)在低質(zhì)量圖像以及平坦圖像區(qū)域上檢測和匹配存在可靠性下降的問題，提出基于一致性判別區(qū)域的目標(biāo)跟蹤方法。該方法首先采用基于樣例的SVM選擇出具有高判別性的區(qū)域，利用這些判別區(qū)域?qū)Ω櫮繕?biāo)的外觀進(jìn)行建模，然后對(duì)這些判別區(qū)域分別進(jìn)行相關(guān)濾波跟蹤，

7、在跟蹤過程中計(jì)算每個(gè)判決區(qū)域的一致性。根據(jù)兩點(diǎn)要素定義判別區(qū)域的一致性：可跟蹤性和預(yù)測能力。根據(jù)一致性對(duì)跟蹤器和區(qū)域外觀進(jìn)行自適應(yīng)更新，并用于最終目標(biāo)的全局定位。實(shí)驗(yàn)結(jié)果顯示，利用一致性的判別區(qū)域進(jìn)行目標(biāo)跟蹤能夠有效提升跟蹤器的性能。⑸針對(duì)單一外觀模型和固定特征難以適應(yīng)目標(biāo)在復(fù)雜場景中面臨的外觀變化問題，在視頻顯著性研究的基礎(chǔ)上，提出一種顯著性特征加權(quán)的目標(biāo)跟蹤方法。該方法在目標(biāo)外觀構(gòu)造上采用兩種模型的融合，一種是結(jié)構(gòu)保持的統(tǒng)計(jì)外觀模型