基于外觀特征的人體目標(biāo)再識別研究.pdf

1、人體目標(biāo)再識別是計(jì)算機(jī)視覺和人工智能領(lǐng)域具有挑戰(zhàn)性的前沿課題，其研究目標(biāo)是借鑒人類的認(rèn)知模型和視覺機(jī)制提取各視域中的感興趣目標(biāo)，對來自多個無重疊視域的視覺信息進(jìn)行表達(dá)和整合，識別與匹配不同場景中的人體目標(biāo)。該研究涉及認(rèn)知心理學(xué)、計(jì)算機(jī)視覺、模式識別、機(jī)器學(xué)習(xí)等多個學(xué)科領(lǐng)域，在視頻監(jiān)控、人體行為分析、司法偵查、人機(jī)交互、醫(yī)療保健、多媒體娛樂和休閑、網(wǎng)上購物等諸多領(lǐng)域具有廣泛的應(yīng)用前景。
　　近年來，人體目標(biāo)再識別研究引起了大量學(xué)術(shù)研

2、究機(jī)構(gòu)和企業(yè)科研人員的興趣。然而，由于人體結(jié)構(gòu)和外部環(huán)境的復(fù)雜性，對該問題的研究仍然處于探索階段?，F(xiàn)有的基準(zhǔn)數(shù)據(jù)庫僅僅反映了封閉的場景，如兩個攝像機(jī)和1∶1的目標(biāo)對應(yīng)關(guān)系，而不是現(xiàn)實(shí)中更加開放的場景，例如數(shù)目較多的攝像機(jī)和未知的目標(biāo)對應(yīng)關(guān)系。本文圍繞基于人體外觀特征的再識別問題，進(jìn)行了較深入的研究，主要研究成果如下:
　　1.以圖像之間的差異為出發(fā)點(diǎn)，提出基于參考圖像特征學(xué)習(xí)的再識別方法。根據(jù)人類自身經(jīng)驗(yàn)，使用多幅圖像可以對目標(biāo)提

3、取更多穩(wěn)定和有用的信息。針對傳統(tǒng)的特征提取方法不能充分獲取多幅圖像信息的缺點(diǎn)，本文提出基于最大邊緣準(zhǔn)則和參考圖像特征學(xué)習(xí)的人體目標(biāo)再識別算法，學(xué)習(xí)給定目標(biāo)最穩(wěn)定和最具區(qū)分能力的特征。該方法首次將對數(shù)空間區(qū)域協(xié)方差特征引入人體目標(biāo)再識別，將協(xié)方差信息和色彩信息相結(jié)合，得到了一種新的目標(biāo)特征，該特征包含了圖像的局部統(tǒng)計(jì)特征和顏色信息，對低分辨率、視角改變和姿態(tài)變化具有魯棒性。受稀疏編碼和基于原型的特征表達(dá)的啟發(fā)，本文引入?yún)⒖紙D像，通過顯式的

4、建模輸入目標(biāo)圖像和參考圖像之間的關(guān)系，將二者的不同作為輸入目標(biāo)具有區(qū)分能力的特征表達(dá)。根據(jù)最大邊緣準(zhǔn)則，從決策平面中得到給定圖像關(guān)于參考圖像的顯著而又穩(wěn)定的特征，用于人體目標(biāo)再識別。實(shí)驗(yàn)結(jié)果表明，該方法可以有效的提取人體目標(biāo)多幅圖像的特征。
　　2.以圖像編碼為基礎(chǔ)，提出基于自由能分?jǐn)?shù)空間特征映射的再識別方法?，F(xiàn)有的基于外觀特征的再識別方法主要使用局部和整體的圖像特征來獲取人體外觀的視覺信息，局部特征用來提供肢體各部分的底層和基本

5、信息，全局特征可以提供所有肢體的整體結(jié)構(gòu)。提取圖像的局部特征之后，可以采用多種策略組合不同的特征，用以捕捉不同的視覺信息。在計(jì)算機(jī)視覺領(lǐng)域，詞袋模型是一種有效編碼局部特征的方法，在圖像檢索、目標(biāo)識別領(lǐng)域得到了廣泛的應(yīng)用。針對詞袋模型僅編碼了局部特征的出現(xiàn)頻率，而沒有考慮其他統(tǒng)計(jì)值的缺點(diǎn)，本文提出基于自由能分?jǐn)?shù)空間的特征映射及編碼方法。使用高斯混合模型對人體目標(biāo)圖像特征分布建模，得到圖像的相對完整的統(tǒng)計(jì)表達(dá)。在分?jǐn)?shù)自由能空間獲得特征映射，

6、并將圖像不同區(qū)域的特征映射編碼為固定長度的特征向量，該特征包含了圖像的特征均值、協(xié)方差和二階統(tǒng)計(jì)量等信息。實(shí)驗(yàn)結(jié)果證明，本文所提方法能取得良好的再識別效果。
　　3.以人體姿態(tài)估計(jì)為基礎(chǔ)，提出基于多視角肢體部位檢測的再識別方法。在視頻監(jiān)控場所，由于缺乏面部特征及其他生物特征，人工操作者往往將觀察目標(biāo)看作連接剛體，通過比較肢體各部位的相似性識別目標(biāo)?；谶@種經(jīng)驗(yàn)，本文將人體結(jié)構(gòu)約束引入再識別，使用多視角圖結(jié)構(gòu)模型估計(jì)人體姿態(tài)和視角，

7、得到目標(biāo)各肢體部位，并在相應(yīng)的部位提取外觀特征進(jìn)行再識別。根據(jù)目標(biāo)視角的不同，采用不同的人體運(yùn)動學(xué)先驗(yàn)和外觀模型訓(xùn)練8種圖結(jié)構(gòu)模型，將驗(yàn)證圖像對不同圖結(jié)構(gòu)模型的響應(yīng)作為輸入，訓(xùn)練8個視角的線性SVM分類器。使用SVM分類器判斷目標(biāo)視角，并將該視角下的姿態(tài)估計(jì)結(jié)果作為目標(biāo)姿態(tài)。根據(jù)肢體各部位的位置和朝向?qū)⑷梭w圖像分為不同的區(qū)域，并將這些信息表示為各部位的前景掩膜和整體掩膜。利用掩膜信息，提取灰度-顏色直方圖和最大穩(wěn)定顏色區(qū)域特征，得到目標(biāo)