智能環(huán)境下基于音頻視頻信息融合的多說話人跟蹤.pdf

1、人類大腦能夠?qū)碜愿鱾€感官的多源傳感信息進(jìn)行融合加工，幫助人們在復(fù)雜的環(huán)境下準(zhǔn)確跟蹤和識別事物。在智能會議環(huán)境中，對說話人進(jìn)行跟蹤是人機(jī)交互的一個重大研究課題，如何借鑒大腦的融合機(jī)理，利用多模態(tài)傳感信息，有效融合同源說話人的語音信息和視頻圖像信息，從而達(dá)到魯棒準(zhǔn)確的跟蹤效果，已成為異類信息融合的一個研究熱點。
　　 本文在充分總結(jié)和探討多源信息融合、視頻跟蹤、聲源定位及濾波算法的研究現(xiàn)狀和基本理論的基礎(chǔ)上，提出了兩種基于多源信息

2、融合的人物跟蹤算法。一種是基于多視頻特征信息融合的多人物跟蹤，另一種是基于音頻視頻信息融合的說話人跟蹤。多視頻特征信息融合的多人物跟蹤系統(tǒng)，它是利用膚色抗旋轉(zhuǎn)和抗遮擋的特性，通過顏色直方圖給出了顏色似然模型；并利用輪廓信息能夠較好的反映目標(biāo)形狀的特性，通過邊緣梯度搜索策略給出了輪廓似然模型；最后在粒子濾波框架下，融合顏色信息和輪廓信息來跟蹤多個人物。在音頻視頻信息融合的說話入跟蹤系統(tǒng)中，結(jié)合同源說話人語音和視頻圖像之間的互補(bǔ)性，利用麥克

3、風(fēng)時延的聲源定位和均值漂移膚色跟蹤，分別建立音頻模型和視頻模型，以重要性粒子濾波為工具，建立融合似然模型和融合重要性函數(shù)，從中產(chǎn)生粒子并進(jìn)行濾波跟蹤。同時，采用流程化的閉壞處理框架，并在跟蹤過程中引入反饋環(huán)節(jié)，提高跟蹤的準(zhǔn)確性和完整性。仿真實驗表明，上述信息融合跟蹤算法是可行的?；诙嘁曨l特征信息融合的多人物跟蹤算法對光照及背景變化等干擾都具有一定的魯棒性。基于音頻視頻信息融合的說話人跟蹤算法可以準(zhǔn)確跟蹤到會議中的主要發(fā)言人，在人物交錯