多模態(tài)機器注意在遠(yuǎn)程會議系統(tǒng)中的應(yīng)用.pdf

1、機器關(guān)注是機器智能的第一步。選擇性視覺關(guān)注的最重要的功能是在視覺環(huán)境中快速將視線指向感興趣的對象。而感興趣的對象的識別則來自機器感知的能力。目前的計算機在聲音和視覺的感覺方面的技術(shù)已經(jīng)較為完備，可以通過各種傳感器對視頻和音頻進(jìn)行數(shù)字化來實現(xiàn)，并通過各種數(shù)字濾波器增強信號，再使用統(tǒng)計方法或者神經(jīng)網(wǎng)絡(luò)分類器分類。但是，計算機在感知方面的能力還較初級，對于視頻和音頻信號包含的意義的判別能力還較低。本文對多模態(tài)機器注意在遠(yuǎn)程會議系統(tǒng)中的應(yīng)用進(jìn)行

2、了研究。主要內(nèi)容如下： ⑴介紹了本研究的背景及意義、信號感知研究的任務(wù)及所面臨的困難、多模態(tài)信號感知理論的提出和目前的研究進(jìn)展。在此基礎(chǔ)上，介紹了多模態(tài)機器關(guān)注理論、研究方法和應(yīng)用領(lǐng)域，如基于生物學(xué)和神經(jīng)生理學(xué)方法、結(jié)合心理學(xué)方法、基于統(tǒng)計和模式分類的識別方法等。 ⑵在遠(yuǎn)程會議系統(tǒng)中，最重要的性能評價之一為“遠(yuǎn)程”的透明化，使任何分會場的參與者有“身臨其境”的感覺。本文根據(jù)多模態(tài)機器關(guān)注的原理，通過對會場環(huán)境視覺、聽覺信

3、號的采集、分析、同步、集成，自動引導(dǎo)視頻攝像頭轉(zhuǎn)向感興趣的對象——發(fā)言人的面孔并過濾其他人聲及噪音，僅傳輸發(fā)言人的發(fā)言。 ⑶聲音定位是作為人臉圖像捕捉的觸發(fā)機制及初期視角定位手段，并根據(jù)由具體應(yīng)用確定的跟蹤規(guī)則作為人臉圖像捕捉跟蹤的參數(shù)之一存在。聲音定位和捕捉到的圖像共同作為跟蹤的輸入?yún)?shù)，通過多模態(tài)信號集成，使得對目標(biāo)人臉圖像的跟蹤更為準(zhǔn)確穩(wěn)定，并在此基礎(chǔ)上提出了適合本應(yīng)用系統(tǒng)要求的聲音定位方案。 ⑷人臉追蹤包括了人臉