多模態(tài)機(jī)器注意在遠(yuǎn)程會(huì)議系統(tǒng)中的應(yīng)用.pdf

1、機(jī)器關(guān)注是機(jī)器智能的第一步。選擇性視覺(jué)關(guān)注的最重要的功能是在視覺(jué)環(huán)境中快速將視線(xiàn)指向感興趣的對(duì)象。而感興趣的對(duì)象的識(shí)別則來(lái)自機(jī)器感知的能力。目前的計(jì)算機(jī)在聲音和視覺(jué)的感覺(jué)方面的技術(shù)已經(jīng)較為完備，可以通過(guò)各種傳感器對(duì)視頻和音頻進(jìn)行數(shù)字化來(lái)實(shí)現(xiàn)，并通過(guò)各種數(shù)字濾波器增強(qiáng)信號(hào)，再使用統(tǒng)計(jì)方法或者神經(jīng)網(wǎng)絡(luò)分類(lèi)器分類(lèi)。但是，計(jì)算機(jī)在感知方面的能力還較初級(jí)，對(duì)于視頻和音頻信號(hào)包含的意義的判別能力還較低。本文對(duì)多模態(tài)機(jī)器注意在遠(yuǎn)程會(huì)議系統(tǒng)中的應(yīng)用進(jìn)行

2、了研究。主要內(nèi)容如下： ⑴介紹了本研究的背景及意義、信號(hào)感知研究的任務(wù)及所面臨的困難、多模態(tài)信號(hào)感知理論的提出和目前的研究進(jìn)展。在此基礎(chǔ)上，介紹了多模態(tài)機(jī)器關(guān)注理論、研究方法和應(yīng)用領(lǐng)域，如基于生物學(xué)和神經(jīng)生理學(xué)方法、結(jié)合心理學(xué)方法、基于統(tǒng)計(jì)和模式分類(lèi)的識(shí)別方法等。 ⑵在遠(yuǎn)程會(huì)議系統(tǒng)中，最重要的性能評(píng)價(jià)之一為“遠(yuǎn)程”的透明化，使任何分會(huì)場(chǎng)的參與者有“身臨其境”的感覺(jué)。本文根據(jù)多模態(tài)機(jī)器關(guān)注的原理，通過(guò)對(duì)會(huì)場(chǎng)環(huán)境視覺(jué)、聽(tīng)覺(jué)信

3、號(hào)的采集、分析、同步、集成，自動(dòng)引導(dǎo)視頻攝像頭轉(zhuǎn)向感興趣的對(duì)象——發(fā)言人的面孔并過(guò)濾其他人聲及噪音，僅傳輸發(fā)言人的發(fā)言。 ⑶聲音定位是作為人臉圖像捕捉的觸發(fā)機(jī)制及初期視角定位手段，并根據(jù)由具體應(yīng)用確定的跟蹤規(guī)則作為人臉圖像捕捉跟蹤的參數(shù)之一存在。聲音定位和捕捉到的圖像共同作為跟蹤的輸入?yún)?shù)，通過(guò)多模態(tài)信號(hào)集成，使得對(duì)目標(biāo)人臉圖像的跟蹤更為準(zhǔn)確穩(wěn)定，并在此基礎(chǔ)上提出了適合本應(yīng)用系統(tǒng)要求的聲音定位方案。 ⑷人臉追蹤包括了人臉