面向人機(jī)交互的姿態(tài)信息與語音信息關(guān)系研究.pdf

1、人機(jī)交互是計(jì)算機(jī)科學(xué)的一個(gè)相當(dāng)重要的研究領(lǐng)域。語音合成、語音識(shí)別、面部表情識(shí)別、姿勢識(shí)別以及姿勢合成等研究都是這一領(lǐng)域的重要組成部分，并且都取得了很好的進(jìn)展。但是這些研究都是在單一交互通道上進(jìn)行的。而現(xiàn)實(shí)中人與人在交際過程并不是僅僅通過一種途徑來表達(dá)和傳遞信息，而是多種途徑共同表達(dá)。所以想要使計(jì)算機(jī)能夠和人進(jìn)行自然的交流，就必須理解人的這多種途徑表達(dá)信息之間的相互關(guān)系。本文的研究目的就是以解釋多種途徑表達(dá)信息之間的關(guān)系為出發(fā)點(diǎn)，研究交際

2、過程中的姿態(tài)表達(dá)和言語特征的關(guān)系，具體來說就是研究姿態(tài)表達(dá)和語音表達(dá)的關(guān)系。 本文以4段電視訪談節(jié)目的視頻和音頻為原始數(shù)據(jù)，在本文提出的多模態(tài)標(biāo)注系統(tǒng)的基礎(chǔ)上對視頻信息進(jìn)行了姿態(tài)標(biāo)注，并對語音信息進(jìn)行了韻律標(biāo)注。然后對音頻和視頻的標(biāo)注信息進(jìn)行提取，用統(tǒng)計(jì)學(xué)的方法對數(shù)據(jù)進(jìn)行了分析。研究結(jié)論支持語音與姿態(tài)表達(dá)之間的關(guān)聯(lián)理論。本文的結(jié)構(gòu)分成3個(gè)部分：首先提出了多模態(tài)標(biāo)注系統(tǒng)，然后通過一個(gè)感知實(shí)驗(yàn)來觀察姿態(tài)與語音信息在語言理解中的關(guān)系，