基于多模態(tài)特征的視頻語(yǔ)義鏡頭標(biāo)注.pdf

1、視頻的鏡頭類型是視頻底層特征和高級(jí)語(yǔ)義之間的橋梁，能有效彌補(bǔ)兩者之間的鴻溝，有助于視頻精彩事件檢測(cè)，促進(jìn)創(chuàng)建視頻摘要，進(jìn)而滿足用戶快速查詢和瀏覽視頻的要求?，F(xiàn)有視頻語(yǔ)義鏡頭標(biāo)注方法大多基于視頻的視覺(jué)特征，未充分利用多模態(tài)特征，浪費(fèi)了數(shù)據(jù)資源，標(biāo)注效果也有待提升。本文提出了基于多模態(tài)特征的視頻語(yǔ)義鏡頭標(biāo)注方法，并應(yīng)用于足球視頻，主要工作有：
　?。?）分析并提取了足球視頻的多模態(tài)特征。包括鏡頭關(guān)鍵幀的視覺(jué)特征—草色塊個(gè)數(shù)、人臉區(qū)域參

2、數(shù)、邊緣、紋理和鏡頭的攝像機(jī)運(yùn)動(dòng)特征；鏡頭對(duì)應(yīng)音頻信號(hào)的平均短時(shí)能量、短時(shí)過(guò)零率、音頻幀能量序列的自相關(guān)函數(shù)特征。同時(shí)，本文提出了累積方差法，并結(jié)合連通域分析技術(shù)提取了足球視頻記分牌中的時(shí)鐘數(shù)字，采用支持向量機(jī)(Suppo rt Vecto r Mac hine, SVM)對(duì)提取出的時(shí)鐘數(shù)字進(jìn)行了識(shí)別，用關(guān)鍵詞匹配方法提取了足球視頻網(wǎng)絡(luò)直播文本的文本事件及對(duì)應(yīng)的時(shí)間標(biāo)簽，并將文本/視頻的時(shí)間進(jìn)行了對(duì)準(zhǔn)。實(shí)驗(yàn)結(jié)果證明了特征提取方法的正確性