基于音視頻融合的體育視頻分析及精彩排序.pdf

1、近幾年來，基于內(nèi)容的體育視頻分析越來越受到人們的關(guān)注。研究者在結(jié)構(gòu)分析和事件提取方面展開了大量的工作。但是這些工作有兩個(gè)局限性，一是由于只研究有限種視頻，例如足球、棒球，其通用性還有待提高；二是沒有考慮諸如移動(dòng)視頻訪問等新出現(xiàn)的應(yīng)用中重要的可伸縮問題。本文在原有體育視頻分析工作的基礎(chǔ)上提出了針對(duì)周期性結(jié)構(gòu)的得分型比賽(如網(wǎng)球、乒乓球)的通用分析框架。該框架的一個(gè)應(yīng)用就是可伸縮視頻精彩摘要，可以滿足手機(jī)、掌上電腦等移動(dòng)用戶的需求。全文以網(wǎng)

2、球和乒乓球運(yùn)動(dòng)為例子展開工作。 該分析框架是在充分分析現(xiàn)有的多模態(tài)信息融合方法并結(jié)合球拍運(yùn)動(dòng)周期性特點(diǎn)后提出的，是一個(gè)基于音視頻中層特征、領(lǐng)域規(guī)則、采用時(shí)序分析方法形成精彩排序的通用體育視頻內(nèi)容分析方法，兼具了復(fù)雜度低、直觀性強(qiáng)、通用性好、上下文相關(guān)和有感知性這五項(xiàng)優(yōu)點(diǎn)。具體來說本文的工作可以分為以下幾點(diǎn)： 首先，在體育視頻中層特征提取上，本文采用了有監(jiān)督的音頻分類和無監(jiān)督的場(chǎng)景聚類以適應(yīng)通用性要求。體育視頻中的聲音魯棒

3、性比較好，有監(jiān)督的音頻分類可以做到針對(duì)一種比賽項(xiàng)目的通用性。當(dāng)將這種方法擴(kuò)展到其它比賽時(shí)，譬如跳水、棒球，采用有監(jiān)督的方法也只需要少量的標(biāo)注。對(duì)于視頻來說，由于存在較大的場(chǎng)景差異，因此采用無監(jiān)督的場(chǎng)景聚類，達(dá)到通用性的目的。本文提出了一種新的有效的場(chǎng)景聚類算法，無需先驗(yàn)知識(shí)，自動(dòng)決定算法停止點(diǎn)。 其次，利用多模態(tài)信息融合提取了比賽結(jié)構(gòu)事件。本文在詳細(xì)分析了球拍運(yùn)動(dòng)的周期性特點(diǎn)的基礎(chǔ)上，提出了一種適合于周期性結(jié)構(gòu)得分型比賽的通用規(guī)

4、則，即時(shí)域投票策略。該方法首先將標(biāo)識(shí)的音頻關(guān)鍵字按照時(shí)域?qū)R分散到各個(gè)聚類，然后通過投票獲得每個(gè)聚類的語義以便提取結(jié)構(gòu)事件。該方法充分利用了音頻關(guān)鍵字的豐富語義和無監(jiān)督的場(chǎng)景的可靠邊界做到結(jié)構(gòu)事件的準(zhǔn)確提取。 再次，對(duì)于特定事件的提取，本文通過引入精彩排序技術(shù)解決其通用性問題。本文借助情感體驗(yàn)理論，設(shè)計(jì)了如下三個(gè)步驟。情感特征提取采用常用的音頻、視頻以及編輯手法三類特征；精彩等級(jí)的確定基于心理學(xué)實(shí)驗(yàn)生成事件的精彩程度事實(shí)，提出最