基于內(nèi)容的視頻情感提取算法研究.pdf

1、隨著通信技術(shù)、寬帶網(wǎng)絡(luò)技術(shù)、音視頻壓縮技術(shù)以及計(jì)算機(jī)技術(shù)的發(fā)展，數(shù)字視頻也越來(lái)越廣泛地融入于人們的生活空間中。多媒體人機(jī)交互界面(HCI)中的圖像/視頻不僅攜帶了大量的圖像信息，還攜帶了大量的情感信息。如何在圖像/視頻檢索系統(tǒng)中引進(jìn)情感計(jì)算技術(shù)，使計(jì)算機(jī)能夠識(shí)別圖像/視頻中的情感信息，并利用這些情感信息進(jìn)行視頻的檢索，已成為目前人們倍加關(guān)注的課題。
　　 本文主要針對(duì)故事片這類(lèi)視頻，根據(jù)其拍攝的風(fēng)格和特點(diǎn)，對(duì)其情感提取算法進(jìn)行了

2、研究，分別從音頻和視頻兩方面提取出某些片段的情感特征，并根據(jù)這些情感特征對(duì)該視頻段進(jìn)行情感分類(lèi)。主要內(nèi)容如下：
　　 在音頻方面，本文提出了運(yùn)用比例因子等特征利用支持向量機(jī)進(jìn)行音頻情感分類(lèi)方法，通過(guò)提取MPEG音頻流比例因子等特征，首先把音頻分為語(yǔ)音、音樂(lè)、混音和靜音四類(lèi)，然后對(duì)語(yǔ)音、音樂(lè)、混音的音頻段進(jìn)行情感分類(lèi)，將音頻包含的情感分為：高興、悲傷、生氣、厭惡、驚奇和平靜六類(lèi)，并通過(guò)實(shí)驗(yàn)證明了該方法的可靠性和有效性。
　　

3、 為從視頻圖像中提取情感信息，首先要對(duì)視頻進(jìn)行鏡頭分割，并提取鏡頭的關(guān)鍵幀。本文提出了一個(gè)基于支持向量機(jī)核函數(shù)重構(gòu)的鏡頭邊界檢測(cè)算法。該算法利用視頻壓縮域中特征，如宏塊類(lèi)型，幀間對(duì)應(yīng)宏塊DC系數(shù)差和幀類(lèi)型將視頻幀分為發(fā)生切變的幀、發(fā)生漸變的幀和非鏡頭變換幀三類(lèi)，實(shí)現(xiàn)視頻的鏡頭分割。與常用的核函數(shù)進(jìn)行了比較實(shí)驗(yàn)，結(jié)果顯示當(dāng)構(gòu)造的核函數(shù)為徑向基函數(shù)與高斯核函數(shù)疊加時(shí)鏡頭邊界檢測(cè)的準(zhǔn)確率最高，其綜合性能指標(biāo)SUM_F1比2001 TREC評(píng)