基于內(nèi)容和語義的視頻短鏡頭分類.pdf

1、隨著近幾年來多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)上涌現(xiàn)出了越來越多的視頻短鏡頭和在線視頻網(wǎng)站，因此，基于內(nèi)容和語義的視頻短鏡頭的分類檢索也成為了一個人們研究領(lǐng)域。視頻短鏡頭是由時間上連續(xù)的幀圖像組成的集合，因此對視頻的分析包括空間和時間兩個方面?？臻g上的分析，可以利用現(xiàn)有的圖像特征提取技術(shù)，提取有效的視覺特征；對時間的分析，就需要對短鏡頭的數(shù)據(jù)進行結(jié)構(gòu)化分析和處理。靜態(tài)和動態(tài)特征的結(jié)合形成描述短鏡頭內(nèi)容的特征空間。另一方面，由于傳統(tǒng)的視頻鏡

2、頭分類系統(tǒng)沒有考慮鏡頭的高級語義信息，這樣導(dǎo)致了底層視覺特征和高層語義信息之間存在著語義鴻溝，因此在分類系統(tǒng)中加入對語義特征的分析和研究是十分有必要的，嘗試由視頻短鏡頭的底層特征推知高層語義信息，從而實現(xiàn)基于高級語義的鏡頭分類系統(tǒng)。因此，本文主要從以上兩個方面進行了研究，并根據(jù)現(xiàn)有方法的特點和不足，提出了相應(yīng)的解決辦法。 在提取了多種視頻短鏡頭的視覺特征的基礎(chǔ)上，采用互信息的方法研究單一的視覺特征的鑒別力，該方法理論基礎(chǔ)強，不依

3、賴于分類器的種類，從特征含類別的信息量的多少來分析特征的鑒別力，表達了圖像特征與類別之間的內(nèi)在聯(lián)系，試驗中基于SVM分類器的分類錯誤率也反映了使用互信息進行特征分析和選擇的正確性和有效性。接下來使用SVM分類器，分析各種視覺特征之間的互補或冗余關(guān)系，從而進行最優(yōu)特征組合的選擇。研究確定的針對真人/動漫類別的最佳特征是RGB改進顏色矩＋邊緣動態(tài)特征的組合特征，針對人物/風(fēng)景類別的最佳特征是RGB改進顏色矩＋Gabor紋理特征＋邊緣動態(tài)特征

4、的組合特征，針對體育/娛樂類別的最佳特征是邊緣方向直方圖＋顏色動態(tài)特征。最后在針對球類比賽的視頻短鏡頭分類系統(tǒng)中加入了高級語義特征的提取和研究，利用鏡頭內(nèi)關(guān)鍵幀的比例和關(guān)鍵幀內(nèi)球場區(qū)域像素比例的特征組合，將短鏡頭數(shù)據(jù)庫分成場內(nèi)和場外場景，利用球場區(qū)域的比例進一步將場內(nèi)鏡頭分為遠景和近景鏡頭，同時利用邊緣區(qū)域的像素比例將場外場景分成教練員和觀眾鏡頭，從而形成了一種針對球類運動的分等級的短鏡頭分類器。矩＋邊緣動態(tài)特征的組合特征，針對人物/風(fēng)

5、景類別的最佳特征是RGB改進顏色矩＋Gabor紋理特征＋邊緣動態(tài)特征的組合特征，針對體育/娛樂類別的最佳特征是邊緣方向直方圖＋顏色動態(tài)特征。最后在針對球類比賽的視頻短鏡頭分類系統(tǒng)中加入了高級語義特征的提取和研究，利用鏡頭內(nèi)關(guān)鍵幀的比例和關(guān)鍵幀內(nèi)球場區(qū)域像素比例的特征組合，將短鏡頭數(shù)據(jù)分成場內(nèi)和場外場景，利用球場區(qū)域的比例進一步將場內(nèi)鏡頭分為遠景和近景鏡頭，同時利用邊緣區(qū)域的像素比例將場外場景分成教練員和觀眾鏡頭，從而形成了一種針對球類運

6、動的分等級的短鏡頭分類器。矩＋邊緣動態(tài)特征的組合特征，針對人物/風(fēng)景類別的最佳特征是RGB改進顏色矩＋Gabor紋理特征＋邊緣動態(tài)特征的組合特征，針對體育/娛樂類別的最佳特征是邊緣方向直方圖＋顏色動態(tài)特征。最后在針對球類比賽的視頻短鏡頭分類系統(tǒng)中加入了高級語義特征的提取和研究，利用鏡頭內(nèi)關(guān)鍵幀的比例和關(guān)鍵幀內(nèi)球場區(qū)域像素比例的特征組合，將短鏡頭數(shù)據(jù)分成場內(nèi)和場外場景，利用球場區(qū)域的比例進一步將場內(nèi)鏡頭分為遠景和近景鏡頭，同時利用邊緣區(qū)域

7、的像素比例將場外場景分成教練員和觀眾鏡頭，從而形成了一種針對球類運動的分等級的短鏡頭分類器。矩＋邊緣動態(tài)特征的組合特征，針對人物/風(fēng)景類別的最佳特征是RGB改進顏色矩＋Gabor紋理特征＋邊緣動態(tài)特征的組合特征，針對體育/娛樂類別的最佳特征是邊緣方向直方圖＋顏色動態(tài)特征。最后在針對球類比賽的視頻短鏡頭分類系統(tǒng)中加入了高級語義特征的提取和研究，利用鏡頭內(nèi)關(guān)鍵幀的比例和關(guān)鍵幀內(nèi)球場區(qū)域像素比例的特征組合，將短鏡頭數(shù)據(jù)分成場內(nèi)和場外場景，利用