基于多特征學習的視頻語義標注.pdf

1、基于多特征學習的視頻語義標注Videoannotationwithmultiplefeaturedistancelearning李真超指導小組成員名單導師周向東教授指導小組成員張亮教授談子敬副教授張守志副教授基于多特征學習的視頻語義標注摘要摘要自從計算機誕生以來我們就不斷試圖讓計算機理解人類所觀察到的事物。從數值計算，符號計算開始，人們不斷推進計算機的”理解能力”。文字，圖像，視頻等多媒體內容的理解牽涉到高層的語義，計算機能否對這些內容

2、給出對應的語義標簽是讓計算機對這些對象有認知的第一步。通常我們對視頻進行語義標注都需要將標簽限定在一個范圍中，這是因為通用的對所有視頻的標注系統(tǒng)難以避免語義鴻溝。在給定的標簽范圍內，我們對視頻數據進行分類。這使得我們的目標變得可行。視頻的特點是它具有多種特征，包括音頻，靜態(tài)圖像，文字以及動作特征。通過實驗我們發(fā)現(xiàn)，動作特征對于區(qū)分以動作為語義的視頻是有效的。以往的視頻標注系統(tǒng)對于如何使用如此多的特征種類對視頻進行分類性能的提高并沒有很好

3、的考慮。我們認為多種特征的融合有利于發(fā)揮各種特征的區(qū)分能力，對不同的視頻類別，不同的特征的描述能力也是有強弱之分的。我們使用核化的logistic回歸作為框架，對從視頻數據提取的多種特征用多距離學習的方法，學習出每一個視頻類別的特征權重系數。為了達到特征選取的目的，我們引入權重系數的一階范數懲罰。這使得無關的視頻特征的權重降低為0。為了防止模型過擬合，我們還對logistic回歸的參數進行了二階范數的懲罰。由于目標函數相對于這兩組參數不