基于視頻與文本信息的說話者人臉標注.pdf

1、基于視頻信息的說話者檢測，就是不借助音頻信息，單從說話者的嘴唇動作來判定誰在說話的檢測方法。涉及到的相關技術有視頻鏡頭分割、人臉檢測與跟蹤、嘴唇區(qū)域定位以及唇動判斷。對于人名的標注，同時需要文本信息的輔助，考慮到字幕和劇本各自的特點，需要進行二者的融合。
　　在字幕和劇本的融合中，本文引入了動態(tài)時間規(guī)整算法，采用這種算法的思想，以單詞為特征進行融合，取得了不錯的效果。對于人臉的監(jiān)測與跟蹤，考慮到檢測的準確率、效率以及代碼復用，本文

2、采用OpenCV視覺庫中的AdaBoost算法和MeanShift算法，這種組合方法經(jīng)過相關研究的實驗驗證，取得了比較好的檢測和跟蹤效果，故而本文用這種方法進行人臉序列的提取。
　　嘴部檢測一直是唇讀領域研究的內容，本文將其引入到說話者檢測中的嘴唇區(qū)域定位過程中。考慮了相關文獻中提出的方法，利用唇色這一天然特征來提取唇色相近區(qū)域，并在此基礎上加以改進，進一步的確定嘴唇區(qū)域。經(jīng)測試觀察取得了良好的效果。
　　之前的研究中，在說

3、話者檢測中采用的唇動判斷方法，不像唇讀中所使用的方法那么復雜，大都是對相鄰幀的嘴部區(qū)域做幀間差，并設定閾值，以此來判斷相鄰幀之間是否有嘴唇的變化，判斷為唇動。本文引入了機器學習的方法，通過提取嘴唇區(qū)域的多種特征，利用訓練的分類器來進行唇動的判斷。經(jīng)實驗驗證，正確率及魯棒性都有了很大提高。
　　相關文獻中采用的檢測說話者的方法，是基于單幀圖像來進行判斷，即判斷某一幀圖像中人物是否在說話。對于在一個圖像序列中，某個人臉序列只是唇動但沒