基于語義事件的手術視頻內(nèi)容分析和分割方法的研究.pdf

1、隨著計算機技術和網(wǎng)絡技術的不斷發(fā)展，各種新的媒體信息交換和應用形式已經(jīng)完全融入了人們的日常工作、生活和娛樂之中，每天都在產(chǎn)生大量的視頻數(shù)據(jù)。在醫(yī)學領域同樣也存在大量的視頻用于輔助教育、術前宣教、遠程醫(yī)療等。為了對蘊含了人物、場景、對象、行為和故事等豐富的語義信息的媒體數(shù)據(jù)進行高效快捷過濾、瀏覽和檢索、非線性編輯等，人們提出并發(fā)展了視頻的內(nèi)容分析和基于內(nèi)容的視頻檢索技術，以實現(xiàn)語義級的內(nèi)容描述與應用。讓計算機按照人的主觀感覺和理解來表示媒

2、體內(nèi)容。如何跨越底層特征和高層語義間的語義鴻溝，以語義概念來管理、訪問視頻數(shù)據(jù)庫，已成為多媒體領域頗具挑戰(zhàn)的研究課題。
　　在視頻的內(nèi)容分析過程中，特征的提取與描述是至關重要的一步。手術視頻有其獨有的特點，比如手術室中醫(yī)務人員的著裝顏色基本為墨綠色，手術室中的病人除了需要手術的部分，基本用手術布遮蓋，有無影燈在手術過程為開的狀態(tài)。根據(jù)這些特點，為了給手術事件建模，本文定義了醫(yī)務人員指示器、手術部位檢測器、無影燈開關指示器等視覺特征

3、。
　　隱馬爾可夫模型作為一種統(tǒng)計分析模型，盡管它的狀態(tài)不能直接觀測到，但能通過觀測向量序列觀察到，每個觀測向量都是通過某些概率密度分布表現(xiàn)為各種狀態(tài)，每一個觀測向量是由一個具有相應概率密度分布的狀態(tài)序列產(chǎn)生。因此非常適合引入到基于語義的視頻內(nèi)容分析領域。在本文就通過將隱馬爾可夫引入到基于語義的手術視頻領域內(nèi)容分析領域。基于隱馬爾可夫模型進行基于語義事件的視頻分析，不但考慮了事件特征之間的相似性，而且考慮語義事件之間的時序關系，為

4、提高視頻內(nèi)容分析的準確率提供了理論上的可能。
　　本文的實驗基于五個完整的手術視頻樣本，弗且已經(jīng)人工標注過。通過樣本重估了各個手術事件在各個特征的概率分布，并且通過Baum-Welch算法重估了狀態(tài)轉(zhuǎn)移矩陣，重估了一個隱馬爾可夫模型。整個實驗過程采用交叉留一驗證的策略，對每一個待測試樣本采用Viterbi算法來識別每個以秒為單位的視頻單元，最終產(chǎn)生一個混淆矩陣來呈現(xiàn)分析的結(jié)果。
　　目前的實驗結(jié)果表明，對于選定的語義特征，有