基于內(nèi)容的視頻檢索和瀏覽的關(guān)鍵技術(shù).pdf

1、隨著計算機和通信技術(shù)、寬帶網(wǎng)絡(luò)技術(shù)、音視頻壓縮技術(shù)以及計算機硬件技術(shù)的發(fā)展，視頻數(shù)據(jù)的存儲和傳輸不再是一件困難的事情。數(shù)字視頻也越來越廣泛地融入于人們的生活空間中。然而如何有效地對這些視頻數(shù)據(jù)進行組織、表達、存儲和管理，以及如何對其進行快速檢索與瀏覽等已成為視頻領(lǐng)域內(nèi)急待解決的重大課題。由于視頻數(shù)據(jù)自身內(nèi)容的豐富性和多樣性、結(jié)構(gòu)的復(fù)雜性以及具有時空多維結(jié)構(gòu)性，傳統(tǒng)的數(shù)據(jù)管理與檢索方案不能夠很好地從巨大的視頻數(shù)據(jù)源中找到所需要的信息，于是

2、基于內(nèi)容的視頻檢索系統(tǒng)便應(yīng)運而生。 本文以MPEg-2視頻為研究對象，基于內(nèi)容的視頻檢索為出發(fā)點，提出了一種基于內(nèi)容的視頻數(shù)掘模型，從幾個層次t描述視頻數(shù)據(jù)。并以該模型為基礎(chǔ)，研究了視頻結(jié)構(gòu)化技術(shù)，關(guān)鍵幀提取技術(shù)和視頻概要生成技術(shù)。論文的主要工作如下： 數(shù)據(jù)模型是對客觀事務(wù)及其聯(lián)系的數(shù)據(jù)描述，它反映了實體內(nèi)部和實體之間的聯(lián)系。針對現(xiàn)有模型在檢索粒度和概念關(guān)系描述方面的不足，本文提出基于Ontology的分層語義視頻數(shù)據(jù)模

3、型，該模型結(jié)合了MPEG-7提出的模型捕述和Ontology的概念表達方式，從語義和時間特征兩個方面對視頻進行描述。模型采用四個層次來描述視頻數(shù)據(jù)：序列層，場景層和鏡頭層和關(guān)鍵幀，很好的解決了檢索粒度和概念關(guān)系之間的描述。 對長視頻序列進行鏡頭切換檢測時，現(xiàn)有的鏡頭切換檢測方法在閾值設(shè)定或計算復(fù)雜性等方面存在很多問題。本文對長視頻序列提出了一種綜合考慮幀圖像的空間特征和顏色特征、采用自適應(yīng)閾值的鏡頭切換檢測算法。該算法能自動根據(jù)

4、視頻的基色調(diào)來選取閾值，避免了對閾值的過分依賴。實驗結(jié)果表明該方法可以適合不同長度的視頻，并具有較高的查全率(Recall)和查準率(Precision)。關(guān)鍵幀的使用大大減少了視頻索引的數(shù)據(jù)量同時也為視頻檢索和瀏覽提供了一個組織框架。我們將利用無向圖的描述與視頻結(jié)構(gòu)的相似性，從全新角度通過無向圖的圖中心理論提出關(guān)鍵幀提取方法。這樣選取的關(guān)鍵幀更具有代表性，且提取的關(guān)鍵幀個數(shù)能夠得到有效控制。 在考慮鏡頭之間的內(nèi)容相關(guān)性、連續(xù)性

5、和特征分布的基礎(chǔ)上，我們提出了基于類內(nèi)和類間損失的場景構(gòu)造算法。我們首先利用時間約束和顏色直方圖求得鏡頭距離；然后基于類內(nèi)和類間損失，對相似鏡頭進行聚類，得到鏡頭類；最后在分析鏡頭類的基礎(chǔ)上，構(gòu)造場景。實驗證明，該方法比較好的反映了視頻的內(nèi)容變化，同時給用戶提供了很好的瀏覽和檢索途徑。 在生成場景的基礎(chǔ)上，我們提出了一個視頻摘要生成方法，首先根據(jù)場景的持續(xù)度和活動度衡量場景的重要度，提取候選場景；其次再根據(jù)鏡頭類的持續(xù)度和活動度