融合多模式信息特定音頻檢索技術研究.pdf

1、隨著數(shù)字媒體技術的發(fā)展,越來越多的人能夠更加方便地接觸到數(shù)字媒體。多媒體檢索的目的是從大量的多媒體資源中自動地查找與用戶查詢請求相關的各種多媒體信息。電視媒體是信息傳播和休閑娛樂的主流平臺,而電視廣告占總媒體投資中的70％的份額。因此給用戶提供準確實時的廣告檢索具有很大的應用前景。由于融合多模式信息的方法充分考慮了廣告中的視頻和音頻兩種媒體,并且數(shù)字指紋技術能夠很好的解決廣告檢索中準確性和實時性的難題,因此本論文主要針對廣告檢索中關鍵技

2、術的難題開展了深入系統(tǒng)的研究。
　　本文在對現(xiàn)有的方法分析的基礎上,主要取得以下研究成果:
　　1.提出一種快速的音頻指紋提取方法。針對廣告音頻,對音頻數(shù)據(jù)按幀進行傅立葉變換獲取頻域信息,提取每幀感知最相關的頻帶信息,將這些頻帶平分為33等分,并提取相鄰兩幀相鄰頻帶的差異作為指紋值,每幀提32個0/1值。實驗表明,該方法具有快速準確的特點,速度比Jaap Haitsma的方法快30倍,比Jin S.Seo的方法快3倍,能夠滿

3、足實時的要求。對有目的的攻擊,準確性比Jaap Haitsma和Jin S.Seo的方法有顯著的提高。
　　2.提出一種融合多模式信息特定音頻檢索方法。通過結合音視頻指紋對特定音頻進行檢索。采用對音視頻指紋加權的方式進行結合,充分考慮到音頻指紋的準確性,并利用視頻指紋弱化“靜音”廣告的影響,與單一的指紋方法相比,檢索結果更加準確,閾值自適用性有所提高。
　　3.建立一個融合多模式信息特定音頻檢索系統(tǒng)。將視頻指紋和音頻指紋方法