結合ITQ的跨模態(tài)的多媒體信息檢索.pdf

1、從上個世紀九十年代初期開始，基于內容的多媒體檢索就開始成為了在多媒體信息檢索領域中的一個研究熱點。并且基于內容的多媒體檢索的研究也一直是計算機視覺領域中的一個非常受矚目的研究方向，基于內容的多媒體檢索技術主要是綜合應用了統(tǒng)計分析、模式識別、多媒體數(shù)據(jù)庫、機器學習、人機交互等多個領域的知識，主要是解決傳統(tǒng)的基于文本的多媒體檢索中所存在的在人工標注時的耗時耗力、以及人工選擇上的主觀差異性大等幾大問題。然而，傳統(tǒng)的多媒體信息檢索技術主要是針對

2、的多媒體類型比較單一，比如圖像檢索，音頻檢索，視頻檢索等，不能夠支持不同模態(tài)的多媒體對象之間的相互檢索。這便使人們迫切的需要一種新的檢索方式能夠處理和查詢不同模態(tài)的多媒體數(shù)據(jù)。因此，本文的研究重點便是研究這種能夠靈活跨越不同模態(tài)形式的多媒體數(shù)據(jù)的檢索方法——跨媒體檢索。
　　對于圖像和視頻等多媒體信息集來說，在目前的絕大多數(shù)檢索方法中采取的大多是基于文本搜索的技術，如Google，它們的圖像和視頻檢索功能仍然是基于文本的關鍵詞(k

3、eyword)的，這些關鍵詞大部分是來源于與圖片相關的文本或者文件名等，其中少量的部分是來源于人工標注。但是因為信息收集者們的文化背景和專業(yè)知識的不同與迥異，這些與圖片關聯(lián)的文本信息也往往是缺乏可信度的。大多數(shù)的研究者們都能夠深切的體會到，對于圖像和音頻等的多媒體信息，它們是很難得到有效的、精確的描述。所以這種單一模式的解決方案是很難滿足人們的查詢需求的，并且這種方法的搜索精度很低。
　　本文首先研究了當前的國內外現(xiàn)有的多媒體信息

4、檢索的相關技術。在研究不同模態(tài)數(shù)據(jù)之間的關聯(lián)挖掘和檢索問題時，總結了四種比較典型的跨模態(tài)檢索方法:線性迭代和映射，非線性流形，概率模型及異構分析。并且本文提出了三種比較新穎的跨模態(tài)的信息檢索方法。第一種檢索方法是結合doc2vec和ITQ的跨模態(tài)多媒體信息檢索;第二種方法是基于主題模型的跨模態(tài)多媒體信息檢索。第三種方法是融合多特征的跨模態(tài)信息檢索方法，在第三種方法中，我們又提出了兩種不同思路的特征融合方法。這三種方法的目的都是旨在以不同