跨媒體檢索技術(shù)的研究.pdf

1、在當(dāng)前信息化和網(wǎng)絡(luò)化迅速發(fā)展的社會(huì)，對(duì)跨媒體內(nèi)容檢索已經(jīng)成為信息檢索領(lǐng)悟中比較重要的研究熱點(diǎn)。與傳統(tǒng)信息檢索不同的是，跨媒體信息檢索的對(duì)象不是單一類型的多媒體對(duì)象，往往包括圖像、聲音以及視頻等格式的數(shù)據(jù)。在研究跨媒體信息檢索領(lǐng)域中，對(duì)于不同類型的多媒體信息檢索處于尚不成熟的階段。人們?cè)趯?duì)信息進(jìn)行識(shí)別的過(guò)程中，往往需要對(duì)不同類型的信息進(jìn)行感性認(rèn)識(shí)，包括視覺(jué)、聽(tīng)覺(jué)等信息進(jìn)行綜合分析，形成整體認(rèn)知。要實(shí)現(xiàn)這一點(diǎn)，需要對(duì)多媒體信息檢索和管理的時(shí)

2、候利用跨媒體信息檢索方式進(jìn)行比對(duì)。
　　 對(duì)于跨媒體檢索技術(shù)的發(fā)展，離不開(kāi)傳統(tǒng)基于內(nèi)容的多媒體檢索技術(shù)。自從二十世紀(jì)九十年代以來(lái)，各種基于內(nèi)容的多媒體檢索技術(shù)將計(jì)算機(jī)視覺(jué)、模式識(shí)別、數(shù)據(jù)庫(kù)技術(shù)以及機(jī)器學(xué)習(xí)等技術(shù)綜合起來(lái)，形成多角度分析的機(jī)制，彌補(bǔ)了傳統(tǒng)單一類型多媒體信息檢索的弊端，大大提高了在大數(shù)據(jù)量情況下的信息檢索的效率。跨媒體信息檢索最初基于內(nèi)容的檢索技術(shù)，應(yīng)用于對(duì)圖像的各種信息進(jìn)行提取，例如顏色，紋理，形狀等特征向量作為圖

3、像索引的切入點(diǎn)。基于這種技術(shù)，可以轉(zhuǎn)移到基于內(nèi)容的視頻和音頻數(shù)據(jù)檢索中，依然可以達(dá)到較為理想的效果。但是這些方法大多基于單一類型的多媒體數(shù)據(jù)作為檢索對(duì)象，對(duì)于不同類型之間的數(shù)據(jù)往往不能實(shí)現(xiàn)交叉檢索，例如利用音頻數(shù)據(jù)與圖像數(shù)據(jù)對(duì)比，可以實(shí)現(xiàn)人臉與語(yǔ)音雙重識(shí)別問(wèn)題。
　　 論文中對(duì)媒體底層特征的提取進(jìn)行了詳細(xì)研究，并利用PCA降維來(lái)縮小計(jì)算量。針對(duì)音頻例子，采用MPEG實(shí)現(xiàn)音頻數(shù)據(jù)的壓縮，利用基于模糊C-均值聚類算法對(duì)聚類質(zhì)心進(jìn)行提

4、取分析，借助Mel倒譜系數(shù)比較和計(jì)算，得到相似度結(jié)果;針對(duì)圖像，利用小波變換提取圖像邊緣，分析圖像中的顏色特征、紋理特征等，通過(guò)計(jì)算其7個(gè)不變矩組成表達(dá)這幅圖像的特征向量，計(jì)算其距離函數(shù)得到相似度結(jié)果。
　　 本文的研究基于對(duì)單一類型多媒體數(shù)據(jù)的檢索技術(shù)，實(shí)現(xiàn)跨媒體數(shù)據(jù)的綜合檢索。針對(duì)圖像、音頻等多媒體數(shù)據(jù)進(jìn)行交叉比對(duì)，把數(shù)據(jù)底層最小粒度的特征進(jìn)行向量化，借助相關(guān)矩陣的收斂運(yùn)算，研究了圖像與音頻數(shù)據(jù)的跨媒體相關(guān)性分析，并通過(guò)對(duì)多