基于局部媒紋的分布式圖像搜索系統(tǒng)研究與實現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)的快速發(fā)展，微博、微信等社交媒體的出現(xiàn)，每天有海量的文本、圖像、音頻、視頻等數(shù)據(jù)在互聯(lián)網(wǎng)上產(chǎn)生，其中圖像的數(shù)據(jù)量已經(jīng)達(dá)到PB級別。面對如此海量的圖像數(shù)據(jù)，傳統(tǒng)的圖像搜索系統(tǒng)已不能滿足實際需要，因此新型分布式圖像搜索系統(tǒng)的研究與實現(xiàn)成為研究的熱點。
　　針對該問題，研究了一種基于局部媒紋的分布式圖像搜索系統(tǒng)，提供百萬級以上規(guī)模圖像的快速查詢服務(wù)。平臺系統(tǒng)主要包括索引服務(wù)器，搜索服務(wù)器，Web服務(wù)器，圖片服務(wù)器和代理服務(wù)器

2、五部分組成。系統(tǒng)設(shè)計充分考慮到搜索的高效性、擴展性和易存儲性，采用了基于Zookeeper實現(xiàn)的索引自動同步和更新方法，實現(xiàn)了服務(wù)器的自動高效管理；通過增加代理服務(wù)器的方式，提高Web服務(wù)器和搜索服務(wù)器之間的通信效率；改進(jìn)了負(fù)載均衡的策略，實現(xiàn)服務(wù)器更均衡地處理查詢請求。在離線處理階段，采用了基于hadoop的局部特征批量提取與索引構(gòu)建方法，大幅度提高批量處理速度。
　　在圖像局部媒紋的生成過程中，首先提取圖像的SIFT特征，然后

3、分別采用分組降維和PCA降維對特征進(jìn)行轉(zhuǎn)化，將長度為128的特征向量轉(zhuǎn)化為32位的無符號整數(shù)，作為圖像的局部媒紋。在基于媒紋的索引構(gòu)建過程中，提出了基于大容量內(nèi)存的索引結(jié)構(gòu)，可根據(jù)查詢索引快速定位到圖像列表，大幅度提高查詢速度；在分布式查詢方面，對比了集中放置和分散放置兩種不同的分布式方法，并針對不同服務(wù)器上查詢時間不完全一致的問題，借鑒CPU指令流水線思想提出了改進(jìn)的方法。
　　實驗表明，采用PCA降維的方法比普通分組降維的方法