百度圖片分布式索引建庫服務(wù)平臺的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,從互聯(lián)網(wǎng)上抓取的數(shù)據(jù)呈現(xiàn)幾何級增長,一方面對網(wǎng)頁的存儲增加了技術(shù)難度,另一方面如何處理PB級別的數(shù)據(jù)也是擺在工程師面前的技術(shù)難題。傳統(tǒng)的單機(jī)數(shù)據(jù)處理,雖然十分方便,但所耗時間很長,對于當(dāng)前情況根本無法滿足,所以需要采用分布式方式進(jìn)行數(shù)據(jù)處理。而采用分布式處理海量數(shù)據(jù),就需要進(jìn)行并行化程序設(shè)計。
　　本系統(tǒng)服務(wù)平臺就是為了解決策略研發(fā)人員方便進(jìn)行分布式索引建庫進(jìn)行開發(fā)的。
　　針對大數(shù)據(jù)量建庫的問題,主要

2、的解決方法是采用分布式存儲和計算,利用開源的Hadoop框架完成整體流程。利用Hadoop自身強(qiáng)大的兼容性和易開發(fā)性,將大數(shù)據(jù)分而治之,并結(jié)合Hadoop自身的排序機(jī)制,完成數(shù)據(jù)的定向分配和處理,生成最終供用戶使用的索引文件;針對研發(fā)人員經(jīng)常調(diào)研新的排序策略,而且分布式索引建庫需要在同一集群上并行運行,系統(tǒng)解決的方式是給用戶提供一個可配置的建庫申請文件,在文件中自定義自己的程序信息,保證不同用戶可以并行啟動分布式建庫任務(wù);針對用戶對建庫

3、過程不了解的問題,采用統(tǒng)一服務(wù)平臺接口,用戶只需提供相應(yīng)的建庫請求文件,即可完成最終的索引并傳輸至指定的機(jī)器,同時在建庫過程中,為了使用戶及時了解索引建庫進(jìn)度,系統(tǒng)采用階段性郵件通知,使建庫的細(xì)節(jié)過程更加透明。
　　本文對上述問題提供了合理的解決方案,同時采用C/C++以及Shell語言在Hadoop分布式環(huán)境下具體實現(xiàn)了用于圖片檢索的分布式建庫服務(wù)平臺。
　　經(jīng)過測試表明,本系統(tǒng)平臺能夠方便為多用戶提供分布式建庫服務(wù),而且