百度圖片分布式索引建庫(kù)服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,從互聯(lián)網(wǎng)上抓取的數(shù)據(jù)呈現(xiàn)幾何級(jí)增長(zhǎng),一方面對(duì)網(wǎng)頁(yè)的存儲(chǔ)增加了技術(shù)難度,另一方面如何處理PB級(jí)別的數(shù)據(jù)也是擺在工程師面前的技術(shù)難題。傳統(tǒng)的單機(jī)數(shù)據(jù)處理,雖然十分方便,但所耗時(shí)間很長(zhǎng),對(duì)于當(dāng)前情況根本無(wú)法滿足,所以需要采用分布式方式進(jìn)行數(shù)據(jù)處理。而采用分布式處理海量數(shù)據(jù),就需要進(jìn)行并行化程序設(shè)計(jì)。
　　本系統(tǒng)服務(wù)平臺(tái)就是為了解決策略研發(fā)人員方便進(jìn)行分布式索引建庫(kù)進(jìn)行開(kāi)發(fā)的。
　　針對(duì)大數(shù)據(jù)量建庫(kù)的問(wèn)題,主要

2、的解決方法是采用分布式存儲(chǔ)和計(jì)算,利用開(kāi)源的Hadoop框架完成整體流程。利用Hadoop自身強(qiáng)大的兼容性和易開(kāi)發(fā)性,將大數(shù)據(jù)分而治之,并結(jié)合Hadoop自身的排序機(jī)制,完成數(shù)據(jù)的定向分配和處理,生成最終供用戶使用的索引文件;針對(duì)研發(fā)人員經(jīng)常調(diào)研新的排序策略,而且分布式索引建庫(kù)需要在同一集群上并行運(yùn)行,系統(tǒng)解決的方式是給用戶提供一個(gè)可配置的建庫(kù)申請(qǐng)文件,在文件中自定義自己的程序信息,保證不同用戶可以并行啟動(dòng)分布式建庫(kù)任務(wù);針對(duì)用戶對(duì)建庫(kù)

3、過(guò)程不了解的問(wèn)題,采用統(tǒng)一服務(wù)平臺(tái)接口,用戶只需提供相應(yīng)的建庫(kù)請(qǐng)求文件,即可完成最終的索引并傳輸至指定的機(jī)器,同時(shí)在建庫(kù)過(guò)程中,為了使用戶及時(shí)了解索引建庫(kù)進(jìn)度,系統(tǒng)采用階段性郵件通知,使建庫(kù)的細(xì)節(jié)過(guò)程更加透明。
　　本文對(duì)上述問(wèn)題提供了合理的解決方案,同時(shí)采用C/C++以及Shell語(yǔ)言在Hadoop分布式環(huán)境下具體實(shí)現(xiàn)了用于圖片檢索的分布式建庫(kù)服務(wù)平臺(tái)。
　　經(jīng)過(guò)測(cè)試表明,本系統(tǒng)平臺(tái)能夠方便為多用戶提供分布式建庫(kù)服務(wù),而且