基于Hadoop的海量小文件處理技術(shù)研究.pdf

1、當(dāng)前,由Apache基金會(huì)所研發(fā)的Hadoop云計(jì)算平臺(tái),已經(jīng)迅速成為了大數(shù)據(jù)處理領(lǐng)域的熱門首選。與此同時(shí),個(gè)性化互聯(lián)網(wǎng)及移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展,迅速催生出大量具有重要價(jià)值的小文件。由于在現(xiàn)實(shí)的應(yīng)用中,存在較多利用Hadoop對(duì)海量小文件進(jìn)行存取的需求;同時(shí)海量的小文件經(jīng)過合并處理可以方便地得到適合Hadoop平臺(tái)處理的大文件。因此,利用Hadoop平臺(tái)在處理大數(shù)據(jù)處理方面的優(yōu)勢來對(duì)海量的小文件進(jìn)行處理,具有十分重要的研究價(jià)值和實(shí)用意義。

2、
　　然而,Hadoop云平臺(tái)本身是為大數(shù)據(jù)的處理而生,如果直接對(duì)海量小文件進(jìn)行處理,存在耗費(fèi)節(jié)點(diǎn)內(nèi)存等問題。現(xiàn)有基于小文件合并思想的解決方案,很好地解決了海量小文件耗費(fèi)節(jié)點(diǎn)內(nèi)存的問題。但是由于其索引結(jié)構(gòu)設(shè)計(jì)的缺陷,又帶來小文件檢索效率低、名字節(jié)點(diǎn)負(fù)擔(dān)重、實(shí)用性差等問題。本文深入研究Hadoop處理海量小文件時(shí)存在的問題,提出海量小文件處理的優(yōu)化方案。
　　論文在第三章和第四章分別提出基于多層索引的小文件讀寫策略(簡稱多層索

3、引技術(shù))以及基于緩存技術(shù)的小文件讀取策略(簡稱緩存預(yù)取技術(shù))兩種方案,并在Hadoop平臺(tái)上對(duì)兩種方案分別進(jìn)行了測試驗(yàn)證和結(jié)果分析。其中緩存預(yù)取技術(shù)是對(duì)多層索引技術(shù)的補(bǔ)充與完善,它對(duì)利用多層索引技術(shù)所檢索出的熱點(diǎn)小文件進(jìn)行緩存處理,以進(jìn)一步提高檢索效率。本文的主要工作包括兩個(gè)方面:
　　1)基于多層索引的小文件讀寫策略的研究與實(shí)現(xiàn)。本文根據(jù) Hadoop平臺(tái)現(xiàn)有小文件處理的思想,對(duì)海量小文件進(jìn)行合并然后建立索引。其中索引結(jié)構(gòu)的設(shè)計(jì)

4、是本文的創(chuàng)新點(diǎn)及研究重點(diǎn),包括索引預(yù)處理、索引分層、索引分片等。通過對(duì)小文件按類型進(jìn)行合并,建立多層索引,并對(duì)Hadoop平臺(tái)源代碼進(jìn)行相應(yīng)改進(jìn),海量小文件在Hadoop平臺(tái)上耗費(fèi)節(jié)點(diǎn)內(nèi)存的問題得到解決,檢索效率得到一定程度提升、名字節(jié)點(diǎn)負(fù)擔(dān)得到減輕、實(shí)用性也得到提高。
　　2)基于緩存技術(shù)的小文件讀取策略的研究與實(shí)現(xiàn)。本文實(shí)現(xiàn)了基于Java語言的Adaptive Repalcement Cache緩存管理算法(ARC算法),并提