基于Hadoop的海量小文件處理性能研究與優(yōu)化.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來,互聯(lián)網(wǎng)數(shù)據(jù)與日俱增,傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)不能適應(yīng)大數(shù)據(jù)的要求,Hadoop作為進(jìn)行海量數(shù)據(jù)分析處理的云平臺應(yīng)運(yùn)而生。目前,Hadoop已經(jīng)被應(yīng)用到數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等各個(gè)領(lǐng)域當(dāng)中。
　　然而,它自設(shè)計(jì)之初,就是為了處理流數(shù)據(jù)訪問模式的大數(shù)據(jù)。事實(shí)上,在能源、氣候、天文、電子商務(wù)、電子圖書館等許多領(lǐng)域的現(xiàn)有系統(tǒng)中都包含著數(shù)量巨大的小文件。據(jù)2007年的一項(xiàng)調(diào)查表明,美國國家能源與科學(xué)計(jì)算研究中心包含

2、著超過1300萬的文件,其中,99％的文件大小在64MB以下,43％的文件大小在64KB以下。由于Hadoop平臺采用單一的節(jié)點(diǎn)來管理整個(gè)分布式文件系統(tǒng)的元數(shù)據(jù),海量小文件的出現(xiàn)就會給主節(jié)點(diǎn)帶來巨大的內(nèi)存壓力,并且會大大影響到MapReduce編程模型的計(jì)算性能。
　　針對目前Hadoop平臺不能高效的處理海量小文件而出現(xiàn)的小文件問題,文章首先提出一種基于曲線擬合最小二乘法的確定Hadoop平臺下何為小文件的方法。該方法首先確定了

3、小文件訪問時(shí)間的量化方法,然后采用訪問時(shí)間作為確立何為小文件的影響因子,通過對不同大小數(shù)據(jù)集的不同訪問時(shí)間的實(shí)驗(yàn),最終結(jié)合線性擬合的相關(guān)知識找到了小文件大小的量化方法。此外,為了提高M(jìn)apReduce處理海量小文件的性能,本文提出了一種基于預(yù)處理的文件合并算法,并結(jié)合此算法分別對合并后的數(shù)據(jù)集和未處理過的小文件數(shù)據(jù)集進(jìn)行詞頻統(tǒng)計(jì)處理,分別記錄下合并前后每個(gè)文件數(shù)據(jù)集的處理時(shí)間。實(shí)驗(yàn)結(jié)果表明,采用本合并方法的數(shù)據(jù)處理時(shí)間比合并前大大降低,