谷歌大規(guī)模排序?qū)嶒?yàn)的歷史[翻譯]

1、原文鏈接：:cloud.blogbigdata201602histyofmassivescalestingexperimentsatgoogle作者：MarianDvsky，軟件工程師，谷歌云平臺(tái)HistyofmassivescalestingexperimentsatGoogle谷歌大規(guī)模排序?qū)嶒?yàn)的歷史ThursdayFebruary182016星期四，2016年2月18日We’vetestedMapReducebystinglarg

2、eamountsofromdataeversincewecreatedthetool.Welikestingbecauseit’seasytogenerateanarbitraryamountofdatait’seasytovalidatethattheoutputiscrect.我們發(fā)明了MapReduce這個(gè)工具之后，對(duì)它進(jìn)行了大規(guī)模隨機(jī)數(shù)據(jù)的排序測(cè)試。我們喜歡排序，因?yàn)楹苋菀桩a(chǎn)生任意規(guī)模的數(shù)據(jù)，也很容易驗(yàn)證排序的輸出是否正確。Ev

3、entheiginalMapReducepaperreptsaTeraStresult.Engineersrun1TB10TBstsasregressiontestsonaregularbasisbecauseobscurebugstendtobemevisibleonalargescale.Howevertherealfunbeginswhenweincreasethescaleevenfurther.InthispostI’llta

4、lkaboutourexperiencewithsomepetabytescalestingexperimentswedidafewyearsagoincludingwhatwebelievetobethelargestMapReducejobever:a50PBst.我們最初的MapReduce論文就報(bào)道了一個(gè)TeraSt排序的結(jié)果。工程師在一定的規(guī)則基礎(chǔ)上對(duì)1TB或10TB的數(shù)據(jù)進(jìn)行排序測(cè)試，因?yàn)榧?xì)小的錯(cuò)誤更容易在大規(guī)模數(shù)據(jù)運(yùn)行的時(shí)

5、候被發(fā)現(xiàn)。然而，真正有趣的事情在我們進(jìn)一步擴(kuò)大數(shù)據(jù)規(guī)模后才開(kāi)始。在這篇文章中，我將講一講我們?cè)趲啄曛八龅囊恍㏄B級(jí)別的排序?qū)嶒?yàn)，包括我們認(rèn)為是目前最大的MapReduce工作：50PB排序。ThesedaysGrayStisthelargescalestingbenchmarkofchoice.InGrayStyoumuststatleast100TBofdata(as100byterecdswiththefirst10bytesb

6、eingthekey)lexicographicallyasfastaspossible.Thesitestbenchmark.gtracksofficialwinnersfthisbenchmark.Weneverenteredtheofficialcompetition.那時(shí)候，GraySt是大型排序基準(zhǔn)的選擇。在GraySt基準(zhǔn)下，你必須按照盡快對(duì)至少100TB的數(shù)據(jù)(每100B數(shù)據(jù)用最前面的10B數(shù)據(jù)作為鍵)進(jìn)行字典序排序。St

7、benchmark.g這個(gè)網(wǎng)站追蹤報(bào)道了這個(gè)基準(zhǔn)的官方優(yōu)勝者。而我們usedfthebenchmarkdoesn’thaveanychecksumsembeddedfMapReducetonotice(thetypicaluseofMapReduceatGoogleusesfilefmatswithembeddedchecksums).2007年我們運(yùn)行了第一個(gè)Petast。在那個(gè)時(shí)候，我們最高興的是這個(gè)程序最終完成了排序，盡管我們對(duì)排

8、序的結(jié)果有一些疑問(wèn)(我們沒(méi)有驗(yàn)證排序結(jié)果的正確性)。如果不是我們?nèi)∠艘欢ㄒ骋粋€(gè)輸出分區(qū)與備份完全相同的驗(yàn)證機(jī)制，這個(gè)排序便不會(huì)結(jié)束。我們懷疑這是因?yàn)槲覀冇脕?lái)存儲(chǔ)輸入和輸出的文件是GFS格式(谷歌文件系統(tǒng))的緣故。GFS文件沒(méi)有足夠校驗(yàn)和保護(hù)，有時(shí)會(huì)返回被污染的數(shù)據(jù)。不幸的是，這個(gè)基準(zhǔn)所使用的文件格式?jīng)]有任何嵌入式校驗(yàn)供MapReduce使用(谷歌使用的典型MapReduce的文件是有嵌入式校驗(yàn)的)。20082008(1PB6.03h

9、ours2.76TBmin11.5MBswker)1PB6.03小時(shí)，2.76TBmin，11.5MBswker2008wasthefirsttimewefocusedontuning.Wespentseveraldaystuningthenumberofshardsvariousbuffersizesprefetchingwriteaheadstrategiespagecacheusageetc.Webloggedaboutthere

10、sulthere.ThebottleneckendedupbeingwritingthethreewayreplicatedoutputGFSwhichwasthestardweusedatGoogleatthetime.Anythinglesswouldcreateahighriskofdataloss.2008年我們第一次把注意力集中于調(diào)整。我們花費(fèi)幾天的時(shí)間來(lái)調(diào)整分區(qū)的數(shù)量，緩沖區(qū)的大小，預(yù)取預(yù)寫(xiě)策略，頁(yè)面緩存使用等。我們?cè)?jīng)在這

11、個(gè)博客里記錄過(guò)結(jié)果。最終的瓶頸是寫(xiě)三路復(fù)制的GFS輸出文件，這是當(dāng)時(shí)我們?cè)诠雀枋褂玫臉?biāo)準(zhǔn)。任何事情的缺失都會(huì)造成數(shù)據(jù)丟失的高風(fēng)險(xiǎn)。20102010(1PB2.95hours5.65TBmin11.8MBswker)1PB2.95小時(shí)5.65TBmin11.8MBswkerFthistestweusedthenewversionoftheGrayStbenchmarkthatusesincompressibledata.Intheprev