基于細(xì)粒度監(jiān)控的Spark優(yōu)化研究.pdf

1、Spark具有良好的容錯(cuò)性和擴(kuò)展性，在業(yè)界已經(jīng)得到了廣泛的應(yīng)用，但由于Spark平臺(tái)底層實(shí)現(xiàn)技術(shù)對(duì)用戶來(lái)說(shuō)是透明的，而且性能優(yōu)化需要綜合考慮集群資源利用率、Spark負(fù)載執(zhí)行效率等多種因素，使得不同類型的負(fù)載的分析優(yōu)化變得十分復(fù)雜，經(jīng)驗(yàn)不足的Spark用戶常常無(wú)從入手。Spark的一個(gè)特點(diǎn)是支持如Amazon EMR等的云服務(wù)，這個(gè)特性對(duì)于需要處理大數(shù)據(jù)的中小企業(yè)有很大的益處。因此，在云服務(wù)上執(zhí)行Spark程序已經(jīng)成為了一些企業(yè)和科研機(jī)

2、構(gòu)的的彈性選擇。Amazon EMR為需要運(yùn)行Spark負(fù)載的用戶提供了便利。然而為了高效地使用租賃服務(wù)，用戶需要在滿足應(yīng)用需求的前提下，申請(qǐng)分配最優(yōu)的集群資源，以降低租賃成本，然而服務(wù)提供商并不能滿足這樣的服務(wù)需求。如此一來(lái)，集群資源分配的優(yōu)化完全成為了用戶的責(zé)任，這對(duì)于Spark用戶來(lái)說(shuō)是一個(gè)很大的挑戰(zhàn)，更是一個(gè)亟待解決的問(wèn)題。
　　本文針對(duì)以上問(wèn)題，設(shè)計(jì)并實(shí)現(xiàn)了Spark集群細(xì)粒度監(jiān)控工具，并在細(xì)粒度監(jiān)控的基礎(chǔ)上，完成了以下

3、研究?jī)?nèi)容：（1）通過(guò)對(duì)Spark性能影響較大的因素的研究，結(jié)合集群資源和Spark歷史運(yùn)行數(shù)據(jù)的細(xì)粒度監(jiān)控，針對(duì)不同類型的負(fù)載，對(duì)Spark的性能優(yōu)化工作進(jìn)行了研究，優(yōu)化維度包括：數(shù)據(jù)序列化方式、Shuffle管理器、RDD的持久化、數(shù)據(jù)的壓縮、資源調(diào)度、文件系統(tǒng)策略等，優(yōu)化目標(biāo)為提高集群的資源利用率、減少作業(yè)的執(zhí)行時(shí)間。（2）通過(guò)對(duì)Spark負(fù)載進(jìn)行性能建模，以用于預(yù)測(cè)作業(yè)的執(zhí)行時(shí)間，進(jìn)而優(yōu)化Spark集群資源的分配，集群資源分配優(yōu)化