典型內(nèi)存計(jì)算系統(tǒng)的內(nèi)存開(kāi)銷(xiāo)評(píng)測(cè)研究.pdf

1、在大數(shù)據(jù)計(jì)算領(lǐng)域，開(kāi)源分布式并行計(jì)算平臺(tái)Spark吸引了越來(lái)越多人們的關(guān)注。它基于內(nèi)存計(jì)算的特點(diǎn)，極大提升了迭代計(jì)算的效率，卻也存在著內(nèi)存溢出異常(Out of Memory，OOM)經(jīng)常發(fā)生的問(wèn)題，針對(duì)基于Spark系統(tǒng)的大數(shù)據(jù)應(yīng)用進(jìn)行一體化的性能分析，為優(yōu)化系統(tǒng)性能和保證服務(wù)質(zhì)量提供依據(jù)，成為一個(gè)迫切需要。
　　為了實(shí)現(xiàn)以Spark為代表的典型內(nèi)存計(jì)算系統(tǒng)的內(nèi)存開(kāi)銷(xiāo)評(píng)測(cè)，本文將設(shè)計(jì)與開(kāi)發(fā)一個(gè)針對(duì)Spark的一體化性能分析工具S

2、park Profiling Tool(SPT)，它能夠采集系統(tǒng)軟件棧多個(gè)層次的運(yùn)行數(shù)據(jù)，并進(jìn)行關(guān)聯(lián)分析，同時(shí)針對(duì)Spark系統(tǒng)經(jīng)常出現(xiàn)的OOM問(wèn)題，提出基于SPT工具的內(nèi)存性能分析與優(yōu)化方案。本文主要工作包括:
　　(1)SPT工具的總體設(shè)計(jì)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)分析模塊等，以及模塊之間的接口與數(shù)據(jù)交換規(guī)范。
　　(2)數(shù)據(jù)采集模塊，針對(duì)應(yīng)用層、操作系統(tǒng)層、體系結(jié)構(gòu)層等不同層次運(yùn)行數(shù)據(jù)的特點(diǎn)，采用不同方法

3、進(jìn)行獲取。設(shè)計(jì)實(shí)現(xiàn)了動(dòng)態(tài)可開(kāi)關(guān)的運(yùn)行狀態(tài)探針，進(jìn)行動(dòng)態(tài)插樁監(jiān)測(cè)，實(shí)現(xiàn)不同粒度性能數(shù)據(jù)的動(dòng)態(tài)采集。
　　(3)數(shù)據(jù)預(yù)處理模塊，針對(duì)采集的數(shù)據(jù)多源異構(gòu)、信息冗余等問(wèn)題，進(jìn)行不同文件間的數(shù)據(jù)重組和提取，形成統(tǒng)一格式的中間文件。同時(shí)，為保證處理效率，該模塊借助Spark編程實(shí)現(xiàn)。
　　(4)數(shù)據(jù)分析模塊，基于Spark集群的分布式并行計(jì)算能力，借助Spark SQL，通過(guò)實(shí)現(xiàn)多種UDF和UDAF，完成Spark應(yīng)用系統(tǒng)性能監(jiān)測(cè)數(shù)據(jù)的