基于自適應(yīng)策略的Spark自動化檢查點的研究與優(yōu)化.pdf

1、由于Hadoop MapReduce等大數(shù)據(jù)處理平臺的處理性能一直在不斷提升，使得大數(shù)據(jù)處理成為了IT業(yè)界內(nèi)最受關(guān)注的領(lǐng)域。在這些大數(shù)據(jù)處理平臺中，Spark框架從被提出來之后變得越來越流行。相對于傳統(tǒng)的Hadoop MapReduce編程模型的key-value編程，Spark的編程模型中提供了更多對于集合操作的支持使得 Spark編程本身更容易學習使用。
　　由于Spark的是一個完全在內(nèi)存中計算的框架，它相對于Hadoop

2、MapReduce在性能上有極大的提升。當Spark任務(wù)發(fā)生失敗或者RDD讀取未中的時候，Spark會重新計算丟失RDD的依賴路徑（lineage）上所有丟失RDD。一個非常長的依賴路徑不僅會增加重新計算的代價，同時也會耗費更多的時間與空間代價。Spark中的檢查點會切斷 RDD的依賴關(guān)系同時將數(shù)據(jù)存儲到磁盤上，檢查點頻率的選擇會極大的影響整個程序的性能。但是原生Spark檢查點需要由應(yīng)用程序開發(fā)人員來進行設(shè)置，檢查點的設(shè)置過于頻繁會使

3、系統(tǒng)性能下降?；蛘弋斚到y(tǒng)配置變更后原有應(yīng)用程序上的檢查點設(shè)置可能并不會很好的適應(yīng)新的系統(tǒng)環(huán)境。
　　本文在研究與分析 Spark源代碼并進行驗證實驗的基礎(chǔ)上，發(fā)現(xiàn)了相應(yīng)模塊上的不足。針對發(fā)現(xiàn)的問題探索設(shè)計并實現(xiàn)三種在Spark上的自動化檢查點策略來解決由長依賴路徑帶來的額外開銷，同時使得檢查點給性能本身帶來的影響較小。這個自動化的檢查點主要具有以下功能：
　　1)根據(jù)RDD依賴路徑關(guān)系自動選擇正確的檢查點數(shù)據(jù)進行保存。在Sp

4、ark應(yīng)用的一次任務(wù)過程中會產(chǎn)生非常多的RDD，在進行檢查點數(shù)據(jù)保存時，挑選出依賴路徑上關(guān)鍵RDD數(shù)據(jù)進行保存。
　　2)選擇合適的檢查點執(zhí)行時間。根據(jù)內(nèi)存使用情況以及檢查點執(zhí)行耗時等影響因素來平衡選擇檢查點執(zhí)行時機，在不造成過多額外時間開銷的情況下提高應(yīng)用程序模塊的運行效率。
　　3)自動清理已經(jīng)過期的檢查點數(shù)據(jù)。在新的檢查點完成之后刪除之前保存且并不需要的檢查點數(shù)據(jù)。采用SSD來存儲檢查點數(shù)據(jù)以提高存儲讀寫效率。