大數(shù)據環(huán)境下可復用迭代計算的研究.pdf

1、在大數(shù)據的背景下，隨著數(shù)據挖掘、機器學習等相關領域的發(fā)展，越來越多的迭代計算應用諸多領域中，然而在大數(shù)據背景下，迭代算法也出現(xiàn)諸多不適用性。低價值密度是大數(shù)據的一個特點，我們經常需要更換數(shù)據范圍以獲取結果，因此多次迭代計算的輸入數(shù)據既重疊有會有所差異，而重疊部分的迭代結果卻無法復用。此外，時變性是大數(shù)據的另一個特點，當數(shù)據產生變化后，原始數(shù)據的迭代結果將不再適用，整個迭代算法也需要在數(shù)據全集上重新運行，這將浪費大量的時間和資源。因此，如

2、何充分復用現(xiàn)有數(shù)據的迭代結果，避免在新數(shù)據集上進行迭代，而僅在變化數(shù)據集（增量或減量）上追加計算，將是一種適應大數(shù)據特點的嶄新的迭代計算方法。
　　首先，本文提出一個可復用的且適用于大部分算法的迭代計算模型?？蓮陀玫嬎隳Ｐ驮诓粨p失迭代精度的前提下利用原始的迭代結果和數(shù)據的變化量獲得新的迭代結果?？蓮陀玫嬎隳Ｐ头譃樵疾?、剪枝步、增量步以及合并步，其中原始步在可復用迭代開始前已經完成。本文采用理論證明以及實驗分析的方法，證明

3、了可復用迭代計算模型的正確性和性能優(yōu)勢。
　　其次，迭代算法的特性由其迭代變量所表征。迭代變量的選擇對于迭代算法的收斂速度起到至關緊要的作用。結合可復用迭代計算模型，本文提出一種迭代變量初始點選擇算法，以優(yōu)化迭代計算的效率。
　　再次，在異構的分布式計算環(huán)境中，由于節(jié)點計算能力的差異，并行性難以保證，節(jié)點間同步時會相互等待，浪費計算資源，嚴重影響計算性能。由于迭代的每一輪均需要進行同步操作，因此上述問題在迭代計算中更為明顯。

4、本文從負載均衡的角度出發(fā)，提出基于任務分發(fā)和調整的負載均衡算法，提高節(jié)點并行性，進而提高迭代計算的性能。
　　最后，本文通過大量的實驗用例證明了所提出模型的正確性和性能優(yōu)勢以及所提出算法的性能優(yōu)勢。實驗結果表明，可復用迭代模型是可行的，能夠適應多數(shù)迭代算法，且明顯提高算法執(zhí)行性能;初始點選擇算法適用于矩陣運算型和數(shù)據聚類型迭代算法，能夠顯著優(yōu)化迭代算法執(zhí)行性能;負載均衡算法適用于MapReduce和Spark框架，能夠一定程度上提