大數(shù)據(jù)環(huán)境下可復(fù)用迭代計(jì)算的研究.pdf

1、在大數(shù)據(jù)的背景下，隨著數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域的發(fā)展，越來(lái)越多的迭代計(jì)算應(yīng)用諸多領(lǐng)域中，然而在大數(shù)據(jù)背景下，迭代算法也出現(xiàn)諸多不適用性。低價(jià)值密度是大數(shù)據(jù)的一個(gè)特點(diǎn)，我們經(jīng)常需要更換數(shù)據(jù)范圍以獲取結(jié)果，因此多次迭代計(jì)算的輸入數(shù)據(jù)既重疊有會(huì)有所差異，而重疊部分的迭代結(jié)果卻無(wú)法復(fù)用。此外，時(shí)變性是大數(shù)據(jù)的另一個(gè)特點(diǎn)，當(dāng)數(shù)據(jù)產(chǎn)生變化后，原始數(shù)據(jù)的迭代結(jié)果將不再適用，整個(gè)迭代算法也需要在數(shù)據(jù)全集上重新運(yùn)行，這將浪費(fèi)大量的時(shí)間和資源。因此，如

2、何充分復(fù)用現(xiàn)有數(shù)據(jù)的迭代結(jié)果，避免在新數(shù)據(jù)集上進(jìn)行迭代，而僅在變化數(shù)據(jù)集（增量或減量）上追加計(jì)算，將是一種適應(yīng)大數(shù)據(jù)特點(diǎn)的嶄新的迭代計(jì)算方法。
　　首先，本文提出一個(gè)可復(fù)用的且適用于大部分算法的迭代計(jì)算模型。可復(fù)用迭代計(jì)算模型在不損失迭代精度的前提下利用原始的迭代結(jié)果和數(shù)據(jù)的變化量獲得新的迭代結(jié)果?？蓮?fù)用迭代計(jì)算模型分為原始步、剪枝步、增量步以及合并步，其中原始步在可復(fù)用迭代開(kāi)始前已經(jīng)完成。本文采用理論證明以及實(shí)驗(yàn)分析的方法，證明

3、了可復(fù)用迭代計(jì)算模型的正確性和性能優(yōu)勢(shì)。
　　其次，迭代算法的特性由其迭代變量所表征。迭代變量的選擇對(duì)于迭代算法的收斂速度起到至關(guān)緊要的作用。結(jié)合可復(fù)用迭代計(jì)算模型，本文提出一種迭代變量初始點(diǎn)選擇算法，以?xún)?yōu)化迭代計(jì)算的效率。
　　再次，在異構(gòu)的分布式計(jì)算環(huán)境中，由于節(jié)點(diǎn)計(jì)算能力的差異，并行性難以保證，節(jié)點(diǎn)間同步時(shí)會(huì)相互等待，浪費(fèi)計(jì)算資源，嚴(yán)重影響計(jì)算性能。由于迭代的每一輪均需要進(jìn)行同步操作，因此上述問(wèn)題在迭代計(jì)算中更為明顯。

4、本文從負(fù)載均衡的角度出發(fā)，提出基于任務(wù)分發(fā)和調(diào)整的負(fù)載均衡算法，提高節(jié)點(diǎn)并行性，進(jìn)而提高迭代計(jì)算的性能。
　　最后，本文通過(guò)大量的實(shí)驗(yàn)用例證明了所提出模型的正確性和性能優(yōu)勢(shì)以及所提出算法的性能優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明，可復(fù)用迭代模型是可行的，能夠適應(yīng)多數(shù)迭代算法，且明顯提高算法執(zhí)行性能;初始點(diǎn)選擇算法適用于矩陣運(yùn)算型和數(shù)據(jù)聚類(lèi)型迭代算法，能夠顯著優(yōu)化迭代算法執(zhí)行性能;負(fù)載均衡算法適用于MapReduce和Spark框架，能夠一定程度上提