復(fù)雜網(wǎng)絡(luò)社團(tuán)發(fā)現(xiàn)算法的并行化設(shè)計與研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展與信息技術(shù)的普及，快速積累的海量數(shù)據(jù)時代已經(jīng)來臨。如何有效的處理海量數(shù)據(jù)是現(xiàn)今信息技術(shù)領(lǐng)域最炙手可熱的話題。解決大數(shù)據(jù)的相關(guān)問題不僅僅是時間上的挑戰(zhàn)，還需要大量的機(jī)器硬件設(shè)備來支持，以便高效、準(zhǔn)確的處理和分析數(shù)據(jù)。
　　云計算技術(shù)的出現(xiàn)不僅在實(shí)際上擺脫了昂貴的硬件費(fèi)用問題，對海量數(shù)據(jù)處理的實(shí)用化也提供了解決方案。云計算的并行計算模型使得它遵循著不信任任何節(jié)點(diǎn)服務(wù)器的觀點(diǎn)。相同的一個數(shù)據(jù)塊的多個副本會存放在不同節(jié)

2、點(diǎn)上。雖然計算節(jié)點(diǎn)不穩(wěn)定，但是這些節(jié)點(diǎn)卻可以構(gòu)建出穩(wěn)定的云計算系統(tǒng)。當(dāng)今流行的Hadoop是Apache基金會的開源項目，為程序開發(fā)者提供了一個分布式系統(tǒng)的基礎(chǔ)框架。本論文針對離散化算法和復(fù)雜網(wǎng)絡(luò)社團(tuán)發(fā)現(xiàn)算法進(jìn)行了深入研究，并在MapReduce框架下對這兩算法進(jìn)行了并行化設(shè)計與實(shí)現(xiàn)，論文的主要工作如下。
　　1)針對傳統(tǒng)的連續(xù)屬性離散化算法的不足，提出一種基于MapReduce框架下的并行化Chi2算法來提高對海量數(shù)據(jù)預(yù)處理的能

3、力。通過深入研究傳統(tǒng)的Chi2算法中的可并行性，設(shè)計并實(shí)現(xiàn)了相應(yīng)的MapReduce框架下的函數(shù)，并依據(jù)屬性重要性程度對屬性離散化順序進(jìn)行合理調(diào)整。實(shí)驗結(jié)果表明基于MapReduce編程模式的Chi2算法具有良好的可擴(kuò)展性和較高的執(zhí)行效率，對于快速處理海量數(shù)據(jù)提供了一種有效方法。
　　2)在大型網(wǎng)絡(luò)中經(jīng)常利用復(fù)雜網(wǎng)絡(luò)來探尋社團(tuán)結(jié)構(gòu)，但由于在此過程中需要計算網(wǎng)絡(luò)中每對節(jié)點(diǎn)之間的最短路徑，進(jìn)而產(chǎn)生了相應(yīng)的局限性。為解決此類問題，在Ma