復(fù)雜網(wǎng)絡(luò)社團發(fā)現(xiàn)算法的并行化設(shè)計與研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展與信息技術(shù)的普及，快速積累的海量數(shù)據(jù)時代已經(jīng)來臨。如何有效的處理海量數(shù)據(jù)是現(xiàn)今信息技術(shù)領(lǐng)域最炙手可熱的話題。解決大數(shù)據(jù)的相關(guān)問題不僅僅是時間上的挑戰(zhàn)，還需要大量的機器硬件設(shè)備來支持，以便高效、準(zhǔn)確的處理和分析數(shù)據(jù)。
　　云計算技術(shù)的出現(xiàn)不僅在實際上擺脫了昂貴的硬件費用問題，對海量數(shù)據(jù)處理的實用化也提供了解決方案。云計算的并行計算模型使得它遵循著不信任任何節(jié)點服務(wù)器的觀點。相同的一個數(shù)據(jù)塊的多個副本會存放在不同節(jié)

2、點上。雖然計算節(jié)點不穩(wěn)定，但是這些節(jié)點卻可以構(gòu)建出穩(wěn)定的云計算系統(tǒng)。當(dāng)今流行的Hadoop是Apache基金會的開源項目，為程序開發(fā)者提供了一個分布式系統(tǒng)的基礎(chǔ)框架。本論文針對離散化算法和復(fù)雜網(wǎng)絡(luò)社團發(fā)現(xiàn)算法進行了深入研究，并在MapReduce框架下對這兩算法進行了并行化設(shè)計與實現(xiàn)，論文的主要工作如下。
　　1)針對傳統(tǒng)的連續(xù)屬性離散化算法的不足，提出一種基于MapReduce框架下的并行化Chi2算法來提高對海量數(shù)據(jù)預(yù)處理的能

3、力。通過深入研究傳統(tǒng)的Chi2算法中的可并行性，設(shè)計并實現(xiàn)了相應(yīng)的MapReduce框架下的函數(shù)，并依據(jù)屬性重要性程度對屬性離散化順序進行合理調(diào)整。實驗結(jié)果表明基于MapReduce編程模式的Chi2算法具有良好的可擴展性和較高的執(zhí)行效率，對于快速處理海量數(shù)據(jù)提供了一種有效方法。
　　2)在大型網(wǎng)絡(luò)中經(jīng)常利用復(fù)雜網(wǎng)絡(luò)來探尋社團結(jié)構(gòu)，但由于在此過程中需要計算網(wǎng)絡(luò)中每對節(jié)點之間的最短路徑，進而產(chǎn)生了相應(yīng)的局限性。為解決此類問題，在Ma