基于復(fù)雜網(wǎng)絡(luò)的大規(guī)模電信數(shù)據(jù)分析研究.pdf

1、近年來(lái)，隨著網(wǎng)絡(luò)科學(xué)的興起，基于網(wǎng)絡(luò)和圖挖掘的分析方法受到了越來(lái)越多的關(guān)注，并被廣泛應(yīng)用到物理、生物、政治經(jīng)濟(jì)、互聯(lián)網(wǎng)絡(luò)、工程開發(fā)和社會(huì)生活的各個(gè)領(lǐng)域。在過(guò)去的十年中，研究人員通過(guò)把現(xiàn)實(shí)數(shù)據(jù)抽象成網(wǎng)絡(luò)結(jié)構(gòu)，并利用來(lái)自圖論、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模式分類、信息檢索和統(tǒng)計(jì)推斷等方法來(lái)揭示數(shù)據(jù)背后所隱藏的模式和交互規(guī)律，從而為人們對(duì)認(rèn)知對(duì)象提供了一個(gè)前所未有認(rèn)識(shí)。與此同時(shí)，隨著分析方法的成熟和應(yīng)用場(chǎng)景的延伸，網(wǎng)絡(luò)分析帶給研究人員的另一個(gè)挑戰(zhàn)是如

2、何在超大規(guī)模數(shù)據(jù)（PB級(jí)）中進(jìn)行有效地挖掘。為了應(yīng)對(duì)這些挑戰(zhàn)，工業(yè)界和學(xué)術(shù)界越來(lái)越傾向于使用基于分布式密集數(shù)據(jù)計(jì)算模型，如MapReduce等，來(lái)進(jìn)行大規(guī)模數(shù)據(jù)挖掘。
　　 本文從社會(huì)網(wǎng)絡(luò)角度出發(fā)，對(duì)大規(guī)模電信數(shù)據(jù)進(jìn)行了全面的，多維度的分析。不同于以往的網(wǎng)絡(luò)分析，本文利用通話數(shù)據(jù)的多維屬性，如年齡、性別、通話時(shí)間、通話時(shí)長(zhǎng)、頻率和移動(dòng)基站等，從多個(gè)視角對(duì)人們?nèi)粘５耐ㄔ捫袨檫M(jìn)行了刻畫，從而深刻揭示了人們交往行為的模式和內(nèi)在特征。此

3、外，具有時(shí)間特性的模式發(fā)現(xiàn)在社會(huì)結(jié)構(gòu)研究中占有重要地位。網(wǎng)絡(luò)演化過(guò)程中潛在的模式發(fā)現(xiàn)問(wèn)題受到了人們?cè)絹?lái)越多的關(guān)注。本文提出了一個(gè)全新的復(fù)雜網(wǎng)絡(luò)分析框架來(lái)跟蹤動(dòng)態(tài)網(wǎng)絡(luò)的演化規(guī)律，發(fā)現(xiàn)其在演化過(guò)程中的時(shí)間特性。整個(gè)框架首先利用有效快速的方法發(fā)現(xiàn)網(wǎng)絡(luò)的timeline，然后利用圖近似算法刻畫timeline中的平穩(wěn)演化段落。這樣可以有效的降低個(gè)體行為的不確定性所帶來(lái)的網(wǎng)絡(luò)演化噪聲。同時(shí)，綜合考慮到網(wǎng)絡(luò)中個(gè)體的多維屬性，本文還提出一種高效的社團(tuán)

4、發(fā)現(xiàn)算法，用以發(fā)現(xiàn)動(dòng)態(tài)網(wǎng)絡(luò)中的社團(tuán)結(jié)構(gòu)，并采用了全新的社團(tuán)演化評(píng)價(jià)方法，以發(fā)現(xiàn)社團(tuán)演化過(guò)程的動(dòng)態(tài)特征。
　　 為了應(yīng)對(duì)TB級(jí)甚至PB級(jí)電信數(shù)據(jù)的分析，本文還提出了一種基于MapReduce的分布式圖挖掘模型，從而能夠?qū)Τ笠?guī)模網(wǎng)絡(luò)模型進(jìn)行特征分析和典型結(jié)構(gòu)挖掘。在具體圖挖掘算法中，區(qū)別于傳統(tǒng)圖算法較難分布化計(jì)算的觀點(diǎn)，本文提出了一種“Tow—leap”結(jié)構(gòu)的近似計(jì)算方法。該方法在保證準(zhǔn)確性的前提下能夠極大地提高大圖挖掘效率。此外