基于上網(wǎng)日志大數(shù)據(jù)的數(shù)據(jù)挖掘及可視化研究.pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，人們利用信息化的程度越來越高，并在信息化的過程中產(chǎn)生了大量的結(jié)構(gòu)化和非結(jié)構(gòu)的數(shù)據(jù)信息。如何采集、存儲(chǔ)、分析大量的數(shù)據(jù)化信息成為人們研究的熱點(diǎn)之一?；ヂ?lián)網(wǎng)商業(yè)巨頭Google公司在2004年率先提出如何處理大規(guī)模數(shù)據(jù)的分布式計(jì)算框架，之后開源的分布式Hadoop技術(shù)應(yīng)運(yùn)而生。利用分布式存儲(chǔ)計(jì)算框架Hadoop平臺(tái)處理各種形式的大數(shù)據(jù)成為業(yè)界的主流技術(shù)。目前，我們國家通信運(yùn)營商每天都會(huì)產(chǎn)生大量的、各種各樣

2、的日志數(shù)據(jù)，如何能夠有效的加以利用，是個(gè)造福社會(huì)的大工程。
　　本文針對我們所擁有某市一個(gè)月的移動(dòng)用戶的微信上網(wǎng)日志進(jìn)行大數(shù)據(jù)處理及分析。我們采用了數(shù)據(jù)挖掘中經(jīng)典的K-means算法進(jìn)行了時(shí)間聚類，將用戶的上網(wǎng)時(shí)間分為了4類，對用戶在各個(gè)時(shí)段的上網(wǎng)習(xí)慣進(jìn)行了聚類。實(shí)驗(yàn)主要運(yùn)用Hadoop集群的MapReduce計(jì)算框架在多維度上進(jìn)行需求機(jī)能測試，對各種需求情況進(jìn)行深度研究的應(yīng)用實(shí)驗(yàn)，并綜合分析各維度的結(jié)果，在此結(jié)果上分析出上網(wǎng)用戶