大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，用戶數(shù)據(jù)的增長(zhǎng)越來(lái)越快。這些數(shù)據(jù)的背后隱藏著巨大的商機(jī)，它們不再被當(dāng)作無(wú)用數(shù)據(jù)處理，而是被有效的分析利用，從而創(chuàng)造出新時(shí)代下的經(jīng)濟(jì)利益。
　　分析這些海量數(shù)據(jù)，單臺(tái)服務(wù)器顯然是無(wú)法完成的。因此，以集群為單位同時(shí)處理數(shù)據(jù)的方式被廣泛應(yīng)用。由于數(shù)據(jù)每時(shí)每刻都在被終端采集并傳入集群，若速度過(guò)大則會(huì)造成集群負(fù)荷過(guò)重?cái)?shù)據(jù)處理不了造成堆積，速度過(guò)小又無(wú)法充分挖掘集群的處理能力。所以如何確定采集數(shù)據(jù)的速度讓集群現(xiàn)有資源得到最優(yōu)利

2、用以及實(shí)時(shí)掌握集群的運(yùn)行狀態(tài)是值得深入研究的問(wèn)題。
　　本文采用Hadoop+Spark+HBase的方式為集群上的數(shù)據(jù)存儲(chǔ)、處理提供一套解決方案，并通過(guò)監(jiān)控集群狀況對(duì)比處理速度來(lái)確定最優(yōu)采集速度。從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、集群監(jiān)控以及性能評(píng)估等方面對(duì)集群處理大規(guī)模數(shù)據(jù)進(jìn)行了研究。論文主要包含以下工作:闡述了Hadoop、Spark以及HBase的概念、特點(diǎn)以及架構(gòu)，搭建集群，根據(jù)它們的數(shù)據(jù)集操作模型編寫(xiě)分布式程序?qū)λ鼈冞M(jìn)行了實(shí)際的應(yīng)

3、用;模擬數(shù)據(jù)流的采集，分別利用Spark-HDFS、MapReduce-HDFS、MapReduce-HBase作為數(shù)據(jù)過(guò)濾的方案，并采用Spark和MapKeduce運(yùn)行PageRank找出活躍度高的用戶從而完成對(duì)數(shù)據(jù)的處理過(guò)程;分析數(shù)據(jù)流存儲(chǔ)到集群的速度及數(shù)據(jù)實(shí)時(shí)處理的速度，并觀測(cè)集群性能，讓用戶能夠選擇最佳的采集速度，實(shí)現(xiàn)集群資源的最大化利用;開(kāi)發(fā)了集群監(jiān)控系統(tǒng)，查看集群實(shí)時(shí)狀態(tài)，包括各節(jié)點(diǎn)的CPU、內(nèi)存使用情況，并提供性能評(píng)估標(biāo)