基于云計算的海量數(shù)據(jù)分析系統(tǒng)的研究與實現(xiàn).pdf

1、隨著信息技術的發(fā)展，數(shù)據(jù)分析在企業(yè)決策和產品設計中起著越來越重要的作用。產品設計者可以根據(jù)用戶行為數(shù)據(jù)的分析，設計增加更能提高用戶體驗的功能和對其他部分功能做改進；企業(yè)決策層可以根據(jù)數(shù)據(jù)分析的結果決定產品定位和企業(yè)的發(fā)展方向。但是隨著企業(yè)的發(fā)展、產品的增加和用戶數(shù)量的增加等因素，使得數(shù)據(jù)總量隨之劇增。面對數(shù)據(jù)數(shù)據(jù)存儲、數(shù)據(jù)處理能力和性能等方面的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)已經不能勝任對海量數(shù)據(jù)的分析處理工作。
　　本文主要針對傳統(tǒng)數(shù)據(jù)

2、分析系統(tǒng)所面臨的上述的一系列的挑戰(zhàn)，結合云計算技術和Amazon提供的云服務，以及HBase數(shù)據(jù)庫等應用，研究并實現(xiàn)新的海量數(shù)據(jù)分析系統(tǒng)。在研究工作中，通過對Amazon提供的EC2，S3和EMR服務的研究學習，以及對數(shù)據(jù)分析系統(tǒng)的客戶端，接收服務器和數(shù)據(jù)處理服務器三部分職能的具體分析，創(chuàng)建該系統(tǒng)的初步模型；結合實際需求，分別對各個模塊進行實現(xiàn)，并且完成整個系統(tǒng)的集成；通過系統(tǒng)測試和性能測試，驗證系統(tǒng)是否能解決傳統(tǒng)數(shù)據(jù)分析系統(tǒng)所面臨的問

3、題。
　　研究貫穿了數(shù)據(jù)分析系統(tǒng)的分析設計和實現(xiàn)的全過程。首先是對課題的問題域和需求的提出。我們通過對傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)的研究和系統(tǒng)存在的問題的分析，提出基于云計算的海量數(shù)據(jù)分析系統(tǒng)的開發(fā)需求，明確新系統(tǒng)設計實現(xiàn)的重點是接收服務器和數(shù)據(jù)處理部分。其次是對海量數(shù)據(jù)分析系統(tǒng)各個模塊進行設計和實現(xiàn)。最后是對系統(tǒng)進行系統(tǒng)測試和性能測試，從而驗證了該數(shù)據(jù)分析系統(tǒng)是穩(wěn)定健壯并且滿足需求的。
　　目前，云計算技術應用和數(shù)據(jù)分析系統(tǒng)都在處于

4、蓬勃的發(fā)展期，本文通過研究云計算技術和Amazon所提供云服務的應用，并將成功的其應用到實際的企業(yè)級的數(shù)據(jù)分析系統(tǒng)中。實現(xiàn)了基于云計算的數(shù)據(jù)分析系統(tǒng)，以此解決了傳統(tǒng)數(shù)據(jù)分析系統(tǒng)中所存在的問題，提高了系統(tǒng)的分析處理能力，并且節(jié)省了成本，縮短了開發(fā)周期。
　　采用云計算技術之后，使得數(shù)據(jù)處理系統(tǒng)在分析處理數(shù)據(jù)的時候更加靈活，可以根據(jù)實際需要增加或減少數(shù)據(jù)處理所需的硬件資源。同時能節(jié)省硬件設備維護和存儲數(shù)據(jù)備份所需的開支。無論從系統(tǒng)的數(shù)