基于Hadoop平臺的云計算構(gòu)建與日志分析.pdf

1、云計算是一種新型計算模型，它將計算任務(wù)分布在大量計算機構(gòu)成的資源池里，使用戶能夠按需獲取計算能力、存儲空間和信息服務(wù)。與傳統(tǒng)的數(shù)據(jù)處理模式相比，云計算技術(shù)可以有效解決大規(guī)模數(shù)據(jù)處理面臨的性能瓶頸問題，提高了數(shù)據(jù)處理的可靠性及可擴展性，提高了數(shù)據(jù)處理能力的同時降低了計算對硬件設(shè)備的要求。本文對云計算概念、種類、關(guān)鍵技術(shù)等進行了重點研究。
　　 Hadoop是一個開源分布式計算平臺，它專為處理大規(guī)模數(shù)據(jù)和分布式計算而設(shè)計，是實現(xiàn)云計

2、算的主要可選方式之一。Hadoop平臺具有高效、可靠、擴展性強等特點，它的兩個主要組成部分是Hadoop分布式文件系統(tǒng)HDFS和并行處理模型MapReduce。本文對HDFS的幾個方面:設(shè)計前提與目標、體系結(jié)構(gòu)、保障可靠性措施和提升性能措施以及MapReduce的幾個方面:邏輯模型、編程模型、實現(xiàn)機制以及執(zhí)行流程的細致分析和研究。
　　 在分析了原有海量數(shù)據(jù)處理系統(tǒng)之后，結(jié)合云計算技術(shù)和Hadoop的優(yōu)勢，建立了一個新的數(shù)據(jù)處理

3、模型，依據(jù)該模型搭建了系統(tǒng)平臺，并使用Web日志作為源數(shù)據(jù)進行了平臺上的性能分析。通過實驗對比，總結(jié)了利用云計算技術(shù)，使得日志分析過程在消耗時間上大大縮短，并且隨著數(shù)據(jù)量的增大，Hadoop平臺的處理能力和數(shù)據(jù)存儲能力也在適應(yīng)著數(shù)據(jù)量的變化，恰恰體現(xiàn)了云計算技術(shù)在處理大規(guī)模數(shù)據(jù)時計算能力、存儲空間等按需提高的優(yōu)勢。基于Hadoop平臺的云計算環(huán)境在處理大規(guī)模數(shù)據(jù)方面解決了傳統(tǒng)數(shù)據(jù)處理方法計算能力與存儲能力的性能瓶頸問題，并且良好的可擴展