基于Hadoop的云計算模型研究與應(yīng)用.pdf

1、隨著社會進(jìn)步和互聯(lián)網(wǎng)技術(shù)發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量飛速增長且規(guī)模日漸龐大，不管是企業(yè)還是個人都面臨如何對這些海量數(shù)據(jù)進(jìn)行有效存儲和分析的難題。面對正在增長的海量數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)處理方法存在數(shù)據(jù)存儲成本過高、海量數(shù)據(jù)管理較困難、可靠性較低、效率低下、并行處理程序編寫困難等諸多缺點。人們需要一種新的技術(shù)思想來解決這些問題。云計算的思想就很自然地被提出來。
　　云計算通過整合互聯(lián)網(wǎng)絡(luò)中的閑散資源，對外提供強大的存儲和計算能力，以及一些其它解決方案。

2、Hadoop是一個開源分布式數(shù)據(jù)處理框架，被用于高效地處理海量數(shù)據(jù)。由于Hadoop具有可伸縮性、高可靠性、低成本性和高效性等優(yōu)點，已成為一種流行的云計算開發(fā)平臺。但是Hadoop也存在一定的缺陷，例如，在Hadoop集群中只要一個名字節(jié)點來管理整個文件系統(tǒng)的元數(shù)據(jù)和執(zhí)行重要的文件系統(tǒng)操作。這會限制集群的可擴展性、可用性；另外，在傳統(tǒng)Hadoop中，計算和存儲是緊耦合的，這也會對集群的性能造成限制。
　　本文的研究課題是基于Had

3、oop的云計算模型研究與應(yīng)用，主要目標(biāo)是：分析傳統(tǒng)Hadoop框架的性能瓶頸，設(shè)計一種新的Hadoop框架；在改進(jìn)傳統(tǒng)Hadoop框架的基礎(chǔ)上，設(shè)計基于改進(jìn)后的Hadoop的云計算模型，實現(xiàn)相應(yīng)云計算平臺，重點解決海量數(shù)據(jù)存儲和分析的難題。
　　論文的主要工作和成果如下：
　?、俳榻B云計算的基礎(chǔ)理論，包括云計算的概念、特點、關(guān)鍵技術(shù)和典型的平臺應(yīng)用。
　?、陉U述Hadoop的基礎(chǔ)架構(gòu)，包括分布式文件系統(tǒng)（HDFS）、并

4、行編程模型MapReduce的原理和實現(xiàn)機制、Hadoop框架優(yōu)化措施等。詳細(xì)分析了HDFS的數(shù)據(jù)管理機制、性能保障措施、以及文件的讀取和寫入過程。
　?、鄯治鯤adoop的性能瓶頸，設(shè)計了一個新型的Hadoop架構(gòu)，解決了傳統(tǒng)Hadoop架構(gòu)中的單名字節(jié)點的瓶頸問題，以及計算與存儲緊耦合問題，通過理論分析和實驗對比，論證了新框架的高效性。新框架具有高可用性和良好的可擴展能力。
　?、芡瓿闪嘶诟倪M(jìn)的Hadoop的云計算模型