面向大數(shù)據(jù)處理的Hadoop與MongoDB整合技術(shù)研究.pdf

1、伴隨著數(shù)據(jù)種類的增多和數(shù)據(jù)規(guī)模的增大，NoSQL技術(shù)與MapReduce并行處理思想越來越受到重視。MongoDB作為NoSQL數(shù)據(jù)庫的典型代表，支持對海量數(shù)據(jù)進行索引和查詢，Hadoop作為MapReuce的開源實現(xiàn)，為海量數(shù)據(jù)處理提供了強大的并行計算框架，本文致力于將 MongDB與 Hadoop整合到一個平臺，搭建了一個基于MongoDB與Hadoop的整合體系Mongo-Hadoop，其目的是為了綜合利用MongoDB與Hado

2、op的優(yōu)點，更好地應(yīng)對大數(shù)據(jù)處理中的存儲、計算和查詢。
　　本文首先對Hadoop與MongoDB的框架結(jié)構(gòu)以及工作機理進行了深入研究，對比分析了Hadoop與MongoDB各自的優(yōu)勢與不足以及兩者之間的一些共性，總結(jié)出了兩個問題：在數(shù)據(jù)計算方面，MongoDB MapReduce存在很大的局限性,不能滿足復雜的數(shù)據(jù)分析計算。在數(shù)據(jù)存儲方面，HDFS作為Hadoop的底層分布式文件系統(tǒng)，為數(shù)據(jù)的高吞吐量而設(shè)計，卻不能實現(xiàn)對數(shù)據(jù)的高

3、效查詢。針對第一個問題，本文實現(xiàn)了Hadoop與 MongoDB整合的中間連接件 Mongo-Hadoop connector，通過此插件能夠?qū)崿F(xiàn)Hadoop MapReduce對MongoDB中數(shù)據(jù)的高效處理。通過本文實驗驗證，在兩個節(jié)點的集群上，Hadoop MapReduce的性能平均是MongoDB MapReduce的5倍。針對第二個問題，本文實現(xiàn)了Hadoop與MongoDB的整合框架，并提出四種不同的整合方案來應(yīng)對大數(shù)據(jù)處

4、理的不同需求。
　　Mongo-Hadoop是對MongoDB與Hadoop的整合，為實現(xiàn)兩者更好的兼容性，集群部署和參數(shù)配置顯得尤為重要。本文對MongoDB集群與Hadoop集群中的各個角色進行了深入分析，從節(jié)點資源利用、數(shù)據(jù)本地化、可擴展性等方面考慮，總結(jié)出了Mongo-Hadoop集群的部署策略，同時對影響 Mongo-Hadoop運行方式和性能的部分參數(shù)作了深入研究，并對影響整體性能的關(guān)鍵參數(shù)作了調(diào)優(yōu)。
　　最后，