基于Hadoop平臺(tái)的大數(shù)據(jù)遷移與查詢方法研究及應(yīng)用.pdf

1、高效的數(shù)據(jù)管理系統(tǒng)對(duì)于數(shù)據(jù)應(yīng)用管理非常重要，然而數(shù)據(jù)規(guī)模的持續(xù)增長(zhǎng)、數(shù)據(jù)類型的不斷變化、非結(jié)構(gòu)化數(shù)據(jù)成為存儲(chǔ)和處理對(duì)象等因素，逐漸動(dòng)搖了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的主導(dǎo)地位，僅僅使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)已經(jīng)不能很好地解決上述問(wèn)題，不能滿足經(jīng)濟(jì)有效的存儲(chǔ)、分析和訪問(wèn)數(shù)據(jù)。
　　Hadoop由于對(duì)底層存儲(chǔ)和并行處理透明化，同時(shí)擁有高性能的集群計(jì)算和存儲(chǔ)能力，在分布式計(jì)算和大量數(shù)據(jù)處理方面脫穎而出。然而使用Hadoop平臺(tái)對(duì)大數(shù)據(jù)進(jìn)行處理，并實(shí)現(xiàn)高效率查

2、詢，需要對(duì)Hadoop與關(guān)系型數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)的遷移，將數(shù)據(jù)導(dǎo)入到Hadoop中進(jìn)行分析處理，使用Hadoop來(lái)優(yōu)化數(shù)據(jù)庫(kù)核心工作效率及數(shù)據(jù)庫(kù)性能、完成不斷更新的查詢需求。
　　本文在討論研究Hadoop平臺(tái)相關(guān)架構(gòu)及數(shù)據(jù)交換原理的基礎(chǔ)上，對(duì)基于Hadoop平臺(tái)的數(shù)據(jù)遷移提出了MapReduce技術(shù)的實(shí)現(xiàn)方案，MapReduce可以實(shí)現(xiàn)更優(yōu)的并發(fā)性，從而可以體現(xiàn)優(yōu)化數(shù)據(jù)轉(zhuǎn)換的能力。
　　首先深入分析MapReduce工作機(jī)

3、制，及Hadoop三種常用的作業(yè)調(diào)度器。在此基礎(chǔ)上，對(duì)MapReduce的作業(yè)調(diào)度器進(jìn)行優(yōu)化設(shè)計(jì)，將公平調(diào)度器與優(yōu)先權(quán)（高響應(yīng)比優(yōu)先）調(diào)度算法相結(jié)合，提出了基于優(yōu)先權(quán)的公平調(diào)度器的改進(jìn)算法，同時(shí)以TaskTracker的負(fù)載均衡監(jiān)聽(tīng)器輔助進(jìn)行調(diào)度工作。
　　然后分析HBase和Hive各自的工作機(jī)制，對(duì)Hive-HBase相結(jié)合的數(shù)據(jù)查詢方法進(jìn)行探討，設(shè)計(jì)了一個(gè)基于Hive-HBase的數(shù)據(jù)查詢方案。
　　最后，搭建實(shí)驗(yàn)環(huán)境

4、對(duì)基于Hadoop平臺(tái)的數(shù)據(jù)遷移及數(shù)據(jù)查詢進(jìn)行實(shí)驗(yàn)與分析，對(duì)比基于不同調(diào)度算法的遷移性能，以及對(duì)比原系統(tǒng)與Hive-HBase相結(jié)合的查詢方案二者進(jìn)行數(shù)據(jù)查詢的效率。
　　經(jīng)過(guò)實(shí)驗(yàn)分析，驗(yàn)證了本文構(gòu)建基于Hadoop平臺(tái)包括數(shù)據(jù)遷移和查詢的完整數(shù)據(jù)處理的方案是可行的。數(shù)據(jù)遷移過(guò)程中對(duì)調(diào)度算法的優(yōu)化提高了數(shù)據(jù)遷移性能，同時(shí)，使用Hadoop平臺(tái)對(duì)大數(shù)據(jù)進(jìn)行處理與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)相比，在查詢效率上體現(xiàn)其優(yōu)勢(shì)。因此，本文在對(duì)大數(shù)據(jù)進(jìn)行處理