基于MapReduce的關(guān)系數(shù)據(jù)聯(lián)機(jī)分析處理技術(shù)研究.pdf

1、隨著數(shù)據(jù)量的不斷增長(zhǎng),關(guān)系數(shù)據(jù)分析系統(tǒng)面臨著可擴(kuò)展性和查詢性能的挑戰(zhàn),許多查詢?nèi)蝿?wù)都必須通過(guò)使用大規(guī)模的集群實(shí)現(xiàn)并行處理才能獲得較好的查詢響應(yīng)時(shí)間。面對(duì)大數(shù)據(jù)處理的需求,并行數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)了高效的查詢性能,但是難以擴(kuò)展;而現(xiàn)有的基于MapReduce的數(shù)據(jù)分析系統(tǒng)雖然具有高可擴(kuò)展性和容錯(cuò)性,但是查詢效率較低。
　　基于MapReduce的關(guān)系數(shù)據(jù)聯(lián)機(jī)分析系統(tǒng)Alovera有效地解決了上述問(wèn)題,實(shí)現(xiàn)了對(duì)大規(guī)模關(guān)系數(shù)據(jù)的高效分析。該系

2、統(tǒng)通過(guò)使用MapReduce模型整合數(shù)據(jù)庫(kù)集群,實(shí)現(xiàn)MapReduce框架和數(shù)據(jù)庫(kù)系統(tǒng)對(duì)查詢?nèi)蝿?wù)的共同執(zhí)行。針對(duì)關(guān)系數(shù)據(jù)分析任務(wù)的特點(diǎn),Alovera系統(tǒng)從數(shù)據(jù)的存儲(chǔ)方式、查詢計(jì)劃和查詢執(zhí)行三個(gè)方面進(jìn)行優(yōu)化。系統(tǒng)使用面向列的關(guān)系數(shù)據(jù)存儲(chǔ)方式,在查詢執(zhí)行時(shí)動(dòng)態(tài)地進(jìn)行數(shù)據(jù)導(dǎo)入。通過(guò)基于查詢的數(shù)據(jù)導(dǎo)入方式,系統(tǒng)生成優(yōu)化的查詢計(jì)劃,將盡可能多的查詢?nèi)蝿?wù)分配給數(shù)據(jù)庫(kù)執(zhí)行。此外,系統(tǒng)對(duì)MapReduce框架進(jìn)行了擴(kuò)展,使得數(shù)據(jù)在MapReduce作