基于Hive的數(shù)據(jù)倉(cāng)庫(kù)變更數(shù)據(jù)更新算法研究.pdf

1、面臨著大數(shù)據(jù)時(shí)代的到來(lái)，企業(yè)間的競(jìng)爭(zhēng)已經(jīng)不僅僅局限于業(yè)務(wù)層面的激烈摩擦，特別是在電子商務(wù)等新興互聯(lián)網(wǎng)領(lǐng)域，如何深層次的利用數(shù)據(jù)倉(cāng)庫(kù)以科學(xué)的方法進(jìn)行企業(yè)戰(zhàn)略決策成為當(dāng)前業(yè)內(nèi)的研究重點(diǎn)。在數(shù)據(jù)倉(cāng)庫(kù)中，隨著企業(yè)業(yè)務(wù)線(xiàn)的發(fā)展變化，勢(shì)必會(huì)面臨著數(shù)據(jù)倉(cāng)庫(kù)中對(duì)變更數(shù)據(jù)進(jìn)行更新的問(wèn)題，在數(shù)據(jù)倉(cāng)庫(kù)中對(duì)數(shù)據(jù)進(jìn)行更新的主要難點(diǎn)是緩慢變化維問(wèn)題，這也是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)和運(yùn)行中面臨的主要問(wèn)題之一?；谝陨媳尘埃疚淖隽艘韵鹿ぷ鳎?br>　　1，本文對(duì)數(shù)據(jù)倉(cāng)庫(kù)變更數(shù)據(jù)

2、更新問(wèn)題的2個(gè)核心點(diǎn)，即抽取模式問(wèn)題和緩慢變化維問(wèn)題進(jìn)行了分析，給出了每種方法所適合的業(yè)務(wù)需求環(huán)境，使得本文對(duì)數(shù)據(jù)倉(cāng)庫(kù)變更數(shù)據(jù)更新問(wèn)題的分析具有適用性和靈活性，并給出了數(shù)據(jù)關(guān)聯(lián)的一種優(yōu)化方式。
　　2，本文對(duì)傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)變更數(shù)據(jù)更新算法進(jìn)行分析后，發(fā)現(xiàn)傳統(tǒng)算法有著嚴(yán)重的缺陷，例如：算法對(duì)數(shù)據(jù)的利用效率低、數(shù)據(jù)不能回溯、難以保留歷史數(shù)據(jù)變化信息等等。并以此為依據(jù)給出了數(shù)據(jù)倉(cāng)庫(kù)變更數(shù)據(jù)更新問(wèn)題的解決方向。
　　3，在結(jié)合了以上

3、2點(diǎn)的工作后，本文提出了基于Hive的內(nèi)外表變化篩選日志數(shù)據(jù)配合拉鏈表數(shù)據(jù)更新的算法。該算法首先利用Hive外部表和Hive內(nèi)部表對(duì)數(shù)據(jù)倉(cāng)庫(kù)ODS層中的Binlog日志數(shù)據(jù)進(jìn)行以目標(biāo)表名和時(shí)間為分區(qū)依據(jù)的篩選，從而得到了所需求的時(shí)間段的變更數(shù)據(jù)Binlog日志快照表，進(jìn)而也就得到了變更數(shù)據(jù)快照表。然后該算法以之前得到的變更數(shù)據(jù)快照表為依據(jù)，利用Hive拉鏈表對(duì)目標(biāo)表歷史數(shù)據(jù)進(jìn)行更新，利用了拉鏈表算法給予數(shù)據(jù)生命周期的特性再額外加上數(shù)據(jù)狀