基于Storm的數(shù)據(jù)遷移工具的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)據(jù)作為政府機(jī)構(gòu)和企業(yè)單位的核心資產(chǎn)，在幾十年的信息技術(shù)變革中，逐漸顯現(xiàn)其金子般的色彩。隨著數(shù)據(jù)量的增長(zhǎng)，人們所面臨的數(shù)據(jù)遷移難度越來(lái)越大。在進(jìn)行應(yīng)用遷移和數(shù)據(jù)分析時(shí)，數(shù)據(jù)遷移的效率逐漸引起了相關(guān)人員的重視。
　　從海量數(shù)據(jù)遷移需求的角度，參考已有的數(shù)據(jù)遷移工具，以Apache Storm為底層分布式數(shù)據(jù)流處理引擎，構(gòu)建了一個(gè)面向海量數(shù)據(jù)遷移需求的高效異構(gòu)數(shù)據(jù)遷移工具。該數(shù)據(jù)遷移工具在結(jié)構(gòu)上主要分為任務(wù)劃分與分發(fā)和分布式數(shù)據(jù)流兩部

2、分。這兩部分相互配合，共同完成了數(shù)據(jù)遷移任務(wù)。
　　其中分布式數(shù)據(jù)流實(shí)現(xiàn)了數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)裝載。通過(guò)實(shí)現(xiàn)Storm中的Spout組件接口以及對(duì)異構(gòu)數(shù)據(jù)源的適配完成了對(duì)數(shù)據(jù)源的數(shù)據(jù)抽取，通過(guò)實(shí)現(xiàn)Storm中Bolt組件接口完成了數(shù)據(jù)轉(zhuǎn)換和裝載，并且可以通過(guò)動(dòng)態(tài)編譯代碼腳本的方式實(shí)現(xiàn)了靈活的自定義轉(zhuǎn)換。
　　任務(wù)劃分與分發(fā)主要是對(duì)待遷移任務(wù)的劃分和分發(fā)。每一個(gè)待遷移的數(shù)據(jù)庫(kù)表對(duì)應(yīng)一個(gè)任務(wù)，任務(wù)的劃分就是選擇數(shù)據(jù)庫(kù)表的一個(gè)

3、劃分字段，根據(jù)劃分字段將表劃分成多個(gè)部分，每一個(gè)部分對(duì)應(yīng)一個(gè)子任務(wù)。任務(wù)分發(fā)則是以Zookeeper作為中介，首先將劃分得到的子任務(wù)發(fā)布到Zookeeper集群中，然后由數(shù)據(jù)抽取節(jié)點(diǎn)從Zookeeper中獲取任務(wù)執(zhí)行。
　　此外，為了達(dá)到較高的可用性和可靠性，在任務(wù)劃分與分發(fā)節(jié)點(diǎn)和數(shù)據(jù)抽取節(jié)點(diǎn)之間利用Zookeeper實(shí)現(xiàn)了節(jié)點(diǎn)注冊(cè)和狀態(tài)檢測(cè)等功能。
　　最后通過(guò)實(shí)驗(yàn)表明，該數(shù)據(jù)遷移工具滿足了設(shè)計(jì)目標(biāo)，實(shí)現(xiàn)了高效的數(shù)據(jù)遷移功