基于郵儲歷史數(shù)據(jù)管理的數(shù)據(jù)遷移系統(tǒng)研究與實現(xiàn).pdf

1、諸如銀行、電信等行業(yè)都有著業(yè)務(wù)集中、數(shù)據(jù)集中、大業(yè)務(wù)量、業(yè)務(wù)連續(xù)性強的特點。數(shù)據(jù)量的急劇增長對數(shù)據(jù)的存放、管理和使用提出了挑戰(zhàn)。目前，分級存儲管理(HSM)是解決這種海量數(shù)據(jù)管理的一種主流方式。 分級存儲管理一般由數(shù)據(jù)遷移系統(tǒng)來實現(xiàn)。而數(shù)據(jù)遷移系統(tǒng)要解決兩個關(guān)鍵問題：數(shù)據(jù)遷移和存儲管理。數(shù)據(jù)遷移通常包含以下技術(shù)：一、不同主機或存儲設(shè)備之間的數(shù)據(jù)文件或數(shù)據(jù)塊的傳輸技術(shù)；二、數(shù)據(jù)庫之間海量數(shù)據(jù)的(增量)導(dǎo)入、導(dǎo)出技術(shù)；三、異構(gòu)數(shù)據(jù)庫

2、之間的數(shù)據(jù)映射與轉(zhuǎn)換技術(shù)；四、針對具體應(yīng)用環(huán)境所采用的其它技術(shù)(如遷移作業(yè)的調(diào)度管理)等。在存儲管理方面，目前除了對存儲設(shè)備本身(如磁盤陣列、磁帶庫、光盤庫)的存儲管理技術(shù)研究外，存儲資源的整合與虛擬化的研究則是另一個需要深入研究的問題。本文以郵儲歷史數(shù)據(jù)管理軟、硬件環(huán)境為基礎(chǔ)，從用戶的實際需求出發(fā)，按照生產(chǎn)系統(tǒng)數(shù)據(jù)庫、歷史系統(tǒng)數(shù)據(jù)庫、光盤庫三個存儲層級對數(shù)據(jù)遷移系統(tǒng)進行了研究與實現(xiàn)。本文的研究工作包括以下幾個方面：存儲規(guī)劃、Oracl

3、e表數(shù)據(jù)遷移腳本工具的編寫、批量遷移作業(yè)的調(diào)度和離線數(shù)據(jù)歸檔管理。其中，批量遷移作業(yè)的調(diào)度和歸檔數(shù)據(jù)存儲算法是本文研究與實現(xiàn)的重點。 在批量遷移作業(yè)的調(diào)度執(zhí)行方面，作者借鑒了開源的OpenPBS以及其它作業(yè)系統(tǒng)的一些設(shè)計思想，實現(xiàn)了更實用的批處理作業(yè)管理系統(tǒng)。調(diào)度系統(tǒng)將作業(yè)分派在多臺主機上運行，使主機之間負(fù)載均衡，還可以將作業(yè)分派在預(yù)先指定的機器上，從而大大縮減了數(shù)據(jù)遷移的處理時間。在光盤庫離線數(shù)據(jù)文件存放管理方面，本文通過分析