ETL技術在數(shù)據(jù)遷移中的應用及特殊數(shù)據(jù)的變換.pdf

1、本課題主要來源于日本某公司的數(shù)據(jù)銀行項目。 數(shù)據(jù)銀行是存放日本各個企業(yè)從創(chuàng)業(yè)迄今的所有相關信息的數(shù)據(jù)庫系統(tǒng)。并將這些信息作為商品提供給其它企業(yè)。該系統(tǒng)已經在日本的大小型企業(yè)中被使用，為企業(yè)的決策與分析提供了很大幫助。 信息系統(tǒng)中的數(shù)據(jù)源的形式日益多樣化，無論是已知確定來自數(shù)據(jù)庫的數(shù)據(jù)或是來自網(wǎng)絡上的各種各樣結構不固定、不完全或不規(guī)則的數(shù)據(jù)，都會給企業(yè)的信息化發(fā)展帶來很大影響。為了給各企業(yè)提供全面數(shù)據(jù)共享，需要將不同來源、

2、格式、特點的數(shù)據(jù)在邏輯上或物理上有機的集中，在此過程中數(shù)據(jù)遷移就是一條必經之路。 本文主要研究了ETL技術在數(shù)據(jù)遷移中的具體應用方法，該項目中，需要實現(xiàn)不同環(huán)境之間的數(shù)據(jù)遷移，且源數(shù)據(jù)具有多樣化的特點。因此，在數(shù)據(jù)變換部分，某些特殊數(shù)據(jù)不能直接使用現(xiàn)有工具進行變換，必須進行手工干預方能完成數(shù)據(jù)遷移。 本文實現(xiàn)了對文字CODE的變換，可變長文件向定長變換和對象型數(shù)據(jù)的分割。通過前面三種變換和處理，最終實現(xiàn)了從Windows