ETL技術(shù)在數(shù)據(jù)遷移中的應(yīng)用及特殊數(shù)據(jù)的變換.pdf

1、本課題主要來(lái)源于日本某公司的數(shù)據(jù)銀行項(xiàng)目。 數(shù)據(jù)銀行是存放日本各個(gè)企業(yè)從創(chuàng)業(yè)迄今的所有相關(guān)信息的數(shù)據(jù)庫(kù)系統(tǒng)。并將這些信息作為商品提供給其它企業(yè)。該系統(tǒng)已經(jīng)在日本的大小型企業(yè)中被使用，為企業(yè)的決策與分析提供了很大幫助。 信息系統(tǒng)中的數(shù)據(jù)源的形式日益多樣化，無(wú)論是已知確定來(lái)自數(shù)據(jù)庫(kù)的數(shù)據(jù)或是來(lái)自網(wǎng)絡(luò)上的各種各樣結(jié)構(gòu)不固定、不完全或不規(guī)則的數(shù)據(jù)，都會(huì)給企業(yè)的信息化發(fā)展帶來(lái)很大影響。為了給各企業(yè)提供全面數(shù)據(jù)共享，需要將不同來(lái)源、

2、格式、特點(diǎn)的數(shù)據(jù)在邏輯上或物理上有機(jī)的集中，在此過(guò)程中數(shù)據(jù)遷移就是一條必經(jīng)之路。 本文主要研究了ETL技術(shù)在數(shù)據(jù)遷移中的具體應(yīng)用方法，該項(xiàng)目中，需要實(shí)現(xiàn)不同環(huán)境之間的數(shù)據(jù)遷移，且源數(shù)據(jù)具有多樣化的特點(diǎn)。因此，在數(shù)據(jù)變換部分，某些特殊數(shù)據(jù)不能直接使用現(xiàn)有工具進(jìn)行變換，必須進(jìn)行手工干預(yù)方能完成數(shù)據(jù)遷移。 本文實(shí)現(xiàn)了對(duì)文字CODE的變換，可變長(zhǎng)文件向定長(zhǎng)變換和對(duì)象型數(shù)據(jù)的分割。通過(guò)前面三種變換和處理，最終實(shí)現(xiàn)了從Windows