ETL技術(shù)在實(shí)現(xiàn)數(shù)據(jù)分析系統(tǒng)中的應(yīng)用研究.pdf

1、數(shù)據(jù)倉(cāng)庫(kù)已成為解決金融行業(yè)中大量業(yè)務(wù)數(shù)據(jù)處理、匯總和分析的一種重要技術(shù)，而ETL(Extract-Transform-Load)過(guò)程在數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用中起著關(guān)鍵作用。利用ETL過(guò)程可以把各個(gè)孤立的異構(gòu)數(shù)據(jù)源中的業(yè)務(wù)數(shù)據(jù)抽取、轉(zhuǎn)換并裝載到數(shù)據(jù)倉(cāng)庫(kù)中，為基于數(shù)據(jù)倉(cāng)庫(kù)的決策分析應(yīng)用提供高質(zhì)量的數(shù)據(jù)。
　　 本文作者的主要研究工作如下:
　　 1)研究了ETL過(guò)程中關(guān)于數(shù)據(jù)抽取，數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載的相關(guān)技術(shù)與方法。
　　

2、2)使用J2EE實(shí)現(xiàn)了一個(gè)具有并行處理能力、支持多種數(shù)據(jù)源、任務(wù)配置靈活和易擴(kuò)展的ETL過(guò)程。
　　 3)針對(duì)金融行業(yè)數(shù)據(jù)量大的特點(diǎn)，通過(guò)在ETL過(guò)程中使用集群、負(fù)載均衡和Oracle RAC(Real Application Cluster)三種并行處理技術(shù)提高系統(tǒng)性能。
　　 4)根據(jù)證券風(fēng)險(xiǎn)控制系統(tǒng)中提出的業(yè)務(wù)需求，給出集群環(huán)境下ETL的系統(tǒng)架構(gòu)，以及ETL系統(tǒng)中關(guān)于數(shù)據(jù)抽取，數(shù)據(jù)轉(zhuǎn)換和任務(wù)管理主要模塊的設(shè)計(jì)方案。