凹印復(fù)合生產(chǎn)數(shù)據(jù)的ETL技術(shù)研究與應(yīng)用平臺(tái)開發(fā).pdf

1、當(dāng)今，隨著凹印復(fù)合生產(chǎn)流程信息化的快速發(fā)展，印前的決策作用越來越突出。并且在凹印復(fù)合流程中積累了大量?jī)?nèi)容豐富的數(shù)據(jù)，這些數(shù)據(jù)如果用得好的話，將會(huì)成為決策的重要因素。對(duì)于這些數(shù)據(jù)處理的最好辦法就是進(jìn)行數(shù)據(jù)挖掘和多維分析，數(shù)據(jù)挖掘和多維分析的支撐是數(shù)據(jù)倉庫。而數(shù)據(jù)倉庫需要干凈、有效的數(shù)據(jù)，所以數(shù)據(jù)在裝載到數(shù)據(jù)集市之前必須進(jìn)預(yù)處理也就是ETL(Extract-Transformation-Loading)過程。雖然當(dāng)今市場(chǎng)有現(xiàn)有的ETL工具，

2、而且性能良好，但是在普及時(shí)因其造價(jià)和通用性上卻碰到了不少困難。因此，自主研發(fā)適合自己業(yè)務(wù)的ETL工具便成為了企業(yè)關(guān)注的重點(diǎn)。
　　本文首先研究了數(shù)據(jù)倉庫和ETL的相關(guān)技術(shù)，對(duì)ETL的原理進(jìn)行了深入的研究，重點(diǎn)闡述了本ETL系統(tǒng)中數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載三大模塊中的方法實(shí)現(xiàn)和流程設(shè)計(jì)。對(duì)元數(shù)據(jù)也進(jìn)行了一定程度上的研究。結(jié)合實(shí)際需求開發(fā)了一個(gè)基于元數(shù)據(jù)的可配置的ETL系統(tǒng)。該系統(tǒng)分為四大模塊:元數(shù)據(jù)管理模塊、數(shù)據(jù)抽取模塊、數(shù)據(jù)轉(zhuǎn)換

3、模塊、數(shù)據(jù)加載模塊。抽取、轉(zhuǎn)換、加載的步驟是分開實(shí)現(xiàn)。抽取和轉(zhuǎn)換都有自己獨(dú)立的中間數(shù)據(jù)庫，日志管理更是很好的解決了模塊之間的數(shù)據(jù)溝通。系統(tǒng)有人性化的操作界面。系統(tǒng)架構(gòu)層次分明，有利于擴(kuò)展。
　　本文的重點(diǎn)不僅僅是在于開發(fā)了一套功能軟件，而是設(shè)計(jì)和研發(fā)出了一個(gè)ETL工具的雛形，從原理、技術(shù)以及設(shè)計(jì)與實(shí)現(xiàn)上做了一些探索性的工作?？梢哉f本ETL系統(tǒng)既可以作為一個(gè)ETL工具使用，滿足一定的需求，也可以作為一個(gè)成長(zhǎng)中的應(yīng)用開發(fā)平臺(tái)，供二次開