基于ODS的數(shù)據(jù)倉(cāng)庫與挖掘及其在鋼鐵企業(yè)中的應(yīng)用.pdf

1、信息技術(shù)發(fā)展的浪潮使人們進(jìn)入到了信息爆炸的時(shí)代，海量信息需要人們?nèi)ヌ幚砼c應(yīng)用。數(shù)據(jù)處理已經(jīng)不是信息技術(shù)的重點(diǎn)，代之而來的是如何充分使用這些信息?，F(xiàn)在眾多的企業(yè)都進(jìn)行著信息化建設(shè)，隨著企業(yè)信息化的不斷深入，人們對(duì)企業(yè)數(shù)據(jù)進(jìn)行整合與分析的需求也更加強(qiáng)烈，也越來越重視企業(yè)統(tǒng)一的數(shù)據(jù)倉(cāng)庫平臺(tái)建設(shè)。因此如何建立高效的、企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫決定著企業(yè)信息化的成效。數(shù)據(jù)挖掘技術(shù)是20世紀(jì)90年代迅速發(fā)展起來的技術(shù)，能從企業(yè)的“數(shù)據(jù)海洋”中挖掘出有效的、具

2、有潛在效用的規(guī)律或模式。利用數(shù)據(jù)倉(cāng)庫進(jìn)行數(shù)據(jù)挖掘可以提高企業(yè)經(jīng)營(yíng)決策的正確性，大大提高企業(yè)的經(jīng)濟(jì)效益。 本文對(duì)數(shù)據(jù)倉(cāng)庫的建設(shè)與數(shù)據(jù)挖掘的技術(shù)進(jìn)行了深入研究，并在某鋼鐵企業(yè)具體實(shí)現(xiàn)了建立數(shù)據(jù)倉(cāng)庫的步驟、挖掘出有益的結(jié)論。我們實(shí)現(xiàn)了建立數(shù)據(jù)倉(cāng)庫的一個(gè)完整循環(huán)，為鋼鐵企業(yè)甚至別的行業(yè)建立數(shù)據(jù)倉(cāng)庫提供了寶貴的經(jīng)驗(yàn)。鋼鐵企業(yè)的生產(chǎn)具有連續(xù)性、業(yè)務(wù)邏輯復(fù)雜、數(shù)據(jù)量大等特點(diǎn)，對(duì)數(shù)據(jù)分析的實(shí)時(shí)性要求也比較高；針對(duì)這種具體的企業(yè)特點(diǎn)與需求，提出了

3、建立具有ODS層的數(shù)據(jù)倉(cāng)庫體系架構(gòu)。數(shù)據(jù)倉(cāng)庫的建設(shè)中，數(shù)據(jù)質(zhì)量是關(guān)鍵的問題，為此我們將傳統(tǒng)的ETL三個(gè)步驟擴(kuò)展為ECCD四個(gè)步驟，為提供高質(zhì)量的數(shù)據(jù)打下了堅(jiān)實(shí)的基礎(chǔ)。在詳細(xì)分析了數(shù)據(jù)倉(cāng)庫ETL的構(gòu)建過程、數(shù)據(jù)清洗的原理及其設(shè)計(jì)要點(diǎn)的基礎(chǔ)上實(shí)現(xiàn)了從數(shù)據(jù)源系統(tǒng)中抽取數(shù)據(jù)、經(jīng)過清洗、整合處理，最后加載到數(shù)據(jù)倉(cāng)庫中的完整過程。在對(duì)數(shù)據(jù)挖掘的現(xiàn)狀與功能的分析的基礎(chǔ)上，總結(jié)了數(shù)據(jù)挖掘需重點(diǎn)開展的工作。并利用K-means聚類算法對(duì)客戶進(jìn)行了聚類分析