基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)的研究與實現(xiàn).pdf

1、隨著信息技術(shù)的飛速發(fā)展，獲取數(shù)據(jù)手段也更加多樣化，人們現(xiàn)在所擁有的數(shù)據(jù)資源日益豐富，數(shù)據(jù)量急劇增加。但是海量的數(shù)據(jù)并不一定真正具有價值，數(shù)據(jù)的價值在于它的質(zhì)量，基于劣質(zhì)數(shù)據(jù)的決策是不可信的?；跀?shù)據(jù)所做的進一步挖掘和決策與數(shù)據(jù)質(zhì)量直接相關(guān)。但是面對數(shù)量巨大而零亂的數(shù)據(jù)人工處理是非常困難的，數(shù)據(jù)質(zhì)量問題成為制約數(shù)據(jù)應用和數(shù)據(jù)挖掘的“瓶頸”之一。糾正數(shù)據(jù)錯誤是避免錯誤決策、降低決策風險，改善數(shù)據(jù)挖掘效果的重要環(huán)節(jié)，數(shù)據(jù)清洗就是用來完成這項艱

2、巨任務的。
　　 本文在現(xiàn)有的數(shù)據(jù)清洗方法基礎(chǔ)上，從滿足現(xiàn)代軟件工程理念的角度出發(fā)，嘗試性地設計并實現(xiàn)了一種基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)，將具體的數(shù)據(jù)清洗方法以組件的形式集成到系統(tǒng)中來，并能夠適用于對多種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)清洗。系統(tǒng)具有很好的可復用性和可擴展性。
　　 本文完成的主要工作內(nèi)容如下：
　　 ①分析了本文的相關(guān)研究背景，數(shù)據(jù)清洗的相關(guān)知識以及現(xiàn)階段國內(nèi)外數(shù)據(jù)清洗研究現(xiàn)狀，介紹國內(nèi)外現(xiàn)有的數(shù)據(jù)清洗方法和

3、數(shù)據(jù)清洗產(chǎn)品。
　　 ②分析了XML用于系統(tǒng)集成和數(shù)據(jù)載體的優(yōu)勢，比較XML有效性驗證方式以及文檔解析方法；介紹了數(shù)據(jù)庫訪問ADO.NET技術(shù)，分析ADO.NET的結(jié)構(gòu)和不同數(shù)據(jù)讀取方式的特點；介紹中文信息處理中的中文分詞技術(shù)，分析比較三種主要中文分詞方法的效果。
　　 ③研究了在系統(tǒng)中涉及到的關(guān)鍵技術(shù)。首先，分析了軟件總線模型的結(jié)構(gòu)特點，研究了軟件總線中組件管理方式和總線控制方法。其次，研究了對數(shù)據(jù)清洗任務分解的方法，

4、分析了多線程并發(fā)技術(shù)，并將其用于對數(shù)據(jù)清洗任務并發(fā)執(zhí)行，通過實驗驗證其效果；最后，研究了中文地址數(shù)據(jù)清洗方法，結(jié)合中文地址的特點，提出一種基于分級樹的中文地址規(guī)范化方法，并通過實驗對其效果進行比較。
　　 ④設計并實現(xiàn)了基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)。首先對系統(tǒng)整體描述，其次對于系統(tǒng)整個結(jié)構(gòu)進行分析設計，對系統(tǒng)按照功能結(jié)構(gòu)分為數(shù)據(jù)清洗總線，數(shù)據(jù)源包裝器，數(shù)據(jù)清洗組件和組件適配器等模塊，然后分別對每個模塊進行設計和實現(xiàn)，最后對系統(tǒng)