基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)的研究與實現(xiàn).pdf_第1頁
已閱讀1頁,還剩65頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、隨著信息技術(shù)的飛速發(fā)展,獲取數(shù)據(jù)手段也更加多樣化,人們現(xiàn)在所擁有的數(shù)據(jù)資源日益豐富,數(shù)據(jù)量急劇增加。但是海量的數(shù)據(jù)并不一定真正具有價值,數(shù)據(jù)的價值在于它的質(zhì)量,基于劣質(zhì)數(shù)據(jù)的決策是不可信的?;跀?shù)據(jù)所做的進一步挖掘和決策與數(shù)據(jù)質(zhì)量直接相關(guān)。但是面對數(shù)量巨大而零亂的數(shù)據(jù)人工處理是非常困難的,數(shù)據(jù)質(zhì)量問題成為制約數(shù)據(jù)應用和數(shù)據(jù)挖掘的“瓶頸”之一。糾正數(shù)據(jù)錯誤是避免錯誤決策、降低決策風險,改善數(shù)據(jù)挖掘效果的重要環(huán)節(jié),數(shù)據(jù)清洗就是用來完成這項艱

2、巨任務的。
   本文在現(xiàn)有的數(shù)據(jù)清洗方法基礎(chǔ)上,從滿足現(xiàn)代軟件工程理念的角度出發(fā),嘗試性地設計并實現(xiàn)了一種基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng),將具體的數(shù)據(jù)清洗方法以組件的形式集成到系統(tǒng)中來,并能夠適用于對多種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)清洗。系統(tǒng)具有很好的可復用性和可擴展性。
   本文完成的主要工作內(nèi)容如下:
   ①分析了本文的相關(guān)研究背景,數(shù)據(jù)清洗的相關(guān)知識以及現(xiàn)階段國內(nèi)外數(shù)據(jù)清洗研究現(xiàn)狀,介紹國內(nèi)外現(xiàn)有的數(shù)據(jù)清洗方法和

3、數(shù)據(jù)清洗產(chǎn)品。
   ②分析了XML用于系統(tǒng)集成和數(shù)據(jù)載體的優(yōu)勢,比較XML有效性驗證方式以及文檔解析方法;介紹了數(shù)據(jù)庫訪問ADO.NET技術(shù),分析ADO.NET的結(jié)構(gòu)和不同數(shù)據(jù)讀取方式的特點;介紹中文信息處理中的中文分詞技術(shù),分析比較三種主要中文分詞方法的效果。
   ③研究了在系統(tǒng)中涉及到的關(guān)鍵技術(shù)。首先,分析了軟件總線模型的結(jié)構(gòu)特點,研究了軟件總線中組件管理方式和總線控制方法。其次,研究了對數(shù)據(jù)清洗任務分解的方法,

4、分析了多線程并發(fā)技術(shù),并將其用于對數(shù)據(jù)清洗任務并發(fā)執(zhí)行,通過實驗驗證其效果;最后,研究了中文地址數(shù)據(jù)清洗方法,結(jié)合中文地址的特點,提出一種基于分級樹的中文地址規(guī)范化方法,并通過實驗對其效果進行比較。
   ④設計并實現(xiàn)了基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)。首先對系統(tǒng)整體描述,其次對于系統(tǒng)整個結(jié)構(gòu)進行分析設計,對系統(tǒng)按照功能結(jié)構(gòu)分為數(shù)據(jù)清洗總線,數(shù)據(jù)源包裝器,數(shù)據(jù)清洗組件和組件適配器等模塊,然后分別對每個模塊進行設計和實現(xiàn),最后對系統(tǒng)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論