電子政務(wù)系統(tǒng)中海量數(shù)據(jù)清洗方法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，管理者在進(jìn)行決策分析和制定時不能單純依靠以往的經(jīng)驗(yàn)，必須借助必要的數(shù)據(jù)來進(jìn)行科學(xué)的管理。這導(dǎo)致管理人員進(jìn)行決策分析時對數(shù)據(jù)的依賴性更加強(qiáng)烈。為了使分析盡可能的準(zhǔn)確，人們提出了建立數(shù)據(jù)倉庫的要求。但是在構(gòu)建數(shù)據(jù)倉庫的過程中，會不可避免的存在各種各樣的數(shù)據(jù)質(zhì)量問題，這必然會影響數(shù)據(jù)倉庫前端的決策支持系統(tǒng)產(chǎn)生錯誤的分析結(jié)果。為了過濾掉這些質(zhì)量問題，必須對其進(jìn)行數(shù)據(jù)清洗來提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗已經(jīng)成為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘以

2、及網(wǎng)絡(luò)數(shù)據(jù)處理領(lǐng)域的一個重要課題。
　　 本文首先對數(shù)據(jù)清洗知識進(jìn)行全而和詳細(xì)的描述，介紹了數(shù)據(jù)清洗的概念、意義和國內(nèi)外研究與應(yīng)用現(xiàn)狀。對數(shù)據(jù)清洗技術(shù)的原理、方法、評價標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析和總結(jié)。本文對屬性清洗及重復(fù)記錄清洗所用到的技術(shù)和各種算法進(jìn)行了分析和總結(jié)。本文還介紹了領(lǐng)域本體以及本體表示語言——OWL等相關(guān)知識，并重點(diǎn)研究如何結(jié)合領(lǐng)域本體知識來進(jìn)行數(shù)據(jù)清洗。
　　 針對傳統(tǒng)知識庫表示的局限性，本文通過分解和