基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)清洗技術(shù)研究.pdf

1、信息技術(shù)的飛速發(fā)展使組織的管理者進(jìn)行決策分析時(shí)對(duì)數(shù)據(jù)的依賴性越來(lái)越強(qiáng)。于是在數(shù)據(jù)庫(kù)的基礎(chǔ)上產(chǎn)生了能夠滿足決策分析所需要的數(shù)據(jù)環(huán)境——數(shù)據(jù)倉(cāng)庫(kù)。但是從異構(gòu)的數(shù)據(jù)源導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)中會(huì)存在各種質(zhì)量問(wèn)題，使得應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)前端的決策支持系統(tǒng)產(chǎn)生錯(cuò)誤的分析結(jié)果,所以必須對(duì)其進(jìn)行數(shù)據(jù)清洗來(lái)提高其質(zhì)量。數(shù)據(jù)清洗正在成為數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要課題。 本文對(duì)數(shù)據(jù)清洗的知識(shí)進(jìn)行了全面的描述，介紹了數(shù)據(jù)清洗的概念和國(guó)內(nèi)外研究現(xiàn)狀。對(duì)數(shù)據(jù)

2、清洗技術(shù)的原理、方法、評(píng)價(jià)標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析。重點(diǎn)對(duì)重復(fù)記錄清洗所用到的技術(shù)和各種算法進(jìn)行了深入的研究與實(shí)驗(yàn)分析。 在重復(fù)記錄清洗中，首先介紹了重復(fù)記錄清洗的相關(guān)知識(shí)和基本流程，然后分別就流程中各個(gè)步驟進(jìn)行了深入的研究，對(duì)各種算法進(jìn)行了復(fù)雜度分析，并針對(duì)部分算法中的缺陷進(jìn)行了改進(jìn)。主要工作大致包括：在預(yù)處理步驟中，本文基于越能最大限度的聚集相同記錄，離散不同記錄的屬性其權(quán)重應(yīng)該越大的思想分配屬性的權(quán)重。對(duì)常見(jiàn)的字段匹配算

3、法Levenshtein距離、Smith Waterman距離、Jaro_Winkler距離、TI similarity 做了詳細(xì)的算法說(shuō)明分析。在數(shù)據(jù)庫(kù)級(jí)上對(duì)重復(fù)記錄進(jìn)行聚類的步驟中，就基于“排序-合并”思想的排序鄰居法、多趟算法、優(yōu)先隊(duì)列法進(jìn)行了詳細(xì)的討論和實(shí)驗(yàn)分析，并改進(jìn)了傳統(tǒng)的排序鄰居法，實(shí)驗(yàn)結(jié)果表明，改進(jìn)的排序鄰居法在相同召回率的情況下，時(shí)間復(fù)雜度優(yōu)于傳統(tǒng)的算法。此外對(duì)canopy聚類方法進(jìn)行了算法分析，并對(duì)優(yōu)先隊(duì)列算法和ca