異構(gòu)數(shù)據(jù)源集成中清洗策略的研究及應(yīng)用.pdf

1、數(shù)據(jù)集成的需求由來已久,對(duì)數(shù)據(jù)集成技術(shù)的研究一直是數(shù)據(jù)管理領(lǐng)域及其相關(guān)領(lǐng)域中一個(gè)非常熱門的課題.論文研究數(shù)據(jù)集成過程中"臟數(shù)據(jù)"和"數(shù)據(jù)源異構(gòu)"問題的解決方法,重點(diǎn)研究了數(shù)據(jù)清洗策略及其相關(guān)算法,為消除臟數(shù)據(jù)、保證集成數(shù)據(jù)的質(zhì)量提供了一套通用的解決方案.論文提出了利用集成工具軟件將數(shù)據(jù)清洗與模式轉(zhuǎn)換有機(jī)結(jié)合實(shí)現(xiàn)數(shù)據(jù)集成的基本策略;構(gòu)造了通用的異構(gòu)數(shù)據(jù)源集成框架,為增強(qiáng)集成工具的臟數(shù)據(jù)處理功能提供了一種新的途徑.將臟數(shù)據(jù)按照清洗方式的差異

2、劃分為單記錄型和多記錄型臟數(shù)據(jù)兩類,并提出了解決兩類臟數(shù)據(jù)的清洗策略.構(gòu)建了清洗規(guī)則定制模塊,解決了單記錄型臟數(shù)據(jù)的清洗問題;研究了缺損數(shù)據(jù)和相似重復(fù)記錄兩類常見多記錄型臟數(shù)據(jù)的清洗策略;針對(duì)缺損數(shù)據(jù)提出了基于策略模式的缺損數(shù)據(jù)處理方法,該方法利用具體的策略類實(shí)現(xiàn)了簡單處理、KNN和DTB三種缺損數(shù)據(jù)處理算法;針對(duì)相似重復(fù)記錄提出了對(duì)象識(shí)別過程框架,設(shè)計(jì)了該框架中的數(shù)據(jù)預(yù)處理、詞法分析、記錄特征標(biāo)記、相似度分析、相似對(duì)象聚類等過程的相應(yīng)