異構(gòu)數(shù)據(jù)源集成中清洗策略的研究及應用.pdf

1、數(shù)據(jù)集成的需求由來已久,對數(shù)據(jù)集成技術的研究一直是數(shù)據(jù)管理領域及其相關領域中一個非常熱門的課題.論文研究數(shù)據(jù)集成過程中"臟數(shù)據(jù)"和"數(shù)據(jù)源異構(gòu)"問題的解決方法,重點研究了數(shù)據(jù)清洗策略及其相關算法,為消除臟數(shù)據(jù)、保證集成數(shù)據(jù)的質(zhì)量提供了一套通用的解決方案.論文提出了利用集成工具軟件將數(shù)據(jù)清洗與模式轉(zhuǎn)換有機結(jié)合實現(xiàn)數(shù)據(jù)集成的基本策略;構(gòu)造了通用的異構(gòu)數(shù)據(jù)源集成框架,為增強集成工具的臟數(shù)據(jù)處理功能提供了一種新的途徑.將臟數(shù)據(jù)按照清洗方式的差異

2、劃分為單記錄型和多記錄型臟數(shù)據(jù)兩類,并提出了解決兩類臟數(shù)據(jù)的清洗策略.構(gòu)建了清洗規(guī)則定制模塊,解決了單記錄型臟數(shù)據(jù)的清洗問題;研究了缺損數(shù)據(jù)和相似重復記錄兩類常見多記錄型臟數(shù)據(jù)的清洗策略;針對缺損數(shù)據(jù)提出了基于策略模式的缺損數(shù)據(jù)處理方法,該方法利用具體的策略類實現(xiàn)了簡單處理、KNN和DTB三種缺損數(shù)據(jù)處理算法;針對相似重復記錄提出了對象識別過程框架,設計了該框架中的數(shù)據(jù)預處理、詞法分析、記錄特征標記、相似度分析、相似對象聚類等過程的相應