數(shù)據(jù)清洗關(guān)鍵技術(shù)研究及在工商信用服務(wù)平臺上的應(yīng)用.pdf

1、在對網(wǎng)絡(luò)交易中的信用主體進行信用評估時，需要對分散在各機構(gòu)中的基礎(chǔ)信用信息進行整合。在對信用信息的處理過程中，由于各機構(gòu)對信息的表達方式不盡相同，因此需要對采集來的數(shù)據(jù)進行清洗，特別是要對數(shù)據(jù)庫字段不匹配和數(shù)據(jù)重復(fù)冗余等現(xiàn)象進行處理。
　　 本文針對多數(shù)據(jù)源中數(shù)據(jù)庫字段不匹配的問題，提出一種基于領(lǐng)域知識的字段映射方法，對字段進行分類，并從字段的基本信息和實例的內(nèi)容信息進行分析，最終得出所比較字段的相似性，從而識別出不同的數(shù)據(jù)庫模

2、式中表達相同含義的重復(fù)字段，并能夠?qū)σ院蟮淖侄斡成涮峁┯行У闹?，最后通過引入信用領(lǐng)域的相關(guān)知識對各機構(gòu)的數(shù)據(jù)庫字段進行映射，驗證了本方法的實用性。本文針對已映射字段中的重復(fù)記錄問題，提出了一種新的重復(fù)記錄檢測算法，該算法是對MPN(多趟鄰近排序)算法的改進，并通過改進的相似度計算方法判斷兩條記錄的重復(fù)程度，從而檢測出隱含的數(shù)據(jù)重復(fù)冗余問題，最終通過對實際信用數(shù)據(jù)的處理，驗證了該算法的正確性，為半自動化檢測多數(shù)據(jù)源數(shù)據(jù)集成過程中出現(xiàn)的數(shù)