基于預(yù)處理技術(shù)的數(shù)據(jù)清理系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著信息化工程的不斷深入，許多企業(yè)在長(zhǎng)期的運(yùn)營(yíng)過(guò)程中積累大量數(shù)據(jù)，這些數(shù)據(jù)能夠反映企業(yè)生產(chǎn)經(jīng)營(yíng)過(guò)程中的規(guī)律。建立決策支持系統(tǒng)是利用已有數(shù)據(jù)的應(yīng)用服務(wù)之一，但是基于劣質(zhì)數(shù)據(jù)的決策是不可信的。糾正數(shù)據(jù)錯(cuò)誤是避免錯(cuò)誤決策、降低決策風(fēng)險(xiǎn)的重要一環(huán)，數(shù)據(jù)清理應(yīng)運(yùn)而生。 本文深入研究數(shù)據(jù)預(yù)處理技術(shù)和數(shù)據(jù)清理技術(shù)。數(shù)據(jù)預(yù)處理技術(shù)分別針對(duì)數(shù)值型字段和字符型字段研究了孤立點(diǎn)的檢測(cè)和縮寫的發(fā)現(xiàn)；數(shù)據(jù)清理技術(shù)研究相似重復(fù)記錄的清理。孤立點(diǎn)的檢測(cè)使用一

2、種基于鄰域局部修剪的算法，利用垂直的數(shù)據(jù)結(jié)構(gòu)—P-樹(shù)實(shí)現(xiàn)算法，保證算法的有效性和高效率，并對(duì)算法做出改進(jìn)，提高算法的適用性。在縮寫發(fā)現(xiàn)技術(shù)中，重點(diǎn)研究基于動(dòng)態(tài)規(guī)劃的縮寫發(fā)現(xiàn)算法，該算法不僅能處理西文字符而且能有效地發(fā)現(xiàn)中文縮寫形式，改進(jìn)后的算法具有較高的效率和較好的健壯性。數(shù)據(jù)清理部分對(duì)于相似重復(fù)記錄的清理，分別研究英文、中文記錄排序算法，不同類型字段的相似度計(jì)算方法，記錄相似度計(jì)算方法以及相似重復(fù)記錄的合并規(guī)則，并對(duì)以上相似重復(fù)記錄清