應(yīng)用于數(shù)據(jù)質(zhì)量核查的幾項(xiàng)數(shù)據(jù)挖掘技術(shù)研究.pdf

1、質(zhì)量低劣的數(shù)據(jù)已經(jīng)成為影響企業(yè)正確決策的關(guān)鍵因素,成為制約信息服務(wù)的瓶頸。因此,如何高效的管理數(shù)據(jù),提高數(shù)據(jù)質(zhì)量,使其成為決策部門的有效依據(jù),是具有較高研究價(jià)值和實(shí)際意義的問題。本文由此背景出發(fā),根據(jù)不同類型的數(shù)據(jù)錯(cuò)誤,采用相應(yīng)檢測方法,并通過實(shí)現(xiàn)具體程序,驗(yàn)證方法的有效性。
　　 本文首先介紹了數(shù)據(jù)質(zhì)量的定義、分類、評價(jià)指標(biāo)以及數(shù)據(jù)質(zhì)量提高技術(shù)。然后總結(jié)了數(shù)據(jù)清洗技術(shù)的原理方法。最后針對不同的數(shù)據(jù)錯(cuò)誤類型,給出了相應(yīng)的解決方法

2、。本文重點(diǎn)給出了異常數(shù)據(jù)和相似重復(fù)記錄的檢測方法。
　　 本文充分考慮數(shù)據(jù)內(nèi)部之間的聯(lián)系,采用基于關(guān)聯(lián)規(guī)則的思想對異常數(shù)據(jù)進(jìn)行檢測。首先,將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換,使其滿足關(guān)聯(lián)規(guī)則挖掘的條件；然后,在訓(xùn)練集中找出所有的頻繁項(xiàng)集,由頻繁項(xiàng)集生成關(guān)聯(lián)規(guī)則,并將其放入規(guī)則庫；最后,將測試集中的記錄與規(guī)則庫中的規(guī)則進(jìn)行比對,以此判斷記錄是否異常。通過實(shí)驗(yàn)證明此方法檢測異常數(shù)據(jù)效果良好。
　　 本文采用基于權(quán)值分組的方法來檢測相似