數(shù)據(jù)清洗框架與缺失值重構(gòu)方法的研究.pdf

1、數(shù)據(jù)清洗作為數(shù)據(jù)挖掘中一個(gè)重要的數(shù)據(jù)預(yù)處理工作，對(duì)于數(shù)據(jù)的質(zhì)量具有重要意義。隨著信息化時(shí)代對(duì)于數(shù)據(jù)挖掘的迫切需求，高效的數(shù)據(jù)清洗方法也成為學(xué)術(shù)界的研究熱點(diǎn)。
　　本文針對(duì)數(shù)據(jù)清洗框架中存在的修復(fù)過(guò)程可能阻塞在用戶反饋的階段,系統(tǒng)與用戶之間的交互頻繁以及修復(fù)方式集合不更新等問(wèn)題及其中的數(shù)據(jù)清洗方法展開(kāi)研究工作。為了改善持續(xù)性數(shù)據(jù)清洗框架的修復(fù)效率，本文提出了一種基于修復(fù)規(guī)則分級(jí)的持續(xù)性數(shù)據(jù)清洗框架。該方法通過(guò)將規(guī)則集中的修復(fù)規(guī)則劃分

2、為確定性修復(fù)、可依賴性修復(fù)和可能性修復(fù)三個(gè)等級(jí)，并針對(duì)不同級(jí)別采取不同的應(yīng)用方式，從而減少用戶反饋的參與，提高數(shù)據(jù)修復(fù)的效率。隨著系統(tǒng)的運(yùn)行，三個(gè)級(jí)別的修復(fù)方式之間可以進(jìn)行相互轉(zhuǎn)化，進(jìn)一步提高修復(fù)的準(zhǔn)確度和效率。
　　在基于修復(fù)規(guī)則分級(jí)的持續(xù)性數(shù)據(jù)清洗框架的基礎(chǔ)上，本文針對(duì)其中確定性修復(fù)中存在的自動(dòng)修復(fù)數(shù)據(jù)缺失值部分做了更深一步的研究，并提出了一種改進(jìn)的缺失值重構(gòu)方法,該方法通過(guò)對(duì)于不同類型的數(shù)據(jù)采用不同的方式進(jìn)行距離計(jì)算，使得在