基于眾包的數(shù)據(jù)清洗關(guān)鍵技術(shù)的研究.pdf

1、當(dāng)今信息化時(shí)代，由于互聯(lián)網(wǎng)的興起和產(chǎn)業(yè)的數(shù)字化，導(dǎo)致各種數(shù)據(jù)量的急劇增長(zhǎng)，數(shù)據(jù)的重要性越來(lái)越不可忽視。糟糕的數(shù)據(jù)質(zhì)量對(duì)數(shù)據(jù)分析數(shù)據(jù)挖掘等都造成一定的影響，利用數(shù)據(jù)清洗來(lái)處理劣質(zhì)數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理成為必要的手段之一。然而目前的數(shù)據(jù)清洗方法往往計(jì)算難度比較大，精度不夠高，甚至一部分問(wèn)題是 NP-hard難題或者是根本不可計(jì)算的。另外缺少充分的知識(shí)也是目前很多數(shù)據(jù)清洗算法面臨的一個(gè)問(wèn)題，沒(méi)有額外知識(shí)的加入，規(guī)則定義的不夠全面，都將導(dǎo)致數(shù)據(jù)清

2、洗的結(jié)果精確度不夠高。本文將主動(dòng)學(xué)習(xí)與眾包結(jié)合起來(lái)進(jìn)行數(shù)據(jù)清洗，通過(guò)眾包確認(rèn)來(lái)保證一定的精確度，同時(shí)結(jié)合主動(dòng)學(xué)習(xí)框架來(lái)減少眾包的開(kāi)銷。分別針對(duì)數(shù)據(jù)清洗領(lǐng)域中的真值發(fā)現(xiàn)問(wèn)題，缺失值填充問(wèn)題，實(shí)體識(shí)別問(wèn)題提出了基于眾包的主動(dòng)學(xué)習(xí)算法，最后結(jié)合這三種修復(fù)給出了一個(gè)基于眾包的數(shù)據(jù)清洗系統(tǒng)。
　　本文的主要貢獻(xiàn)主要分為三個(gè)方面：第一，設(shè)計(jì)了一個(gè)滿足數(shù)據(jù)清洗的問(wèn)題特點(diǎn)的主動(dòng)學(xué)習(xí)模型，將以往多應(yīng)用在機(jī)器學(xué)習(xí)領(lǐng)域加快分類的主動(dòng)學(xué)習(xí)機(jī)制應(yīng)用在數(shù)據(jù)清

3、洗領(lǐng)域；第二，在數(shù)據(jù)清洗的過(guò)程中引入眾包平臺(tái)來(lái)加快原有模型的修復(fù)速度，增加模型修復(fù)的正確性；第三，一個(gè)基于眾包的數(shù)據(jù)清洗系統(tǒng)。每個(gè)方面的主要內(nèi)容闡述如下。
　　首先，本文為數(shù)據(jù)清洗問(wèn)題設(shè)計(jì)了兩種適用于不同場(chǎng)合的主動(dòng)學(xué)習(xí)模型，分別為直接主動(dòng)學(xué)習(xí)模型和交互主動(dòng)學(xué)習(xí)模型，以少量的有標(biāo)記樣本作為初始訓(xùn)練集對(duì)大量數(shù)據(jù)進(jìn)行清洗，選出價(jià)值更高的一類樣本利用眾包平臺(tái)進(jìn)行人工標(biāo)記。在提高數(shù)據(jù)清洗準(zhǔn)確率的同時(shí)最小化眾包平臺(tái)的開(kāi)銷。
　　其次，本

4、文首次將眾包平臺(tái)引入數(shù)據(jù)清洗領(lǐng)域，對(duì)真值發(fā)現(xiàn)，實(shí)體識(shí)別，缺失填充等問(wèn)題進(jìn)行研究，利用眾包平臺(tái)提供充分的知識(shí)獲取真值。
　　最后，我們提出了基于眾包的數(shù)據(jù)清洗系統(tǒng)，解決了現(xiàn)有系統(tǒng)中領(lǐng)域知識(shí)不充分，處理劣質(zhì)數(shù)據(jù)不全面的問(wèn)題。采用人機(jī)結(jié)合的方式對(duì)劣質(zhì)數(shù)據(jù)進(jìn)行清洗，將基于不同劣質(zhì)數(shù)據(jù)類型的清洗方法整合到一個(gè)自動(dòng)清洗模塊中。系統(tǒng)為用戶提供了手動(dòng)選擇眾包記錄和結(jié)果二次眾包的功能，將清洗結(jié)果的每一步及時(shí)的反饋給用戶，加強(qiáng)了用戶與系統(tǒng)的互動(dòng)，具有