大數(shù)據(jù)模型分析平臺(tái)下的數(shù)據(jù)溯源關(guān)鍵技術(shù)研究.pdf

1、近年來(lái)，隨著計(jì)算機(jī)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，各種信息呈爆炸式的增長(zhǎng)，人們現(xiàn)在已不僅僅只關(guān)注數(shù)據(jù)本身，還關(guān)注數(shù)據(jù)的源頭以及歷史演變信息，這些歷史信息我們稱之為溯源信息。數(shù)據(jù)溯源在數(shù)據(jù)庫(kù)以及科學(xué)研究領(lǐng)域已經(jīng)有了很廣泛的應(yīng)用，這其中也包括很多溯源信息系統(tǒng)。除此之外，數(shù)據(jù)溯源還在其它很多方面發(fā)揮著重要的作用，例如調(diào)試數(shù)據(jù)和轉(zhuǎn)換，審計(jì)，評(píng)估數(shù)據(jù)的質(zhì)量和信任度以及實(shí)現(xiàn)對(duì)數(shù)據(jù)的訪問(wèn)控制等方面。但是在大數(shù)據(jù)平臺(tái)下，不管是源數(shù)據(jù)還是結(jié)果數(shù)據(jù)，都存儲(chǔ)在HDFS之

2、上，傳統(tǒng)的溯源方法已經(jīng)不適合。
　　針對(duì)上述問(wèn)題，本文重點(diǎn)研究了在大數(shù)據(jù)平臺(tái)下的模型工作流中不同粒度的數(shù)據(jù)溯源問(wèn)題，并設(shè)計(jì)了一個(gè)基于該平臺(tái)的數(shù)據(jù)溯源系統(tǒng)，用戶可以根據(jù)目標(biāo)結(jié)果數(shù)據(jù)進(jìn)行追本溯源，從而實(shí)現(xiàn)該模型平臺(tái)的可回溯性，以便以后能夠通過(guò)溯源來(lái)保證數(shù)據(jù)質(zhì)量，主要研究?jī)?nèi)容如下：
　　第一，對(duì)粗粒度的數(shù)據(jù)溯源方法研究。本文針對(duì)模型工作流設(shè)計(jì)并構(gòu)建了一種溯源元數(shù)據(jù)模型，基于模型的流程圖，采用DAG（Directed Acyclic

3、 Graph，有向無(wú)環(huán)圖）作為描述語(yǔ)言，提出一種粗粒度的數(shù)據(jù)溯源方法，解決了對(duì)模型工作流結(jié)果數(shù)據(jù)的來(lái)源以及演變過(guò)程的問(wèn)題，本文稱該方法為粗粒度溯源方法。但是該溯源方法只能針對(duì)目錄文件級(jí)的數(shù)據(jù)進(jìn)行溯源，而無(wú)法解決文件中基于數(shù)據(jù)項(xiàng)的依賴歸屬問(wèn)題。
　　第二，針對(duì)粗粒度溯源方法無(wú)法精確對(duì)單個(gè)數(shù)據(jù)項(xiàng)進(jìn)行溯源的問(wèn)題，論文進(jìn)一步研究了如何解決單數(shù)據(jù)溯源中數(shù)據(jù)項(xiàng)的依賴區(qū)分問(wèn)題，并提出一種相對(duì)粗粒度溯源粒度到達(dá)每條數(shù)據(jù)項(xiàng)的細(xì)粒度溯源方法，該方法通