Hadoop環(huán)境下的數(shù)據(jù)溯源方法的應用研究.pdf

1、目前多數(shù)數(shù)據(jù)溯源系統(tǒng)都是建立在傳統(tǒng)數(shù)據(jù)庫的基礎上，這就造成了在處理海量的高復雜度的數(shù)據(jù)時出現(xiàn)查詢效率低，結(jié)果不可靠的問題。針對上述問題，探討了Hadoop系統(tǒng)、現(xiàn)有的數(shù)據(jù)溯源模型和方法及國內(nèi)外研究現(xiàn)狀，在深入分析相關(guān)理論、技術(shù)和方法的基礎上，基于數(shù)據(jù)基因編碼的觀點，提出了基于遺傳算法的數(shù)據(jù)溯源染色體模型，并將其應用于Hadoop系統(tǒng)，以處理海量高復雜度的數(shù)據(jù)溯源的問題。
　　數(shù)據(jù)染色體溯源模型是建立在數(shù)據(jù)基因編碼技術(shù)和遺傳算法的基

2、礎上，核心是以生物的進化過程模擬數(shù)據(jù)的傳播過程，通過分析數(shù)據(jù)在傳播過程中發(fā)生變異的概率來達到數(shù)據(jù)溯源的目的。將該模型應用于Hadoop系統(tǒng)上，建立了一個基于Hadoop系統(tǒng)的數(shù)據(jù)溯源系統(tǒng)。為驗證該系統(tǒng)，構(gòu)建了Hadoop實驗環(huán)境；以前期參加的華為項目“Hadoop分布式系統(tǒng)的流量模型研究”所得到的數(shù)據(jù)為數(shù)據(jù)源，運用基本遺傳算法，計算各代數(shù)據(jù)染色體的概率和轉(zhuǎn)移矩陣，將其運用到該系統(tǒng)中并進行仿真實驗。實驗表明，該系統(tǒng)具有較好的伸縮性性能。<