社保聯(lián)網(wǎng)審計(jì)中增量數(shù)據(jù)分布式處理的研究.pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)和分布式計(jì)算的發(fā)展，海量數(shù)據(jù)處理的性能有了很大提升。在許多應(yīng)用領(lǐng)域中，都需要從海量數(shù)據(jù)中提取出增量數(shù)據(jù)來(lái)滿(mǎn)足某種業(yè)務(wù)需求，尤其是對(duì)于不斷更新的源數(shù)據(jù)，往往需要定時(shí)抽取出增量數(shù)據(jù)。在目前和將來(lái)的研發(fā)中，如何快速的識(shí)別出增量數(shù)據(jù)，并進(jìn)行提取、存儲(chǔ)以及傳輸，將逐漸成為國(guó)內(nèi)外學(xué)者關(guān)注的研究方向之一。在社會(huì)保障聯(lián)網(wǎng)審計(jì)中，需要提取出增量數(shù)據(jù)來(lái)做為審計(jì)預(yù)警系統(tǒng)的源數(shù)據(jù)。增量數(shù)據(jù)的識(shí)別與提取技術(shù)是實(shí)現(xiàn)整個(gè)系統(tǒng)的關(guān)鍵技術(shù)之一。

2、　　 本文介紹了分布式系統(tǒng)的發(fā)展、負(fù)載均衡策略和國(guó)內(nèi)外對(duì)于增量數(shù)據(jù)識(shí)別技術(shù)的研究情況，給出了基于分布式處理的增量數(shù)據(jù)處理方案，對(duì)增量數(shù)據(jù)分布式處理的數(shù)據(jù)分割、數(shù)據(jù)分配、增量識(shí)別以及數(shù)據(jù)回收等過(guò)程進(jìn)行了研究，為了提高處理效率還設(shè)計(jì)了負(fù)載平衡策略，結(jié)合多線程技術(shù)進(jìn)行實(shí)現(xiàn)，并做了性能分析和系統(tǒng)設(shè)計(jì)。
　　 最后，以某省的審計(jì)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，在該省審計(jì)廳的曙光機(jī)群的基礎(chǔ)上搭建了平臺(tái)，并進(jìn)行了仿真實(shí)驗(yàn)，性能測(cè)試表明該方法基本滿(mǎn)足了聯(lián)網(wǎng)