批量數(shù)據(jù)優(yōu)化處理框架的設(shè)計和實現(xiàn).pdf

1、一個數(shù)據(jù)庫應(yīng)用系統(tǒng)在投入運行的初始階段，大都需要一次性錄入在量初始數(shù)據(jù)。而在使用的過程中，也往往需要從其他系統(tǒng)中獲取相關(guān)數(shù)據(jù)。傳統(tǒng)的方法是利用數(shù)據(jù)庫應(yīng)用系統(tǒng)本身提供的數(shù)據(jù)錄入功能完成這一工作，或者針對特定的業(yè)務(wù)編寫特定的代碼去實現(xiàn)批量數(shù)據(jù)的錄入。但是，這種方法對大批量數(shù)據(jù)來說效率非常低，穩(wěn)定性差，而且無法擴展。
　　論文通過設(shè)計和實現(xiàn)大批量數(shù)據(jù)處理框架，很大程度上優(yōu)化了數(shù)據(jù)處理的速度，穩(wěn)定性和擴展性。這主要從三個方面實現(xiàn)。首先是利

2、用二級緩存機制，利用生產(chǎn)者-消費者體系結(jié)構(gòu)，生產(chǎn)者每次加載一批數(shù)據(jù)進入內(nèi)存，經(jīng)過處理后進入數(shù)據(jù)倉庫。消費者每次從倉庫中取出一批數(shù)據(jù)，寫入目標數(shù)據(jù)庫。最大程度上減少了數(shù)據(jù)庫訪問的次數(shù)，最大程度的提高了數(shù)據(jù)導(dǎo)入的速度。并且在數(shù)據(jù)抽取階段對數(shù)據(jù)進行分析，在此基礎(chǔ)上分類重組，讓每組數(shù)據(jù)對應(yīng)一個范圍小的緩存，提高命中率。第二方面是利用監(jiān)控器機制，保證數(shù)據(jù)的正確性。第三方面是利用MVC架構(gòu)，將抽取數(shù)據(jù)，導(dǎo)入數(shù)據(jù)與數(shù)據(jù)處理業(yè)務(wù)分離。程序員只需要在Vi

3、ew中描述抽取邏輯和導(dǎo)入邏輯，聲明由那個業(yè)務(wù)邏輯處理類處理，接著在業(yè)務(wù)邏輯類中實現(xiàn)數(shù)據(jù)的轉(zhuǎn)化。
　　為了實現(xiàn)生產(chǎn)者-消費者的體系結(jié)構(gòu)，框架設(shè)計了數(shù)據(jù)抽取，數(shù)據(jù)準備和處理，數(shù)據(jù)監(jiān)控，數(shù)據(jù)批量導(dǎo)入，標記位處理五個處理器和存放數(shù)據(jù)的一個數(shù)據(jù)倉庫。提高了整體的處理速度。而為了加快每條數(shù)據(jù)的處理速度，框架還建立了三個模型，分別是數(shù)據(jù)分類模型，緩存優(yōu)化模型和SQL優(yōu)化模型。數(shù)據(jù)分類和sql優(yōu)化對數(shù)據(jù)進行分組重排，讓數(shù)據(jù)變得有規(guī)律，使緩存模型的