海量數(shù)據(jù)緩存算法與設(shè)計模式的研究及應(yīng)用.pdf

1、隨著Internet的飛速發(fā)展，證券、銀行等大型金融信息系統(tǒng)積累了海量的用戶數(shù)據(jù)，數(shù)據(jù)量和用戶數(shù)的劇增，給這些系統(tǒng)帶來了很大的壓力。如何有效減少用戶訪問延時，提高系統(tǒng)服務(wù)質(zhì)量是一個迫切需要解決的難題，Web緩存技術(shù)可以極大的提高系統(tǒng)的響應(yīng)速度，然而傳統(tǒng)的緩存策略只是著眼于單個用戶的訪問習慣，沒有從全盤考慮緩存性能，或者需要加載所有數(shù)據(jù)才能判斷哪些數(shù)據(jù)是需要緩存的，對于海量數(shù)據(jù)來說，加載所有數(shù)據(jù)是不可能的，因此，本文針對海量數(shù)據(jù)的緩存策略

2、和如何設(shè)計緩存系統(tǒng)，做了以下幾個方面的工作:
　　 (1)針對海量數(shù)據(jù)如何剔除那些冗余的數(shù)據(jù)，只提取對系統(tǒng)有用的核心數(shù)據(jù)進行緩存，提出了基于規(guī)則引擎的數(shù)據(jù)精簡模式（REBDR，Rules Engine-BasedData Reduction design pattern），采用規(guī)則引擎作為數(shù)據(jù)預(yù)處理的核心，而不是傳統(tǒng)上的將數(shù)據(jù)預(yù)處理邏輯固化在代碼中，從而讓數(shù)據(jù)預(yù)處理邏輯和應(yīng)用代碼之間獲得了很好的分離。數(shù)據(jù)精簡的規(guī)則可靈活定制，能

3、夠適應(yīng)不同行業(yè)的業(yè)務(wù)需求，并且可以快速響應(yīng)業(yè)務(wù)需求的變動，該模式具有通用性。
　　 (2)對于海量數(shù)據(jù)，經(jīng)過數(shù)據(jù)精簡后，也往往無法全部加載到緩存中，因此我們提出了基于裝載因子的數(shù)據(jù)緩存策略，該算法無需加載所有數(shù)據(jù)到內(nèi)存中，根據(jù)數(shù)據(jù)的裝載因子即能做出是否緩存的策略，通過仿真測試，該緩存策略相比傳統(tǒng)的緩存策略，命中率更高，在系統(tǒng)的吞吐量獲得成倍增長的同時大幅降低了系統(tǒng)的響應(yīng)時延。
　　 (3)設(shè)計實現(xiàn)了“電子銀行風險監(jiān)控系統(tǒng)