大數(shù)據(jù)處理性能及可靠性研究.pdf

1、隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模的指數(shù)級增長，如何有效存儲和分析這些數(shù)據(jù)成為非常有挑戰(zhàn)的一個問題。為了應對大數(shù)據(jù)的挑戰(zhàn)，涌現(xiàn)出了各種分布式存儲和計算系統(tǒng)。其中分布式非關系型數(shù)據(jù)庫利用分布式系統(tǒng)的特點和非關系型數(shù)據(jù)庫天然的水平伸縮能力，成為大數(shù)據(jù)存儲系統(tǒng)的典范。它們在一致性和可用性上做了折衷，通過犧牲部分一致性，來獲得整體性能的提升;并能通過簡單累加節(jié)點的方式進行性能的水平擴展。
　　為了節(jié)省網(wǎng)絡傳輸，分布式非關系型數(shù)據(jù)庫采用批量的方式處理客戶端

2、的請求。不過當前典型的分布式非關系型數(shù)據(jù)庫在批量處理方面都存在著一定的問題。為保證數(shù)據(jù)更新的原子性而引入的加鎖操作導致False Conflict現(xiàn)象比較嚴重，使得批量處理的性能不高。并且由于后臺線程對網(wǎng)絡等I/O資源的競爭，使得服務端性能出現(xiàn)明顯的波動。
　　針對上述問題，本文提出一套優(yōu)化服務端處理性能并減少性能波動的解決方案:利用兩個改進的批量處理算法來加快服務端處理寫操作的流程，提升服務端的吞吐量;利用VLog來并行化處理對