大數(shù)據(jù)處理性能及可靠性研究.pdf

1、隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模的指數(shù)級(jí)增長(zhǎng)，如何有效存儲(chǔ)和分析這些數(shù)據(jù)成為非常有挑戰(zhàn)的一個(gè)問題。為了應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)，涌現(xiàn)出了各種分布式存儲(chǔ)和計(jì)算系統(tǒng)。其中分布式非關(guān)系型數(shù)據(jù)庫(kù)利用分布式系統(tǒng)的特點(diǎn)和非關(guān)系型數(shù)據(jù)庫(kù)天然的水平伸縮能力，成為大數(shù)據(jù)存儲(chǔ)系統(tǒng)的典范。它們?cè)谝恢滦院涂捎眯陨献隽苏壑?，通過犧牲部分一致性，來獲得整體性能的提升;并能通過簡(jiǎn)單累加節(jié)點(diǎn)的方式進(jìn)行性能的水平擴(kuò)展。
　　為了節(jié)省網(wǎng)絡(luò)傳輸，分布式非關(guān)系型數(shù)據(jù)庫(kù)采用批量的方式處理客戶端

2、的請(qǐng)求。不過當(dāng)前典型的分布式非關(guān)系型數(shù)據(jù)庫(kù)在批量處理方面都存在著一定的問題。為保證數(shù)據(jù)更新的原子性而引入的加鎖操作導(dǎo)致False Conflict現(xiàn)象比較嚴(yán)重，使得批量處理的性能不高。并且由于后臺(tái)線程對(duì)網(wǎng)絡(luò)等I/O資源的競(jìng)爭(zhēng)，使得服務(wù)端性能出現(xiàn)明顯的波動(dòng)。
　　針對(duì)上述問題，本文提出一套優(yōu)化服務(wù)端處理性能并減少性能波動(dòng)的解決方案:利用兩個(gè)改進(jìn)的批量處理算法來加快服務(wù)端處理寫操作的流程，提升服務(wù)端的吞吐量;利用VLog來并行化處理對(duì)