基于數(shù)據(jù)熱點(diǎn)和分片性能差異的MongoDB自適應(yīng)負(fù)載均衡策略研究.pdf

1、近年來(lái)，接入到網(wǎng)絡(luò)中的設(shè)備呈指數(shù)級(jí)增長(zhǎng)，互聯(lián)網(wǎng)由此產(chǎn)生了海量的數(shù)據(jù)。傳統(tǒng)的集中式存儲(chǔ)方案在存儲(chǔ)性能和可靠性等方面已經(jīng)滿足不了人們?nèi)找嬖鲩L(zhǎng)的需求，大數(shù)據(jù)的存儲(chǔ)已經(jīng)成為了當(dāng)今時(shí)代的一項(xiàng)巨大挑戰(zhàn)。應(yīng)時(shí)勢(shì)需求，各種分布式數(shù)據(jù)庫(kù)便如雨后春筍般涌現(xiàn)出來(lái)。其中，目前使用最廣泛、性能最優(yōu)越的當(dāng)屬NoSQL數(shù)據(jù)庫(kù)。
　　MongoDB作為一種新興的NoSQL數(shù)據(jù)庫(kù)，以其水平擴(kuò)展、面向文檔、模式靈活、故障自動(dòng)轉(zhuǎn)移等優(yōu)良特點(diǎn)深受國(guó)內(nèi)外市場(chǎng)的歡迎。Mon

2、goDB支持自動(dòng)分片，其內(nèi)部自帶的負(fù)載均衡策略能使各個(gè)節(jié)點(diǎn)達(dá)到基于數(shù)據(jù)量的平衡。但是在實(shí)際的生產(chǎn)環(huán)境中，在數(shù)據(jù)塊(Chunk)數(shù)量相當(dāng)?shù)那闆r下，節(jié)點(diǎn)間的性能差異和數(shù)據(jù)訪問(wèn)熱度的不同會(huì)導(dǎo)致集群中某些節(jié)點(diǎn)處于超載的現(xiàn)象。
　　針對(duì)上述問(wèn)題，本文做了以下工作來(lái)對(duì)MongoDB負(fù)載均衡策略進(jìn)行優(yōu)化，旨在提高系統(tǒng)的性能，保證用戶體驗(yàn)的流暢性。本文的主要貢獻(xiàn)如下:
　　(1)根據(jù)其負(fù)載均衡策略的不足提出一種新的架構(gòu)。主要包含訪問(wèn)控制模塊

3、、資源管理模塊、負(fù)載預(yù)測(cè)模塊和數(shù)據(jù)遷移模塊。訪問(wèn)控制模塊就是用來(lái)控制客戶端對(duì)系統(tǒng)的訪問(wèn)。資源管理模塊對(duì)系統(tǒng)的中各個(gè)分片的負(fù)載進(jìn)行初步預(yù)測(cè)，并以此來(lái)自適應(yīng)調(diào)整負(fù)載預(yù)測(cè)的周期。負(fù)載預(yù)測(cè)模塊對(duì)各個(gè)分片和Chunk塊的負(fù)載進(jìn)行預(yù)測(cè)。數(shù)據(jù)遷移模塊主要用來(lái)控制數(shù)據(jù)的遷移工作。
　　(2)在負(fù)載預(yù)測(cè)模塊中引入馬爾科夫(Markov)模型，并對(duì)其可行性進(jìn)行分析。通過(guò)對(duì)各個(gè)分片的數(shù)據(jù)操作構(gòu)建Markov鏈，求出一步轉(zhuǎn)移概率矩陣和各個(gè)操作的穩(wěn)態(tài)向量。

4、結(jié)合分片上的數(shù)據(jù)容量、服務(wù)器間的性能差異、數(shù)據(jù)操作的負(fù)載權(quán)重以及數(shù)據(jù)的訪問(wèn)熱度對(duì)各個(gè)分片和Chunk塊上的負(fù)載進(jìn)行定量預(yù)測(cè)。以各個(gè)分片和各個(gè)Chunk塊上預(yù)測(cè)的負(fù)載為依據(jù)，選擇合適的源服務(wù)器、目標(biāo)服務(wù)器以及將要遷移的Chunk塊。在選擇之前，引入二叉排序樹(shù)對(duì)各個(gè)分片和Chunk塊的負(fù)載進(jìn)行排序。然后制定相應(yīng)的數(shù)據(jù)遷移策略來(lái)決定何時(shí)對(duì)選擇的Chunk塊進(jìn)行遷移以及何時(shí)達(dá)到負(fù)載均衡。
　　(3)搭建實(shí)驗(yàn)平臺(tái)，首先通過(guò)實(shí)驗(yàn)確定各個(gè)操作的