MongoDB中的海量數(shù)據(jù)動態(tài)平衡.pdf

1、在云計算的技術架構中，數(shù)據(jù)存儲層是基礎。當前，云平臺中存儲了大量的結構化和非結構化數(shù)據(jù)，這些數(shù)據(jù)具有高并發(fā)性、數(shù)據(jù)量大、數(shù)據(jù)之間聯(lián)系弱等特點。相比關系型數(shù)據(jù)庫，非關系型數(shù)據(jù)庫由于其強大的適應能力得到了廣泛地應用。然而由于非關系型數(shù)據(jù)庫發(fā)展時間尚短，在負載均衡技術方面的發(fā)展還不夠成熟，因此，針對提高資源利用率的需求設計有效的非關系型數(shù)據(jù)庫的負載均衡策略具有重要意義。目前大部分數(shù)據(jù)庫的負載均衡技術都是基于數(shù)據(jù)量實現(xiàn)的，這是因為數(shù)據(jù)庫的職責一

2、直被界定為數(shù)據(jù)存儲，一般認為訪問負載的監(jiān)控應該由應用層實現(xiàn)。然而，隨著web2.0的發(fā)展，數(shù)據(jù)訪問量的差異被凸顯，熱點數(shù)據(jù)分布的均衡特性難以保證，而訪問負載過重會導致系統(tǒng)性能下降，訪問負載過輕會造成存儲系統(tǒng)資源浪費。因此，傳統(tǒng)的基于數(shù)據(jù)量的負載均衡策略難以滿足現(xiàn)狀。本文旨在研究云平臺下非關系型數(shù)據(jù)庫的負載均衡問題，并有針對性地優(yōu)化MongoDB的負載均衡架構，以提高存儲資源的使用率和存儲系統(tǒng)的性能。
　　本研究首先分析了Mongo

3、DB現(xiàn)有的負載均衡架構的局限性。通過分析目前MongoDB的負載均衡框架，發(fā)現(xiàn)其主要存在三個方面需要優(yōu)化。第一，其是基于數(shù)據(jù)量的負載均衡策略，這與現(xiàn)實中多數(shù)情況下相同數(shù)據(jù)量的數(shù)據(jù)負載不相當?shù)默F(xiàn)狀不符。第二，其沒有充分利用副本集和分布式文件系統(tǒng)的特點，事實上副本集除可用來災后修復外也可用來分擔負載，從而以較小的代價平衡系統(tǒng)中的負載。第三，其只有通過自動分片的擴容操作，并沒有相應的減少容量的相關操作，另外，在進行平衡負載操作時，其主要策略是

4、進行數(shù)據(jù)遷移，但是對于遷移數(shù)據(jù)的選擇不具有針對性且遷移數(shù)據(jù)時資源消耗較大。接著提出了優(yōu)化的MongoDB負載均衡架構和算法。根據(jù)目前MongoDB在負載均衡方面的不足，結合分布式文件系統(tǒng)的特點，提出了優(yōu)化的負載均衡策略和算法。該策略在原有的架構之上引入負載監(jiān)控器，并改造原有的負載均衡器平衡負載的工作流程和主副本切換機制，以“預防為主，最低消耗處理”的思想實現(xiàn)了基于訪問負載的動態(tài)負載平衡，并大大減少了資源的消耗。最后設計并進行試驗以證明此

5、優(yōu)化框架的可行性。在大規(guī)模分布式系統(tǒng)中，快速的響應和高可靠性是終端用戶和應用程序追求的兩個重要的性能指標，這些性能很大程度上由資源管理策略以及系統(tǒng)中各節(jié)點的負載狀況來決定。因為負載量的均勻分配能夠幫助優(yōu)化資源利用、最大化吞吐量和消除潛在負載過重的威脅。負載均衡策略優(yōu)劣的判斷有兩個重要的標準，分別為遷移代價和對存儲系統(tǒng)性能的影響。本文提出的優(yōu)化的MongoDB的負載均衡策略能夠以更小的代價和更低的影響性實現(xiàn)系統(tǒng)的再次平衡，從而提高存儲資源