分布式存儲系統(tǒng)優(yōu)化技術(shù)研究.pdf

1、近年來，由于信息技術(shù)的發(fā)展，科學(xué)技術(shù)和商業(yè)計算等眾多應(yīng)用領(lǐng)域產(chǎn)生了規(guī)模巨大的數(shù)據(jù)，并且數(shù)據(jù)量仍在快速增加。為了提高存儲效率，通常將一個大的文件分散存儲為多個小的數(shù)據(jù)塊，因此必須采用高可靠的數(shù)據(jù)放置和副本冗余策略保證每個小數(shù)據(jù)塊的存儲安全，以免因小數(shù)據(jù)塊丟失發(fā)生用戶文件失效的災(zāi)難性后果。
　　目前主流的大規(guī)模分布式存儲系統(tǒng)通常利用多個數(shù)據(jù)存儲節(jié)點分擔存儲處理的負荷，具有成本低、數(shù)據(jù)安全、可用性高、易擴展和易管理等優(yōu)勢，已經(jīng)成為未來存

2、儲發(fā)展的一種趨勢。本文針對大規(guī)模分布式存儲系統(tǒng)I/O路徑復(fù)雜和存儲節(jié)點故障常態(tài)等問題，在開源的Ceph系統(tǒng)基礎(chǔ)上提出了基于層級映射方式的數(shù)據(jù)存儲節(jié)點組織和選擇過程算法優(yōu)化模型，通過重新定義不同的層級容器數(shù)據(jù)結(jié)構(gòu)和選擇算法處理存儲節(jié)點增加或移除導(dǎo)致的數(shù)據(jù)遷移問題，降低總體計算復(fù)雜度。
　　根據(jù)現(xiàn)代數(shù)據(jù)中心常用的數(shù)據(jù)存儲安全策略，本文還研究了分布式存儲系統(tǒng)中數(shù)據(jù)放置和副本冗余策略對數(shù)據(jù)安全性的影響，提出3種能夠兼顧存儲效率和數(shù)據(jù)安全的

3、存儲模型，在保證數(shù)據(jù)可靠的前提下提供高效的數(shù)據(jù)讀寫速度。利用IOZONE仿真實驗軟件對提出的存儲模型進行數(shù)據(jù)存儲讀寫速率測試評估，并與Ceph系統(tǒng)默認的算法性能進行對比。實驗結(jié)果表明，當冗余副本為3份時，本文提出的第3種算法結(jié)構(gòu)優(yōu)化組合模型（即root、rack、host存儲節(jié)點的算法結(jié)構(gòu)分別為staw、tree、uniform）數(shù)據(jù)讀寫性能表現(xiàn)最好。本文在考慮數(shù)據(jù)分布算法、數(shù)理副本放置策略和存儲效率優(yōu)化前提下構(gòu)建了具體的測試環(huán)境，并對