分布式文件系統(tǒng)數(shù)據(jù)讀寫流程分析與優(yōu)化.pdf

1、大數(shù)據(jù)時代存儲系統(tǒng)在眾多實際應(yīng)用中扮演越來越重要的角色,其讀寫性能的好壞直接影響上層應(yīng)用的性能。目前,分布式文件系統(tǒng)都是利用擴展性支持不斷攀升的性能需求,但規(guī)模擴大易導致成本增加、維護困難。雖然基于對象的文件系統(tǒng)利用了存儲設(shè)備的智能性,但卻忽視了存儲系統(tǒng)中所有組件是一個有機的整體。存儲系統(tǒng)性能好壞的關(guān)鍵在于能否充分發(fā)揮系統(tǒng)中各個節(jié)點的優(yōu)勢和充分利用節(jié)點間的互聯(lián)網(wǎng)絡(luò)。
　　著重研究了存儲系統(tǒng)中的數(shù)據(jù)讀寫流程,并對影響系統(tǒng)性能的關(guān)鍵步

2、驟進行了優(yōu)化。所做工作全部在實驗室研發(fā)的基于對象的分布式文件系統(tǒng)Cappella中實現(xiàn)并完成測試。
　　針對數(shù)據(jù)寫流程,設(shè)計并實現(xiàn)了根據(jù)存儲服務(wù)器實時負載的動態(tài)布局方案。每個存儲服務(wù)器都有一個實時權(quán)重表示其忙閑程度,在文件布局時,根據(jù)所有存儲服務(wù)器的實時負載進行有偏重的隨機選擇,成功地解決了Cappella系統(tǒng)靜態(tài)布局容易造成負載不均衡的問題。
　　針對數(shù)據(jù)讀流程,詳細分析了Linux內(nèi)核原有數(shù)據(jù)預(yù)取算法,針對Linux原有

3、數(shù)據(jù)預(yù)取算法的缺點,設(shè)計并實現(xiàn)了一種適用于分布式環(huán)境的數(shù)據(jù)預(yù)取策略。Linux中的預(yù)取算法是針對本地文件系統(tǒng)和磁盤作為存儲設(shè)備的限制提出的,在分布式環(huán)境中顯得不足。分布式環(huán)境下數(shù)據(jù)分布在通過專用高速網(wǎng)絡(luò)互聯(lián)的多個節(jié)點中,因此節(jié)點間的互聯(lián)網(wǎng)絡(luò)和數(shù)據(jù)在多個節(jié)點上的分布方式成為優(yōu)化系統(tǒng)性能的關(guān)鍵,分布式環(huán)境下的預(yù)取算法綜合考慮了網(wǎng)絡(luò)傳輸?shù)南拗坪蛿?shù)據(jù)分布的特點,有效地提升了系統(tǒng)性能。
　　測試結(jié)果表明,數(shù)據(jù)能在各個存儲服務(wù)器上按服務(wù)器權(quán)重