一個分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器設(shè)計與實現(xiàn).pdf

1、隨著信息化程度的不斷提高，全球數(shù)據(jù)日益膨脹。面對當前 PB級的海量數(shù)據(jù)存儲需求，傳統(tǒng)的存儲系統(tǒng)在容量和性能的擴展上存在瓶頸。分布式存儲以其擴展性強、性價比高、容錯性好等優(yōu)勢得到了業(yè)界的廣泛認同。據(jù)統(tǒng)計，海量存儲系統(tǒng)中50％以上的文件系統(tǒng)操作是元數(shù)據(jù)操作?，F(xiàn)在已有的分布式存儲系統(tǒng)在帶有命名空間的海量小文件讀多寫少的存儲場景性能非常差，其中重要原因在于元數(shù)據(jù)服務(wù)器的性能和擴展性是一個嚴重的瓶頸。
　　本文針對云存儲系統(tǒng)設(shè)計了一種高性能

2、、高并發(fā)、高擴展性的元數(shù)據(jù)服務(wù)器，以此來改善海量小文件讀多寫少場景的服務(wù)性能；同時元數(shù)據(jù)服務(wù)器的集群化設(shè)計讓系統(tǒng)的可擴展性大大增強。我們設(shè)計了一種新的動態(tài)負載均衡策略來減少負載抖動和提高負載均衡的精確度。此外，我們提出了通道的概念，通道是一個將CPU和獨立的磁盤進行綁定，從軟件層次側(cè)到硬件層次都獨立的數(shù)據(jù)存儲管道，可以大大消除隨機I/O并且充分利用了當今服務(wù)器多核多盤的機器性能。從而加速存儲服務(wù)。最后，我們提出了一種新的key-valu

3、e存儲引擎，通過批刷和提高I/O有效率從而大大提升單機的存儲能力。多通道的key-value存儲模塊為我們的元數(shù)據(jù)服務(wù)器提供了非常高性能的底層存儲方案。而在實現(xiàn)方面，我們在當前線程池和網(wǎng)絡(luò)異步驅(qū)動的基礎(chǔ)上針對海量云存儲的應(yīng)用場景做了進一步的性能優(yōu)化，可以發(fā)揮出機器的極限性能。
　　最后，本文通過一系列的性能測試表明我們的元數(shù)據(jù)服務(wù)器可以有效應(yīng)用于海量小文件存儲場景，并且相對于當前其他分布式文件系統(tǒng)的元數(shù)據(jù)服務(wù)系統(tǒng)有著數(shù)倍的性能提升