藍鯨分布式文件系統(tǒng)的資源管理.pdf

1、當前，高性能計算機得到了空前發(fā)展，特別是機群結構的超級計算機已經(jīng)占據(jù)了TOP500中半數(shù)以上的份額。同時，隨著信息技術的發(fā)展，越來越多的信息以數(shù)字化形式保存，存儲子系統(tǒng)已經(jīng)成為計算機系統(tǒng)中最重要的部分。然而由于外部存儲設備受到機械部件的制約，其數(shù)據(jù)傳輸性能的提高遠遠落后于運算能力的提高，造成存儲子系統(tǒng)成為整個計算環(huán)境的瓶頸。與采用機群結構的高性能計算機系統(tǒng)類似，存儲子系統(tǒng)的機群化將為解決數(shù)據(jù)傳輸能力的落后面貌提供一個可行的方案。

2、 受國家“八六三”計劃重點支持的“藍鯨”大規(guī)模網(wǎng)絡存儲系統(tǒng)致力于解決高性能計算環(huán)境中的存儲子系統(tǒng)的瓶頸問題。它借助于高性能計算機網(wǎng)絡，管理多個存儲節(jié)點組成的存儲機群，充分利用它們的存儲空間和并發(fā)數(shù)據(jù)傳輸能力，實現(xiàn)高性能、低成本的海量存儲。藍鯨分布式文件系統(tǒng)(.BWFS)是藍鯨大規(guī)模網(wǎng)絡存儲系統(tǒng)的核心系統(tǒng)軟件，它向用戶提供單一映象的、全局共享的分布式文件系統(tǒng)服務。 本文結合BWFS的設計與實現(xiàn)，對其資源管理做了較深入的研究，提出了

3、分布式分層資源管理模型，以及該模型在BWFS實現(xiàn)中的相關技術。主要研究成果如下： (1)BWFS的分布式分層資源管理模型(Distributed L,ayered Resource ManagementModel)。DLRM模型根據(jù)相對于資源的角色，將系統(tǒng)劃分成多個功能獨立的模塊，實現(xiàn)分布部署；同時將它們劃分成多個層次，有利于系統(tǒng)的實現(xiàn)與優(yōu)化。DLRM模型確定了：BWFS的“帶外”數(shù)據(jù)傳輸架構，將負載和存儲分擔到多個節(jié)點組成的機

4、群上，實現(xiàn)并發(fā)管理和并發(fā)數(shù)據(jù)傳輸，因此奠定了系統(tǒng)強大可擴展性，為系統(tǒng)實現(xiàn)負載平衡、在線遷移等提供了可能。 (2)高效的物理存儲空間管理。DL,RM模型將海量存儲空間統(tǒng)一編址，然后劃分成多個獨立的資源組，并發(fā)管理各個資源組的存儲空間，提高系統(tǒng)的性能與可擴 展性。資源組采用的數(shù)據(jù)塊／索引節(jié)點的動態(tài)分配、帶統(tǒng)計信息的動態(tài)位圖等技術使得BWFS具有高效率的空間管理能力。 (3)全動態(tài)元數(shù)據(jù)綁定技術。BWFS的活躍元數(shù)據(jù)采用全動態(tài)

5、任意綁定技術，可以實現(xiàn)動態(tài)負載平衡，提高系統(tǒng)的性能和可擴展性。 (4)文件系統(tǒng)的資源管理優(yōu)化。元數(shù)據(jù)服務器管理BWFS的元數(shù)據(jù)，實現(xiàn)資源批量申請／異步釋放、分片存儲(striping)、按策略的資源分配、分布式日志等技術。 (5)針對BWFS的性能測試、分析與對比。通過這些測試，驗證了DLRM模型以及以上技術的有效性，對比分析顯示BWFS在多方面的性能較NFS有顯著提高；同時，也發(fā)現(xiàn)了系統(tǒng)的一些弱點，對以后進一步優(yōu)化有參