藍(lán)鯨分布式文件系統(tǒng)的資源管理.pdf

1、當(dāng)前，高性能計(jì)算機(jī)得到了空前發(fā)展，特別是機(jī)群結(jié)構(gòu)的超級(jí)計(jì)算機(jī)已經(jīng)占據(jù)了TOP500中半數(shù)以上的份額。同時(shí)，隨著信息技術(shù)的發(fā)展，越來(lái)越多的信息以數(shù)字化形式保存，存儲(chǔ)子系統(tǒng)已經(jīng)成為計(jì)算機(jī)系統(tǒng)中最重要的部分。然而由于外部存儲(chǔ)設(shè)備受到機(jī)械部件的制約，其數(shù)據(jù)傳輸性能的提高遠(yuǎn)遠(yuǎn)落后于運(yùn)算能力的提高，造成存儲(chǔ)子系統(tǒng)成為整個(gè)計(jì)算環(huán)境的瓶頸。與采用機(jī)群結(jié)構(gòu)的高性能計(jì)算機(jī)系統(tǒng)類似，存儲(chǔ)子系統(tǒng)的機(jī)群化將為解決數(shù)據(jù)傳輸能力的落后面貌提供一個(gè)可行的方案。

2、 受國(guó)家“八六三”計(jì)劃重點(diǎn)支持的“藍(lán)鯨”大規(guī)模網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)致力于解決高性能計(jì)算環(huán)境中的存儲(chǔ)子系統(tǒng)的瓶頸問(wèn)題。它借助于高性能計(jì)算機(jī)網(wǎng)絡(luò)，管理多個(gè)存儲(chǔ)節(jié)點(diǎn)組成的存儲(chǔ)機(jī)群，充分利用它們的存儲(chǔ)空間和并發(fā)數(shù)據(jù)傳輸能力，實(shí)現(xiàn)高性能、低成本的海量存儲(chǔ)。藍(lán)鯨分布式文件系統(tǒng)(.BWFS)是藍(lán)鯨大規(guī)模網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的核心系統(tǒng)軟件，它向用戶提供單一映象的、全局共享的分布式文件系統(tǒng)服務(wù)。 本文結(jié)合BWFS的設(shè)計(jì)與實(shí)現(xiàn)，對(duì)其資源管理做了較深入的研究，提出了

3、分布式分層資源管理模型，以及該模型在BWFS實(shí)現(xiàn)中的相關(guān)技術(shù)。主要研究成果如下： (1)BWFS的分布式分層資源管理模型(Distributed L,ayered Resource ManagementModel)。DLRM模型根據(jù)相對(duì)于資源的角色，將系統(tǒng)劃分成多個(gè)功能獨(dú)立的模塊，實(shí)現(xiàn)分布部署；同時(shí)將它們劃分成多個(gè)層次，有利于系統(tǒng)的實(shí)現(xiàn)與優(yōu)化。DLRM模型確定了：BWFS的“帶外”數(shù)據(jù)傳輸架構(gòu)，將負(fù)載和存儲(chǔ)分擔(dān)到多個(gè)節(jié)點(diǎn)組成的機(jī)

4、群上，實(shí)現(xiàn)并發(fā)管理和并發(fā)數(shù)據(jù)傳輸，因此奠定了系統(tǒng)強(qiáng)大可擴(kuò)展性，為系統(tǒng)實(shí)現(xiàn)負(fù)載平衡、在線遷移等提供了可能。 (2)高效的物理存儲(chǔ)空間管理。DL,RM模型將海量存儲(chǔ)空間統(tǒng)一編址，然后劃分成多個(gè)獨(dú)立的資源組，并發(fā)管理各個(gè)資源組的存儲(chǔ)空間，提高系統(tǒng)的性能與可擴(kuò) 展性。資源組采用的數(shù)據(jù)塊／索引節(jié)點(diǎn)的動(dòng)態(tài)分配、帶統(tǒng)計(jì)信息的動(dòng)態(tài)位圖等技術(shù)使得BWFS具有高效率的空間管理能力。 (3)全動(dòng)態(tài)元數(shù)據(jù)綁定技術(shù)。BWFS的活躍元數(shù)據(jù)采用全動(dòng)態(tài)

5、任意綁定技術(shù)，可以實(shí)現(xiàn)動(dòng)態(tài)負(fù)載平衡，提高系統(tǒng)的性能和可擴(kuò)展性。 (4)文件系統(tǒng)的資源管理優(yōu)化。元數(shù)據(jù)服務(wù)器管理BWFS的元數(shù)據(jù)，實(shí)現(xiàn)資源批量申請(qǐng)／異步釋放、分片存儲(chǔ)(striping)、按策略的資源分配、分布式日志等技術(shù)。 (5)針對(duì)BWFS的性能測(cè)試、分析與對(duì)比。通過(guò)這些測(cè)試，驗(yàn)證了DLRM模型以及以上技術(shù)的有效性，對(duì)比分析顯示BWFS在多方面的性能較NFS有顯著提高；同時(shí)，也發(fā)現(xiàn)了系統(tǒng)的一些弱點(diǎn)，對(duì)以后進(jìn)一步優(yōu)化有參