基于對(duì)象的并行文件系統(tǒng)接口語義擴(kuò)展研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，采用新型存儲(chǔ)管理和高性能互聯(lián)技術(shù)設(shè)計(jì)和構(gòu)建數(shù)以千計(jì)節(jié)點(diǎn)的高效存儲(chǔ)系統(tǒng)已成為可能，但如何在同樣硬件配置下，發(fā)揮軟件更高并行性，以解決隨著存儲(chǔ)需求的增長(zhǎng)導(dǎo)致出現(xiàn)的系統(tǒng)性能瓶頸和擴(kuò)展性問題始終是個(gè)難題。當(dāng)前與大規(guī)模存儲(chǔ)集群配套的是可擴(kuò)展并行文件系統(tǒng)，如GPFS、PVFS、Ceph、Lustre和PanFS等，全球Top 500超級(jí)計(jì)算的存儲(chǔ)方案基本上采用的都是上述這些系統(tǒng)。因此重點(diǎn)研究了高效并行文件系統(tǒng)的架構(gòu)及實(shí)現(xiàn)方

2、法，為使所設(shè)計(jì)的并行文件系統(tǒng)更好地支持高性能計(jì)算，還研究了：通過擴(kuò)展接口語義來優(yōu)化系統(tǒng)性能，以滿足高性能計(jì)算I/O需求；通過感知布局優(yōu)化并行作業(yè)I/O的訪問模式以適應(yīng)數(shù)據(jù)密集型可擴(kuò)展計(jì)算；并行文件系統(tǒng)對(duì)新型并行計(jì)算的支持方法等等。本研究主要內(nèi)容包括：
　　 ⑴設(shè)計(jì)并實(shí)現(xiàn)了一種基于對(duì)象的并行文件系統(tǒng)CapFS，具有如下特點(diǎn)：可定制的數(shù)據(jù)布局模式、基于對(duì)象的遠(yuǎn)程直接數(shù)據(jù)訪問和具有事務(wù)性持久化存儲(chǔ)管理。提出了一種嵌套R(shí)AID模式的統(tǒng)一

3、層次化數(shù)據(jù)布局模型和算法，實(shí)現(xiàn)了客戶端驅(qū)動(dòng)的可定制數(shù)據(jù)布局，并保持POSIX語義的完整性。針對(duì)對(duì)象存儲(chǔ)設(shè)備規(guī)范中存在的扁平名字空間管理和可擴(kuò)展屬性管理問題，提出了一種基于內(nèi)核級(jí)微數(shù)據(jù)庫(kù)管理引擎結(jié)合文件系統(tǒng)的的高效對(duì)象訪問與持久化存儲(chǔ)管理方法，實(shí)現(xiàn)變長(zhǎng)對(duì)象持久化存儲(chǔ)和結(jié)構(gòu)化屬性的高效查詢。提出一種基于對(duì)象存儲(chǔ)協(xié)議和遠(yuǎn)程進(jìn)程調(diào)用RPC的遠(yuǎn)程對(duì)象直接訪問方法，向存儲(chǔ)客戶端提供多網(wǎng)絡(luò)設(shè)備共享模式，并提供獨(dú)立數(shù)據(jù)表示層保證了對(duì)象存儲(chǔ)節(jié)點(diǎn)的多協(xié)議協(xié)

4、商。原型系統(tǒng)CapFS上整體性能的測(cè)試結(jié)果表明該系統(tǒng)具有較好的性能和擴(kuò)展性。
　　 ⑵分析發(fā)現(xiàn)傳統(tǒng)文件系統(tǒng)接口(POSIX)語義不能很好地支持高性能計(jì)算需求，而并行計(jì)算應(yīng)用的I/O訪問模式通常由訪問大量小文件、不連續(xù)的數(shù)據(jù)塊組成，強(qiáng)調(diào)文件并發(fā)訪問、非鄰接訪問和高元數(shù)據(jù)率，同時(shí)要求I/O協(xié)同訪問。為使存儲(chǔ)系統(tǒng)的I/O模式更好地支持新型計(jì)算，對(duì)POSIX接口進(jìn)行了擴(kuò)展，從接口擴(kuò)展和語義保持角度，提出了包括基于文件共享描述符的I/O并

5、發(fā)優(yōu)化、面向非連續(xù)I/O的接口支持、延遲與批量元數(shù)據(jù)操作優(yōu)化和保持POSIX語義的布局控制等四種接口擴(kuò)展方法。測(cè)試表明擴(kuò)展后的接口較已有方法具有更好的性能。
　　 ⑶分析并行計(jì)算框架MapReduce中的I/O模式發(fā)現(xiàn)，傳統(tǒng)并行計(jì)算框架存在中間數(shù)據(jù)拷貝和通信代價(jià)過高的缺點(diǎn)。分析了傳統(tǒng)分布式文件系統(tǒng)和并行文件系統(tǒng)CapFS在支持并行計(jì)算框架的異同和優(yōu)劣，提出了擴(kuò)展CapFS參數(shù)化布局的I/O感知接口實(shí)現(xiàn)MapReduce計(jì)算的框架

6、模型“MapReduce over CapFS”。I/O基準(zhǔn)測(cè)試和實(shí)際數(shù)據(jù)密集型應(yīng)用驗(yàn)證了該模型利用存儲(chǔ)節(jié)點(diǎn)計(jì)算資源進(jìn)行數(shù)據(jù)處理可有效降低中間數(shù)據(jù)規(guī)模和減少計(jì)算節(jié)點(diǎn)同存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)傳輸量。此外，計(jì)算密集、I/O密集與計(jì)算和I/O都密集的三類應(yīng)用測(cè)試結(jié)果還表明該模式尤其對(duì)包含I/O密集的應(yīng)用可提供更高的系統(tǒng)加速比。
　　 ⑷提出利用并行計(jì)算框架分析與設(shè)計(jì)系統(tǒng)糾刪編碼算法，給出了一種基于MapReduce模型的冗余編碼并行算法，

7、提高了系統(tǒng)冗余編碼效率，保障系統(tǒng)可靠性?；谠撍惴ǎ贑apFS中實(shí)現(xiàn)了一個(gè)異步的冗余編碼計(jì)算框架，可支持不同粒度的冗余配置，具體包括單個(gè)文件級(jí)策略、多用戶多文件組策略和直接面向存儲(chǔ)設(shè)備的對(duì)象級(jí)、對(duì)象分組和分區(qū)粒度的集成。通過編碼損耗率模型分析算法復(fù)雜度，并通過Yahoo提供的元數(shù)據(jù)Trace對(duì)系統(tǒng)時(shí)空復(fù)雜度進(jìn)行仿真試驗(yàn)，表明按照文件、用戶文件分組和分區(qū)對(duì)象集合三種逐步增大粒度的冗余計(jì)算對(duì)提高空間利用率的變化，而且可在數(shù)據(jù)可靠性和維護(hù)代