基于對象的并行文件系統(tǒng)接口語義擴展研究.pdf

1、隨著計算機技術的迅猛發(fā)展，采用新型存儲管理和高性能互聯(lián)技術設計和構建數(shù)以千計節(jié)點的高效存儲系統(tǒng)已成為可能，但如何在同樣硬件配置下，發(fā)揮軟件更高并行性，以解決隨著存儲需求的增長導致出現(xiàn)的系統(tǒng)性能瓶頸和擴展性問題始終是個難題。當前與大規(guī)模存儲集群配套的是可擴展并行文件系統(tǒng)，如GPFS、PVFS、Ceph、Lustre和PanFS等，全球Top 500超級計算的存儲方案基本上采用的都是上述這些系統(tǒng)。因此重點研究了高效并行文件系統(tǒng)的架構及實現(xiàn)方

2、法，為使所設計的并行文件系統(tǒng)更好地支持高性能計算，還研究了：通過擴展接口語義來優(yōu)化系統(tǒng)性能，以滿足高性能計算I/O需求；通過感知布局優(yōu)化并行作業(yè)I/O的訪問模式以適應數(shù)據(jù)密集型可擴展計算；并行文件系統(tǒng)對新型并行計算的支持方法等等。本研究主要內容包括：
　　 ⑴設計并實現(xiàn)了一種基于對象的并行文件系統(tǒng)CapFS，具有如下特點：可定制的數(shù)據(jù)布局模式、基于對象的遠程直接數(shù)據(jù)訪問和具有事務性持久化存儲管理。提出了一種嵌套RAID模式的統(tǒng)一

3、層次化數(shù)據(jù)布局模型和算法，實現(xiàn)了客戶端驅動的可定制數(shù)據(jù)布局，并保持POSIX語義的完整性。針對對象存儲設備規(guī)范中存在的扁平名字空間管理和可擴展屬性管理問題，提出了一種基于內核級微數(shù)據(jù)庫管理引擎結合文件系統(tǒng)的的高效對象訪問與持久化存儲管理方法，實現(xiàn)變長對象持久化存儲和結構化屬性的高效查詢。提出一種基于對象存儲協(xié)議和遠程進程調用RPC的遠程對象直接訪問方法，向存儲客戶端提供多網(wǎng)絡設備共享模式，并提供獨立數(shù)據(jù)表示層保證了對象存儲節(jié)點的多協(xié)議協(xié)

4、商。原型系統(tǒng)CapFS上整體性能的測試結果表明該系統(tǒng)具有較好的性能和擴展性。
　　 ⑵分析發(fā)現(xiàn)傳統(tǒng)文件系統(tǒng)接口(POSIX)語義不能很好地支持高性能計算需求，而并行計算應用的I/O訪問模式通常由訪問大量小文件、不連續(xù)的數(shù)據(jù)塊組成，強調文件并發(fā)訪問、非鄰接訪問和高元數(shù)據(jù)率，同時要求I/O協(xié)同訪問。為使存儲系統(tǒng)的I/O模式更好地支持新型計算，對POSIX接口進行了擴展，從接口擴展和語義保持角度，提出了包括基于文件共享描述符的I/O并

5、發(fā)優(yōu)化、面向非連續(xù)I/O的接口支持、延遲與批量元數(shù)據(jù)操作優(yōu)化和保持POSIX語義的布局控制等四種接口擴展方法。測試表明擴展后的接口較已有方法具有更好的性能。
　　 ⑶分析并行計算框架MapReduce中的I/O模式發(fā)現(xiàn)，傳統(tǒng)并行計算框架存在中間數(shù)據(jù)拷貝和通信代價過高的缺點。分析了傳統(tǒng)分布式文件系統(tǒng)和并行文件系統(tǒng)CapFS在支持并行計算框架的異同和優(yōu)劣，提出了擴展CapFS參數(shù)化布局的I/O感知接口實現(xiàn)MapReduce計算的框架

6、模型“MapReduce over CapFS”。I/O基準測試和實際數(shù)據(jù)密集型應用驗證了該模型利用存儲節(jié)點計算資源進行數(shù)據(jù)處理可有效降低中間數(shù)據(jù)規(guī)模和減少計算節(jié)點同存儲系統(tǒng)之間的數(shù)據(jù)傳輸量。此外，計算密集、I/O密集與計算和I/O都密集的三類應用測試結果還表明該模式尤其對包含I/O密集的應用可提供更高的系統(tǒng)加速比。
　　 ⑷提出利用并行計算框架分析與設計系統(tǒng)糾刪編碼算法，給出了一種基于MapReduce模型的冗余編碼并行算法，

7、提高了系統(tǒng)冗余編碼效率，保障系統(tǒng)可靠性。基于該算法，在CapFS中實現(xiàn)了一個異步的冗余編碼計算框架，可支持不同粒度的冗余配置，具體包括單個文件級策略、多用戶多文件組策略和直接面向存儲設備的對象級、對象分組和分區(qū)粒度的集成。通過編碼損耗率模型分析算法復雜度，并通過Yahoo提供的元數(shù)據(jù)Trace對系統(tǒng)時空復雜度進行仿真試驗，表明按照文件、用戶文件分組和分區(qū)對象集合三種逐步增大粒度的冗余計算對提高空間利用率的變化，而且可在數(shù)據(jù)可靠性和維護代