

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展,采用新型存儲(chǔ)管理和高性能互聯(lián)技術(shù)設(shè)計(jì)和構(gòu)建數(shù)以千計(jì)節(jié)點(diǎn)的高效存儲(chǔ)系統(tǒng)已成為可能,但如何在同樣硬件配置下,發(fā)揮軟件更高并行性,以解決隨著存儲(chǔ)需求的增長(zhǎng)導(dǎo)致出現(xiàn)的系統(tǒng)性能瓶頸和擴(kuò)展性問題始終是個(gè)難題。當(dāng)前與大規(guī)模存儲(chǔ)集群配套的是可擴(kuò)展并行文件系統(tǒng),如GPFS、PVFS、Ceph、Lustre和PanFS等,全球Top 500超級(jí)計(jì)算的存儲(chǔ)方案基本上采用的都是上述這些系統(tǒng)。因此重點(diǎn)研究了高效并行文件系統(tǒng)的架構(gòu)及實(shí)現(xiàn)方
2、法,為使所設(shè)計(jì)的并行文件系統(tǒng)更好地支持高性能計(jì)算,還研究了:通過擴(kuò)展接口語義來優(yōu)化系統(tǒng)性能,以滿足高性能計(jì)算I/O需求;通過感知布局優(yōu)化并行作業(yè)I/O的訪問模式以適應(yīng)數(shù)據(jù)密集型可擴(kuò)展計(jì)算;并行文件系統(tǒng)對(duì)新型并行計(jì)算的支持方法等等。本研究主要內(nèi)容包括:
⑴設(shè)計(jì)并實(shí)現(xiàn)了一種基于對(duì)象的并行文件系統(tǒng)CapFS,具有如下特點(diǎn):可定制的數(shù)據(jù)布局模式、基于對(duì)象的遠(yuǎn)程直接數(shù)據(jù)訪問和具有事務(wù)性持久化存儲(chǔ)管理。提出了一種嵌套R(shí)AID模式的統(tǒng)一
3、層次化數(shù)據(jù)布局模型和算法,實(shí)現(xiàn)了客戶端驅(qū)動(dòng)的可定制數(shù)據(jù)布局,并保持POSIX語義的完整性。針對(duì)對(duì)象存儲(chǔ)設(shè)備規(guī)范中存在的扁平名字空間管理和可擴(kuò)展屬性管理問題,提出了一種基于內(nèi)核級(jí)微數(shù)據(jù)庫(kù)管理引擎結(jié)合文件系統(tǒng)的的高效對(duì)象訪問與持久化存儲(chǔ)管理方法,實(shí)現(xiàn)變長(zhǎng)對(duì)象持久化存儲(chǔ)和結(jié)構(gòu)化屬性的高效查詢。提出一種基于對(duì)象存儲(chǔ)協(xié)議和遠(yuǎn)程進(jìn)程調(diào)用RPC的遠(yuǎn)程對(duì)象直接訪問方法,向存儲(chǔ)客戶端提供多網(wǎng)絡(luò)設(shè)備共享模式,并提供獨(dú)立數(shù)據(jù)表示層保證了對(duì)象存儲(chǔ)節(jié)點(diǎn)的多協(xié)議協(xié)
4、商。原型系統(tǒng)CapFS上整體性能的測(cè)試結(jié)果表明該系統(tǒng)具有較好的性能和擴(kuò)展性。
⑵分析發(fā)現(xiàn)傳統(tǒng)文件系統(tǒng)接口(POSIX)語義不能很好地支持高性能計(jì)算需求,而并行計(jì)算應(yīng)用的I/O訪問模式通常由訪問大量小文件、不連續(xù)的數(shù)據(jù)塊組成,強(qiáng)調(diào)文件并發(fā)訪問、非鄰接訪問和高元數(shù)據(jù)率,同時(shí)要求I/O協(xié)同訪問。為使存儲(chǔ)系統(tǒng)的I/O模式更好地支持新型計(jì)算,對(duì)POSIX接口進(jìn)行了擴(kuò)展,從接口擴(kuò)展和語義保持角度,提出了包括基于文件共享描述符的I/O并
5、發(fā)優(yōu)化、面向非連續(xù)I/O的接口支持、延遲與批量元數(shù)據(jù)操作優(yōu)化和保持POSIX語義的布局控制等四種接口擴(kuò)展方法。測(cè)試表明擴(kuò)展后的接口較已有方法具有更好的性能。
⑶分析并行計(jì)算框架MapReduce中的I/O模式發(fā)現(xiàn),傳統(tǒng)并行計(jì)算框架存在中間數(shù)據(jù)拷貝和通信代價(jià)過高的缺點(diǎn)。分析了傳統(tǒng)分布式文件系統(tǒng)和并行文件系統(tǒng)CapFS在支持并行計(jì)算框架的異同和優(yōu)劣,提出了擴(kuò)展CapFS參數(shù)化布局的I/O感知接口實(shí)現(xiàn)MapReduce計(jì)算的框架
6、模型“MapReduce over CapFS”。I/O基準(zhǔn)測(cè)試和實(shí)際數(shù)據(jù)密集型應(yīng)用驗(yàn)證了該模型利用存儲(chǔ)節(jié)點(diǎn)計(jì)算資源進(jìn)行數(shù)據(jù)處理可有效降低中間數(shù)據(jù)規(guī)模和減少計(jì)算節(jié)點(diǎn)同存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)傳輸量。此外,計(jì)算密集、I/O密集與計(jì)算和I/O都密集的三類應(yīng)用測(cè)試結(jié)果還表明該模式尤其對(duì)包含I/O密集的應(yīng)用可提供更高的系統(tǒng)加速比。
⑷提出利用并行計(jì)算框架分析與設(shè)計(jì)系統(tǒng)糾刪編碼算法,給出了一種基于MapReduce模型的冗余編碼并行算法,
7、提高了系統(tǒng)冗余編碼效率,保障系統(tǒng)可靠性?;谠撍惴ǎ贑apFS中實(shí)現(xiàn)了一個(gè)異步的冗余編碼計(jì)算框架,可支持不同粒度的冗余配置,具體包括單個(gè)文件級(jí)策略、多用戶多文件組策略和直接面向存儲(chǔ)設(shè)備的對(duì)象級(jí)、對(duì)象分組和分區(qū)粒度的集成。通過編碼損耗率模型分析算法復(fù)雜度,并通過Yahoo提供的元數(shù)據(jù)Trace對(duì)系統(tǒng)時(shí)空復(fù)雜度進(jìn)行仿真試驗(yàn),表明按照文件、用戶文件分組和分區(qū)對(duì)象集合三種逐步增大粒度的冗余計(jì)算對(duì)提高空間利用率的變化,而且可在數(shù)據(jù)可靠性和維護(hù)代
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 并行文件系統(tǒng)緩存技術(shù)的研究.pdf
- 并行文件系統(tǒng)數(shù)據(jù)容錯(cuò)研究.pdf
- 共享對(duì)象存儲(chǔ)并行文件系統(tǒng)的元數(shù)據(jù)管理研究.pdf
- 并行文件系統(tǒng)緩存技術(shù)研究.pdf
- 基于SSD的并行文件系統(tǒng)架構(gòu)和策略研究.pdf
- 并行文件系統(tǒng)安全性研究.pdf
- 并行文件系統(tǒng)元數(shù)據(jù)管理研究.pdf
- 并行文件系統(tǒng)數(shù)據(jù)遷移研究與實(shí)現(xiàn).pdf
- 并行文件系統(tǒng)Lustre的I-O研究.pdf
- 基于HDFS分布式并行文件系統(tǒng)副本策略研究.pdf
- 高性能計(jì)算中并行文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)的研究.pdf
- SAN并行文件系統(tǒng)中文件布局的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 分布式并行文件系統(tǒng)的日志管理.pdf
- 搜索引擎中并行文件系統(tǒng)的研究.pdf
- 并行文件系統(tǒng)數(shù)據(jù)訪問的負(fù)載平衡.pdf
- 基于并行文件系統(tǒng)的客戶端緩存優(yōu)化系統(tǒng)機(jī)制研究.pdf
- 分布式并行文件系統(tǒng)DPFS的SSI技術(shù).pdf
- 并行文件系統(tǒng)副本一致性研究.pdf
- 分布式并行文件系統(tǒng)的副本管理策略.pdf
- 并行文件系統(tǒng)性能異常的問題診斷方法研究.pdf
評(píng)論
0/150
提交評(píng)論