大規(guī)模機(jī)群文件系統(tǒng)的關(guān)鍵技術(shù)研究.pdf_第1頁
已閱讀1頁,還剩124頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、機(jī)群結(jié)構(gòu)已成為高性能計算機(jī)的主流結(jié)構(gòu)。隨著CPU處理能力和通信速度的迅速提高,I/O成為制約機(jī)群應(yīng)用實際性能的瓶頸。機(jī)群文件系統(tǒng)作為解決機(jī)群I/O瓶頸的核心技術(shù),其研究具有重要的意義。 機(jī)群文件系統(tǒng)的發(fā)展趨勢為:第一,元數(shù)據(jù)處理與文件I/O分離;第二,利用大規(guī)模網(wǎng)絡(luò)存儲系統(tǒng)來提供多條數(shù)據(jù)I/O通路;第三,利用一組元數(shù)據(jù)服務(wù)器來提供多條元數(shù)據(jù)I/O通路。 針對這種結(jié)構(gòu)的機(jī)群文件系統(tǒng),我們研究了其中的幾個關(guān)鍵問題,包括元數(shù)據(jù)

2、的分布問題,元數(shù)據(jù)的一致性和快速故障恢復(fù)問題,以及PB級機(jī)群文件系統(tǒng)的相關(guān)問題。本文的主要貢獻(xiàn)在于: (1)提出一種高效的大存儲空間的管理策略——Bitmap-Extent混合策略。針對PB級機(jī)群文件系統(tǒng),打破了傳統(tǒng)文件系統(tǒng)基于一個塊設(shè)備的限制,提出將機(jī)群文件系統(tǒng)與物理存儲分離的一種邏輯空間策略,從而解決了文件系統(tǒng)容量受限問題和存儲擴(kuò)展問題等;而且針對PB級存儲空間管理,提出一種基于位圖與extent鏈表相結(jié)合的大規(guī)模存儲空間管

3、理機(jī)制,以提高存儲空間的管理效率。 (2)提出一種基于粒度的動態(tài)元數(shù)據(jù)分布策略。元數(shù)據(jù)分布問題是決定非集中式元數(shù)據(jù)處理性能的關(guān)鍵問題。我們提出的基于粒度的動態(tài)元數(shù)據(jù)分布策略以提高元數(shù)據(jù)處理整體性能為目標(biāo),綜合考慮元數(shù)據(jù)分布均衡度和文件系統(tǒng)層次結(jié)構(gòu)關(guān)系兩個因素對元數(shù)據(jù)處理整體性能的影響,按照一定粒度來劃分名字空間和分布元數(shù)據(jù),實驗結(jié)果表明在模擬真實環(huán)境的負(fù)載下它的性能高于動態(tài)隨機(jī)分布策略和動態(tài)根子樹分布策略。 (3)提出一

4、種基于簡化的兩階段提交協(xié)議的、故障后可快速恢復(fù)元數(shù)據(jù)一致性的分布式元數(shù)據(jù)處理協(xié)議。元數(shù)據(jù)一致性問題是影響分布式元數(shù)據(jù)管理的可靠性和高可用性的關(guān)鍵問題。為了解決元數(shù)據(jù)服務(wù)器之間的元數(shù)據(jù)一致性問題,我們將兩階段提交協(xié)議與元數(shù)據(jù)的處理協(xié)議結(jié)合起來,提出一種基于簡化的兩階段提交協(xié)議的分布式元數(shù)據(jù)處理協(xié)議,在元數(shù)據(jù)服務(wù)器失效或客戶節(jié)點失效時,能夠快速恢復(fù)文件系統(tǒng)的元數(shù)據(jù)一致性,保證文件系統(tǒng)的可用性。 (4)設(shè)計和實現(xiàn)了面向多用戶多任務(wù)環(huán)境

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論