Lustre集群文件系統(tǒng)元數(shù)據(jù)管理策略的研究.pdf

1、Linux集群系統(tǒng)以其良好的性能得到了廣泛應(yīng)用,但是其存儲(chǔ)系統(tǒng)的I/O效率嚴(yán)重制約著系統(tǒng)整體性能的提升,對(duì)于石油勘探中的地震資料處理這類巨量計(jì)算、海量存儲(chǔ)的應(yīng)用,系統(tǒng)的I/O瓶頸更為突出。雖然引入分布式文件系統(tǒng)Lustre能在一定程度上提高I/O效率,但是Lustre本身也存在潛在的瓶頸,有待于進(jìn)一步改善。
　　 本文針對(duì)地震資料處理集群系統(tǒng)中存在的I/O瓶頸,將基于對(duì)象存儲(chǔ)的分布式文件系統(tǒng)Lustre引入到集群中。在深入分析L

2、ustre文件系統(tǒng)的基礎(chǔ)上,針對(duì)Lustre的單MDS存在的系統(tǒng)瓶頸,提出了新的元數(shù)據(jù)管理策略,對(duì)其元數(shù)據(jù)的組織、管理以及讀寫操作做了一系列的優(yōu)化,使得Lustre并行性能得到更好的發(fā)揮。通過(guò)深入分析Lustre的并發(fā)訪問(wèn)模式,設(shè)計(jì)并實(shí)現(xiàn)了熱度算法,該算法考慮到數(shù)據(jù)在系統(tǒng)中的生命周期,通過(guò)參數(shù)熱度閾值及時(shí)間周期的設(shè)置,使得該算法具有動(dòng)態(tài)性,能夠及時(shí)的判斷系統(tǒng)中的熱點(diǎn)元數(shù)據(jù)。通過(guò)MDS端緩存來(lái)減少直接訪問(wèn)磁盤次數(shù),以減少元數(shù)據(jù)操作請(qǐng)求的響

3、應(yīng)時(shí)間,使系統(tǒng)獲得更高的吞吐量,以減少單元數(shù)據(jù)服務(wù)器出現(xiàn)瓶頸的可能性。為了驗(yàn)證方案的有效性,搭建了一個(gè)基于Lustre文件系統(tǒng)的Linux集群,對(duì)參數(shù)T和I(a)以及性能進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明,引入基于二維表的元數(shù)據(jù)描述策略及熱度算法之后,極大地縮短了元數(shù)據(jù)讀寫操作的響應(yīng)時(shí)間,節(jié)省了系統(tǒng)的操作時(shí)間,使得I/O效率提高了五倍左右。為了進(jìn)一步驗(yàn)證算法的有效性和穩(wěn)定性,將本文設(shè)計(jì)的元數(shù)據(jù)描述策略及熱度算法應(yīng)用到實(shí)際地震資料處理集群中,實(shí)際應(yīng)用