Lustre集群文件系統(tǒng)元數(shù)據(jù)管理策略的研究.pdf

1、Linux集群系統(tǒng)以其良好的性能得到了廣泛應(yīng)用,但是其存儲系統(tǒng)的I/O效率嚴(yán)重制約著系統(tǒng)整體性能的提升,對于石油勘探中的地震資料處理這類巨量計算、海量存儲的應(yīng)用,系統(tǒng)的I/O瓶頸更為突出。雖然引入分布式文件系統(tǒng)Lustre能在一定程度上提高I/O效率,但是Lustre本身也存在潛在的瓶頸,有待于進一步改善。
　　 本文針對地震資料處理集群系統(tǒng)中存在的I/O瓶頸,將基于對象存儲的分布式文件系統(tǒng)Lustre引入到集群中。在深入分析L

2、ustre文件系統(tǒng)的基礎(chǔ)上,針對Lustre的單MDS存在的系統(tǒng)瓶頸,提出了新的元數(shù)據(jù)管理策略,對其元數(shù)據(jù)的組織、管理以及讀寫操作做了一系列的優(yōu)化,使得Lustre并行性能得到更好的發(fā)揮。通過深入分析Lustre的并發(fā)訪問模式,設(shè)計并實現(xiàn)了熱度算法,該算法考慮到數(shù)據(jù)在系統(tǒng)中的生命周期,通過參數(shù)熱度閾值及時間周期的設(shè)置,使得該算法具有動態(tài)性,能夠及時的判斷系統(tǒng)中的熱點元數(shù)據(jù)。通過MDS端緩存來減少直接訪問磁盤次數(shù),以減少元數(shù)據(jù)操作請求的響

3、應(yīng)時間,使系統(tǒng)獲得更高的吞吐量,以減少單元數(shù)據(jù)服務(wù)器出現(xiàn)瓶頸的可能性。為了驗證方案的有效性,搭建了一個基于Lustre文件系統(tǒng)的Linux集群,對參數(shù)T和I(a)以及性能進行測試。實驗結(jié)果表明,引入基于二維表的元數(shù)據(jù)描述策略及熱度算法之后,極大地縮短了元數(shù)據(jù)讀寫操作的響應(yīng)時間,節(jié)省了系統(tǒng)的操作時間,使得I/O效率提高了五倍左右。為了進一步驗證算法的有效性和穩(wěn)定性,將本文設(shè)計的元數(shù)據(jù)描述策略及熱度算法應(yīng)用到實際地震資料處理集群中,實際應(yīng)用