基于對(duì)象存儲(chǔ)的文件系統(tǒng)緩存機(jī)制研究.pdf

1、隨著計(jì)算機(jī)信息技術(shù)的迅速發(fā)展，對(duì)海量數(shù)據(jù)的存儲(chǔ)及訪問(wèn)需求都呈幾何級(jí)數(shù)爆炸式增長(zhǎng)，也對(duì)數(shù)據(jù)的存儲(chǔ)及訪問(wèn)方式提出了更高的要求。基于對(duì)象存儲(chǔ)Lustre文件系統(tǒng)結(jié)合了傳統(tǒng)文件系統(tǒng)的優(yōu)點(diǎn)，將對(duì)象存儲(chǔ)服務(wù)器與元數(shù)據(jù)服務(wù)器分離，實(shí)現(xiàn)了分布式環(huán)境下文件的并行訪問(wèn)，使集群系統(tǒng)中文件的I/O性能得到極大的提高。因此，研究Lustre文件系統(tǒng)的關(guān)鍵技術(shù)，尋求更加高效的文件訪問(wèn)效率，進(jìn)一步提高在不同的復(fù)雜環(huán)境下的適應(yīng)性顯得尤為必要。
　　 論文按照“

2、研究-設(shè)計(jì)-實(shí)現(xiàn)-驗(yàn)證”的思路，以開(kāi)源的Lustre文件系統(tǒng)作為主要研究對(duì)象，主要完成了以下工作:首先，結(jié)合Lustre官方的操作手冊(cè)，對(duì)源代碼進(jìn)行大量的閱讀，分析其體系結(jié)構(gòu)和使用的關(guān)鍵技術(shù);其次，在代碼閱讀的基礎(chǔ)上，重點(diǎn)對(duì)Lustre現(xiàn)有的緩存工作機(jī)制進(jìn)行分析，從中得出在大規(guī)模數(shù)據(jù)訪問(wèn)、特別是針對(duì)I/O密集型的共享資源訪問(wèn)的情況下，為保證數(shù)據(jù)一致性而進(jìn)行的緩存刷新會(huì)帶來(lái)很大的網(wǎng)絡(luò)吞吐量和更新延遲的問(wèn)題，進(jìn)而采用了一種協(xié)作式的緩存更新策

3、略對(duì)其進(jìn)行改進(jìn)，并通過(guò)實(shí)驗(yàn)證明了改進(jìn)的Lusrre客戶端緩存一致性策略進(jìn)一步提高了文件系統(tǒng)的讀性能;最后，Lustre文件系統(tǒng)在設(shè)計(jì)之初重點(diǎn)針對(duì)大文件采用數(shù)據(jù)分片實(shí)現(xiàn)數(shù)據(jù)并行存取等技術(shù)來(lái)提高性能，但在實(shí)際的應(yīng)用中，數(shù)據(jù)訪問(wèn)并不可能完全是由大塊的數(shù)據(jù)組成，而是混合著大量的小塊文件，此時(shí)Lustre的數(shù)據(jù)訪問(wèn)方式反而可能會(huì)造成性能瓶頸，論文采用了在客戶端增加專門(mén)針對(duì)小文件數(shù)據(jù)的緩存，對(duì)小文件進(jìn)行堆積和延遲提交的方式減少網(wǎng)絡(luò)I/O次數(shù)，進(jìn)行寫(xiě)