并行文件系統(tǒng)緩存技術(shù)的研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，伴隨著的是數(shù)據(jù)的日益膨脹，人們對(duì)數(shù)據(jù)的存儲(chǔ)要求也就越來(lái)越高了，許多應(yīng)用系統(tǒng)的數(shù)據(jù)量都達(dá)到了PB級(jí)別，面對(duì)這些海量數(shù)據(jù)，對(duì)存儲(chǔ)系統(tǒng)的容量提出了巨大的挑戰(zhàn)，如何能夠?qū)崿F(xiàn)對(duì)這些數(shù)據(jù)的快速有效的存儲(chǔ)成為當(dāng)前存儲(chǔ)技術(shù)的研究熱點(diǎn)。當(dāng)前衡量數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能好壞的幾個(gè)指標(biāo)是系統(tǒng)性能、可用性、可擴(kuò)展性和安全性。原有單一的簡(jiǎn)單存儲(chǔ)文件系統(tǒng)已不能滿(mǎn)足現(xiàn)今的數(shù)據(jù)存儲(chǔ)需要，并行文件系統(tǒng)以它具有的高擴(kuò)展性、高性能、高可用性和高安全性等優(yōu)點(diǎn)，

2、成為業(yè)內(nèi)普遍采用的數(shù)據(jù)存儲(chǔ)管理方式，而緩存技術(shù)影響著文件系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)的速率，一個(gè)好的緩存技術(shù)能夠在很大程度上提高系統(tǒng)的性能。
　　本文在這樣的背景下，對(duì)并行文件系統(tǒng)緩存技術(shù)進(jìn)行研究，針對(duì)并行文件系統(tǒng)GlusterFS，設(shè)計(jì)一個(gè)基于內(nèi)存緩存技術(shù)Memcached的中間緩存架構(gòu)(InterMediate Caching architecture，IMCa)。具體的研究工作內(nèi)容有以下幾點(diǎn):
　　論文首先介紹了三種存儲(chǔ)技術(shù)，闡述了

3、它們的各自的特點(diǎn)區(qū)別和，接著對(duì)幾種經(jīng)典的文件系統(tǒng)做了簡(jiǎn)要地介紹。然后分析了并行文件系統(tǒng)GlusterFS的系統(tǒng)架構(gòu)，客戶(hù)端和服務(wù)器端的工作原理，剖析了GlusterFS文件系統(tǒng)基于翻譯器Translator實(shí)現(xiàn)各種功能的設(shè)計(jì)原理。接著在Memcached的基礎(chǔ)上，設(shè)計(jì)了IMCa緩存系統(tǒng)，IMCa緩存系統(tǒng)分為三大部分:GlusterFS客戶(hù)端、Memcached緩存層、GlusterFS服務(wù)器端。在設(shè)計(jì)的過(guò)程中，考慮了緩存替換和熱點(diǎn)數(shù)據(jù)問(wèn)

4、題，與GlusterFS客戶(hù)端的連接方式等問(wèn)題。IMCa的Memcached緩存層又分了三層，分別是網(wǎng)絡(luò)接口層、系統(tǒng)控制層和數(shù)據(jù)存儲(chǔ)層。網(wǎng)絡(luò)接口層負(fù)責(zé)與客戶(hù)端進(jìn)行連接并對(duì)連接進(jìn)行管理，完成分析命令，處理命令，處理并發(fā)連接等功能。系統(tǒng)控制層是整個(gè)緩存層的核心，包括負(fù)載均衡、數(shù)據(jù)管理和副本管理等功能，數(shù)據(jù)管理負(fù)責(zé)完成對(duì)數(shù)據(jù)操作的控制，包括數(shù)據(jù)的添加、查詢(xún)、更新等。副本管理的設(shè)計(jì)是保證熱點(diǎn)數(shù)據(jù)能夠復(fù)制到其他備用的緩存節(jié)點(diǎn)上，以便當(dāng)出現(xiàn)熱點(diǎn)數(shù)據(jù)