一種云存儲(chǔ)名字空間架構(gòu)的研究與設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)的發(fā)展引領(lǐng)IT領(lǐng)域進(jìn)入到大數(shù)據(jù)時(shí)代。在這樣的背景下，海量數(shù)據(jù)呈現(xiàn)爆炸性增長(zhǎng)，無(wú)論是個(gè)人還是企業(yè)，對(duì)廉價(jià)優(yōu)質(zhì)的海量存儲(chǔ)空間的需求都在與日俱增。一個(gè)云存儲(chǔ)系統(tǒng)的名字空間架構(gòu)設(shè)計(jì)好壞直接決定著一個(gè)系統(tǒng)的擴(kuò)展能力、存儲(chǔ)空間、服務(wù)質(zhì)量和管理成本等?，F(xiàn)有的云存儲(chǔ)產(chǎn)品普遍使用構(gòu)建具有集中性質(zhì)的大規(guī)模數(shù)據(jù)中心來(lái)實(shí)現(xiàn)“云”的理念，但是在數(shù)據(jù)量過(guò)快增長(zhǎng)的趨勢(shì)下也將面對(duì)管理復(fù)雜度增加、擴(kuò)展受限制、成本過(guò)高且服務(wù)質(zhì)量下降等問(wèn)題。
　　本文對(duì)目前各類(lèi)

2、經(jīng)典的大規(guī)模數(shù)據(jù)存儲(chǔ)系統(tǒng)的名字空間進(jìn)行了深入的學(xué)習(xí)和研究，發(fā)現(xiàn)易管理的系統(tǒng)普遍存在物理或邏輯主控結(jié)構(gòu)而擴(kuò)展性受限的問(wèn)題，而理論上擴(kuò)展性良好的系統(tǒng)卻又因?yàn)榫S護(hù)成本過(guò)高而實(shí)用性不強(qiáng)。本文通過(guò)權(quán)衡各類(lèi)方案的優(yōu)缺點(diǎn)，設(shè)計(jì)了一個(gè)可以自由伸縮、無(wú)限擴(kuò)展、提供快速存儲(chǔ)和檢索文件服務(wù)的云存儲(chǔ)架構(gòu)。
　　為了以較低的成本充分整合互聯(lián)網(wǎng)上的存儲(chǔ)資源以獲得可無(wú)限擴(kuò)展的透明存儲(chǔ)空間，本文的私有文件管理子層利用IPv6地址前綴自動(dòng)聚類(lèi)的性質(zhì)將分布廣泛、數(shù)目

3、較多的存儲(chǔ)單元聚合為獨(dú)立的子域，子域之間通過(guò)一致性哈希維護(hù)。用戶將文件就近存放在子域中可以獲得較小的網(wǎng)絡(luò)延時(shí);每個(gè)獨(dú)立子域之間的文件存儲(chǔ)并行執(zhí)行，可以有效提高系統(tǒng)吞吐量。為了對(duì)海量的私有文件管理子層中的文件提供高效索引，本文中的共享文件管理子層設(shè)計(jì)了一種分布式多維索引LSH-K-D Forest。該索引首先通過(guò)基于地址敏感哈希LSH的方法對(duì)海量數(shù)據(jù)的文件名相似度分類(lèi)成Bucket，然后再對(duì)Bucket按文件屬性構(gòu)建多維索引進(jìn)一步劃分Bu