集群多媒體存儲(chǔ)系統(tǒng)的數(shù)據(jù)組織研究.pdf

1、隨著網(wǎng)絡(luò)上多媒體數(shù)據(jù)的爆炸性增長，大量的多媒體數(shù)據(jù)在世界各地產(chǎn)生并共享，導(dǎo)致對(duì)海量可擴(kuò)展存儲(chǔ)系統(tǒng)的需求快速增長。在分布式網(wǎng)絡(luò)共享環(huán)境，大量的分布式客戶端同時(shí)訪問服務(wù)器，對(duì)服務(wù)器的性能要求更高。本文針對(duì)多媒體的特點(diǎn)和需求，采用自治式服務(wù)器集群結(jié)構(gòu)設(shè)計(jì)一種集群多媒體存儲(chǔ)系統(tǒng)CMSS(ClusterMultimedia Storage System)，并著重研究CMSS系統(tǒng)的數(shù)據(jù)組織技術(shù)，包括元數(shù)據(jù)組織、數(shù)據(jù)組織及遷移和多媒體Cache 算法

2、等。CMSS系統(tǒng)設(shè)計(jì)了一種TLMS(Two-level Metadata Server)元數(shù)據(jù)組織結(jié)構(gòu)。TLMS通過分離存儲(chǔ)數(shù)據(jù)的邏輯視圖與物理視圖，來實(shí)現(xiàn)兩級(jí)元數(shù)據(jù)組織結(jié)構(gòu)。其中邏輯視圖由全局元數(shù)據(jù)服務(wù)器GMS(Global Metadata Server)來管理，物理視圖由各個(gè)存儲(chǔ)服務(wù)器上的本地元數(shù)據(jù)服務(wù)器LMS(Local Metadata Server)來管理。采用GMS雙機(jī)熱備技術(shù)，既實(shí)現(xiàn)了單一命名空間，又避免了單點(diǎn)失效；利用

3、全局元數(shù)據(jù)Cache技術(shù)，縮短了請(qǐng)求的處理路徑，減輕了GMS的負(fù)載，從而提高了系統(tǒng)的性能；采用LMS 技術(shù)，每個(gè)存儲(chǔ)服務(wù)器能夠自主的管理自己的存儲(chǔ)資源和元數(shù)據(jù)及數(shù)據(jù)本身，并且能夠獨(dú)立提供存儲(chǔ)服務(wù)；另外，CMSS的兩級(jí)元數(shù)據(jù)組織技術(shù)避免了傳統(tǒng)集中式元數(shù)據(jù)服務(wù)器的性能瓶頸，也解決了分布式元數(shù)據(jù)組織的元數(shù)據(jù)一致性和同步開為了實(shí)現(xiàn)高性能、高擴(kuò)展性，通過對(duì)傳統(tǒng)分布式和并行數(shù)據(jù)組織的分析，設(shè)計(jì)了一種AutoData數(shù)據(jù)組織結(jié)構(gòu)。AutoData 采

4、用多級(jí)數(shù)據(jù)組織結(jié)構(gòu)，既具有分布式和并行數(shù)據(jù)組織的優(yōu)點(diǎn)，又能克服兩者缺點(diǎn)。AutoData將整個(gè)系統(tǒng)的存儲(chǔ)空間分為三層：內(nèi)存并行存儲(chǔ)池、磁盤并行存儲(chǔ)池和分布式存儲(chǔ)池。所有存儲(chǔ)服務(wù)器內(nèi)存的一部分組成一個(gè)內(nèi)存并行存儲(chǔ)池；所有存儲(chǔ)服務(wù)器磁盤的一小部分組成一個(gè)磁盤并行存儲(chǔ)池；所有存儲(chǔ)服務(wù)器的剩余磁盤存儲(chǔ)空間組成一個(gè)分布式存儲(chǔ)池。內(nèi)存并行存儲(chǔ)池性能最好，但是其容量最??；磁盤并行存儲(chǔ)池性能次之，但是其容量要相對(duì)大一些；分布式存儲(chǔ)池性能最低，但是其容量

5、最大。通過分析，在多個(gè)客戶端同時(shí)訪問服務(wù)器的情況下，雖然每個(gè)客戶端訪問的地址可能是順序的，但是從存儲(chǔ)服務(wù)器磁盤調(diào)度看來，這些多個(gè)客戶端的訪問地址是隨機(jī)的。為了減少對(duì)磁盤的隨機(jī)訪問次數(shù)，設(shè)計(jì)了一種CBP(Client-Based Prefetching)預(yù)取算法，CBP算法采用基于客戶端的策略，為每個(gè)客戶端設(shè)置一定的預(yù)取緩存，并采用大的預(yù)取數(shù)據(jù)塊，減少對(duì)磁盤的訪問次數(shù)，提高了系統(tǒng)的性能。在Cache替換算法中，基于多媒體請(qǐng)求訪問地址可預(yù)測(cè)

6、的特點(diǎn)，設(shè)計(jì)了一種FOPT(Forecast OPT)替換算法，F(xiàn)OPT算法根據(jù)多媒體訪問的地址連續(xù)性，來預(yù)測(cè)將來訪問的地址順序，從而實(shí)現(xiàn)基于預(yù)測(cè)的OPT算法。在千兆以太網(wǎng)絡(luò)環(huán)境下對(duì)CMSS系統(tǒng)進(jìn)行了相應(yīng)的試驗(yàn)測(cè)試和性能分析。在單個(gè)服務(wù)器的情況下，分別測(cè)試了CMSS和NFS的性能?？偟膩碚f，隨機(jī)讀情況下，CMSS 服務(wù)器性能略低于NFS服務(wù)器，但是順序讀情況下，CMSS服務(wù)器性能要比NFS 高20[％]左右。在多個(gè)服務(wù)器的并行測(cè)試環(huán)境，

7、分別測(cè)試了CMSS、Lustre和PVFS的性能。測(cè)試結(jié)果顯示，隨機(jī)讀情況下，CMSS服務(wù)器性能要高于Lustre，但是低于PVFS 服務(wù)器，而在順序讀情況下，CMSS服務(wù)器性能要比Lustre和PVFS 高30-40[％]。充分說明了CMSS系統(tǒng)針對(duì)多媒體應(yīng)用順序讀優(yōu)化的有效性。仿真不同的客戶端的情況下，對(duì)FOPT和LRU算法命中率進(jìn)行了測(cè)試，從結(jié)果看，當(dāng)請(qǐng)求小于64KB時(shí)，F(xiàn)OPT和LRU算法的命中率都很高。這個(gè)主要是因?yàn)榉?wù)器Ca