面向光盤(pán)庫(kù)的HDFS文件系統(tǒng)應(yīng)用研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，各種用于提供大數(shù)據(jù)存儲(chǔ)服務(wù)的分布式文件系統(tǒng)應(yīng)運(yùn)而生，HDFS就是其中一個(gè)應(yīng)用非常廣泛的開(kāi)源分布式文件系統(tǒng)。然而，在分布式文件系統(tǒng)中真正有用的熱數(shù)據(jù)只占很少的一部分，其中大部分的冷數(shù)據(jù)在短期內(nèi)都不會(huì)被使用。因此對(duì)這些冷數(shù)據(jù)進(jìn)行歸檔和備份變得非常重要。另一方面，由于光盤(pán)庫(kù)具有數(shù)據(jù)保存時(shí)間長(zhǎng)、成本低、存取速度相對(duì)較好的特點(diǎn)，使得光盤(pán)庫(kù)非常適合作為數(shù)據(jù)的長(zhǎng)期保存介質(zhì)。因此，將光盤(pán)庫(kù)作為第三級(jí)存儲(chǔ)介質(zhì)可以用于解決分布式文件系

2、統(tǒng)冷數(shù)據(jù)的歸檔和備份的問(wèn)題。
　　為了將光盤(pán)庫(kù)應(yīng)用在HDFS上，首先研究了現(xiàn)有光盤(pán)庫(kù)系統(tǒng)的結(jié)構(gòu)特點(diǎn)，以及光盤(pán)庫(kù)系統(tǒng)中優(yōu)化文件讀寫(xiě)性能的策略，包括緩存替換策略和I/O調(diào)度策略等；也分析了運(yùn)用于數(shù)據(jù)歸檔和備份的磁帶庫(kù)系統(tǒng)的優(yōu)化策略；然后研究了HDFS的具體架構(gòu)，通信方式以及讀寫(xiě)文件的具體過(guò)程；最后在HDFS上實(shí)現(xiàn)了一種光盤(pán)庫(kù)文件管理系統(tǒng)，其中主要包括小文件合并策略、塊文件緩存策略和光盤(pán)庫(kù)I/O調(diào)度策略等三種優(yōu)化策略。
　　最終通