面向車駕管業(yè)務的海量小文件存儲研究與優(yōu)化.pdf

1、隨著計算機互聯(lián)網(wǎng)的發(fā)展與信息時代的到來，在天文、地理、氣象、電子商務等諸多領域，其使用的應用系統(tǒng)中已積累了數(shù)量驚人的數(shù)據(jù)，同時這些數(shù)據(jù)被分散成多個容量很小的文件進行存儲。并且諸如銀行、郵政、車管所等這些便利民眾的服務行業(yè)也開始結(jié)合互聯(lián)網(wǎng)形成“互聯(lián)網(wǎng)+”的發(fā)展模式，并為了滿足其自身的某種需求而逐漸產(chǎn)生出億級以上的海量小文件，且這些文件數(shù)量仍舊處在爆炸性增長中，這給系統(tǒng)存儲效率、檢索及元數(shù)據(jù)管理帶來巨大挑戰(zhàn)。
　　在大數(shù)據(jù)時代背景下，

2、根據(jù)《互聯(lián)網(wǎng)交通安全綜合服務平臺建設指導意見》(公交管[2013]433號）要求，為了推進“互聯(lián)網(wǎng)+車管所”的大數(shù)據(jù)平臺建設，本文針對南寧市車管所車駕管業(yè)務系統(tǒng)的需要，構(gòu)建一個基于Hadoop分布式文件系統(tǒng)(Hadoop DistributedFile System，HDFS)面向車駕管業(yè)務的海量小文件存儲系統(tǒng)VDSMSS(Vehicle-DrivingService Mass Storage System)，為“互聯(lián)網(wǎng)+車管所”的大數(shù)

3、據(jù)平臺打下基礎，同時也為當今針對服務行業(yè)的基于HDFS的海量小文件存儲系統(tǒng)設計，提供一個有效解決思路和優(yōu)化方向，具有現(xiàn)實意義和價值。本文的主要研究內(nèi)容如下:
　　(1)簡述HDFS的核心架構(gòu)及其內(nèi)部的關鍵數(shù)據(jù)結(jié)構(gòu)。介紹當前業(yè)界面對海量小文件時使用的存儲優(yōu)化方案，分析其中幾個代表性方案的優(yōu)缺點。介紹幾種代表性的緩存替換算法，重點介紹文件系統(tǒng)ZFS的自調(diào)整緩存替換算法(ZFS Adjustable Replacement Cache，

4、ZFS-ARC)。
　　(2)分析HDFS存儲海量小文件時存在的問題，確定優(yōu)化方向?？偨Y(jié)闡述車駕管業(yè)務系統(tǒng)中小文件所具有的特點，針對該特點，設計將多個小文件以用戶為單位，按時間業(yè)務分組，合并成一個大文件，從而減少小文件的數(shù)量，達到降低大量小文件元數(shù)據(jù)占用NameNode內(nèi)存的目的。同時設計一個高效的單一文件查找方法和批量查找索引，能在兼顧檢索文件速度的情況下，以一定查詢條件進行批量文件查找。
　　(3)針對HDFS沒有在文件

5、讀寫方面提供預取和緩存功能的問題，本文提出了一個基于文件關聯(lián)度預讀機制的自調(diào)整緩存替換算法。首先采用傳統(tǒng)的關聯(lián)規(guī)則挖掘算法，對存儲有小文件訪問記錄的Hadoop日志文件進行關聯(lián)挖掘，將挖掘出的數(shù)據(jù)進行合乎理論的數(shù)理分析，計算出小文件之間的潛在關聯(lián)度。其次以此關聯(lián)度設計出一個合適的文件預讀機制，當某個小文件被讀取時，則把該小文件的關聯(lián)文件預讀到緩存中。然后將兼顧了“時間”和“頻率”的緩存替換算法ZFS-ARC與本文設計的預讀機制結(jié)合，改進