基于Hadoop與HBase的文件存儲系統(tǒng)應(yīng)用研究.pdf

1、Web2.0時代的到來，互聯(lián)網(wǎng)產(chǎn)業(yè)得到了迅速的發(fā)展，涌現(xiàn)出各式各樣的互聯(lián)網(wǎng)服務(wù)，例如，通過社交網(wǎng)站，人們可以和自己的朋友分享自己生活的點點滴滴，通過互聯(lián)網(wǎng)云存儲服務(wù)，人們可以將自己的文件上傳到互聯(lián)網(wǎng)，然后只要有網(wǎng)絡(luò)接入，就可以隨時訪問自己的文件。類似這些的互聯(lián)網(wǎng)服務(wù)，必然會在網(wǎng)站的后臺產(chǎn)生海量的用戶文件，比如用戶上傳的照片，音樂，甚至是視頻，而移動互聯(lián)網(wǎng)的誕生進一步導(dǎo)致用戶數(shù)據(jù)急劇地增長。如何在兼顧到成本條件下，對這些海量的用戶數(shù)據(jù)進行

2、高效的存儲與訪問，是一項巨大的挑戰(zhàn)。傳統(tǒng)的文件存儲難以擴容的特點決定了它無法對海量數(shù)據(jù)進行存儲，分布式文件系統(tǒng)可以通過增加集群的機器數(shù)量來完成對海量數(shù)據(jù)的存儲。
　　Hadoop作為一個開源的并行計算框架，它提供了一個分布式的文件存儲系統(tǒng)HDFS，并且它能夠運行于廉價的機器上而不用擔(dān)心文件的丟失。另一方面，HBase作為構(gòu)建在HDFS之上的面向列的分布式數(shù)據(jù)庫，具有隨機實時讀寫的特征。本文結(jié)合Hadoop與HBase技術(shù)，提出了一

3、種基于Hadoop與HBase混合體系結(jié)構(gòu)的文件存儲方案。
　　由于HDFS文件系統(tǒng)本身比較適合存儲較大文件，存儲眾多的小文件時，元數(shù)據(jù)會急劇地消耗掉Namenode的內(nèi)存空間，從而制約了文件系統(tǒng)的可擴展性。本文結(jié)合了Hadoop與HBase，提出了自己的一套文件存儲方案，有效的解決了小文件存儲問題，同時又保證了存儲與訪問的性能。即:對于圖片文件，一般來說，其大小都在幾十KB到幾MB之內(nèi)，可以先將圖片數(shù)據(jù)轉(zhuǎn)化為Base64編碼，將

4、轉(zhuǎn)化后的Base64編碼持久化到HBase數(shù)據(jù)庫里面，訪問圖片時，先從HBase里面取出Base64編碼，解碼成為圖片的二進制形式返回給請求方;另一方面，對于非圖片文件，根據(jù)文件自身大小決定它的存儲方案，如果文件比較?。ㄐ∮谀骋慌渲弥担?，可以采取與圖片存儲一樣方案，如果文件大小大于配置值，則可以將其直接存儲到HDFS中，并且在HBase中保存該文件的元數(shù)據(jù)，如HDFS中的路徑，文件名等。對于HDFS中的文件，定期運行后臺任務(wù)，將符合條件