基于Hadoop與HBase的文件存儲(chǔ)系統(tǒng)應(yīng)用研究.pdf

1、Web2.0時(shí)代的到來(lái)，互聯(lián)網(wǎng)產(chǎn)業(yè)得到了迅速的發(fā)展，涌現(xiàn)出各式各樣的互聯(lián)網(wǎng)服務(wù)，例如，通過(guò)社交網(wǎng)站，人們可以和自己的朋友分享自己生活的點(diǎn)點(diǎn)滴滴，通過(guò)互聯(lián)網(wǎng)云存儲(chǔ)服務(wù)，人們可以將自己的文件上傳到互聯(lián)網(wǎng)，然后只要有網(wǎng)絡(luò)接入，就可以隨時(shí)訪問(wèn)自己的文件。類(lèi)似這些的互聯(lián)網(wǎng)服務(wù)，必然會(huì)在網(wǎng)站的后臺(tái)產(chǎn)生海量的用戶(hù)文件，比如用戶(hù)上傳的照片，音樂(lè)，甚至是視頻，而移動(dòng)互聯(lián)網(wǎng)的誕生進(jìn)一步導(dǎo)致用戶(hù)數(shù)據(jù)急劇地增長(zhǎng)。如何在兼顧到成本條件下，對(duì)這些海量的用戶(hù)數(shù)據(jù)進(jìn)行

2、高效的存儲(chǔ)與訪問(wèn)，是一項(xiàng)巨大的挑戰(zhàn)。傳統(tǒng)的文件存儲(chǔ)難以擴(kuò)容的特點(diǎn)決定了它無(wú)法對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)，分布式文件系統(tǒng)可以通過(guò)增加集群的機(jī)器數(shù)量來(lái)完成對(duì)海量數(shù)據(jù)的存儲(chǔ)。
　　Hadoop作為一個(gè)開(kāi)源的并行計(jì)算框架，它提供了一個(gè)分布式的文件存儲(chǔ)系統(tǒng)HDFS，并且它能夠運(yùn)行于廉價(jià)的機(jī)器上而不用擔(dān)心文件的丟失。另一方面，HBase作為構(gòu)建在HDFS之上的面向列的分布式數(shù)據(jù)庫(kù)，具有隨機(jī)實(shí)時(shí)讀寫(xiě)的特征。本文結(jié)合Hadoop與HBase技術(shù)，提出了一

3、種基于Hadoop與HBase混合體系結(jié)構(gòu)的文件存儲(chǔ)方案。
　　由于HDFS文件系統(tǒng)本身比較適合存儲(chǔ)較大文件，存儲(chǔ)眾多的小文件時(shí)，元數(shù)據(jù)會(huì)急劇地消耗掉Namenode的內(nèi)存空間，從而制約了文件系統(tǒng)的可擴(kuò)展性。本文結(jié)合了Hadoop與HBase，提出了自己的一套文件存儲(chǔ)方案，有效的解決了小文件存儲(chǔ)問(wèn)題，同時(shí)又保證了存儲(chǔ)與訪問(wèn)的性能。即:對(duì)于圖片文件，一般來(lái)說(shuō)，其大小都在幾十KB到幾MB之內(nèi)，可以先將圖片數(shù)據(jù)轉(zhuǎn)化為Base64編碼，將

4、轉(zhuǎn)化后的Base64編碼持久化到HBase數(shù)據(jù)庫(kù)里面，訪問(wèn)圖片時(shí)，先從HBase里面取出Base64編碼，解碼成為圖片的二進(jìn)制形式返回給請(qǐng)求方;另一方面，對(duì)于非圖片文件，根據(jù)文件自身大小決定它的存儲(chǔ)方案，如果文件比較?。ㄐ∮谀骋慌渲弥担?，可以采取與圖片存儲(chǔ)一樣方案，如果文件大小大于配置值，則可以將其直接存儲(chǔ)到HDFS中，并且在HBase中保存該文件的元數(shù)據(jù)，如HDFS中的路徑，文件名等。對(duì)于HDFS中的文件，定期運(yùn)行后臺(tái)任務(wù)，將符合條件