基于HBase的嵌套式數(shù)據(jù)存儲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時代的來臨，數(shù)據(jù)量迅猛增長，如何合理有效地存儲和利用大數(shù)據(jù)顯得尤為重要。針對大數(shù)據(jù)對于擴展能力及數(shù)據(jù)格式的需求，業(yè)界提出了NoSQL數(shù)據(jù)庫的解決方案。NoSQL采用了分布式的存儲架構(gòu)和無模式的存儲格式，以滿足存儲過程中容量不斷增長的需求，同時更加靈活地為用戶業(yè)務(wù)變更提供方便。但是正是由于NoSQL數(shù)據(jù)庫在這些方面的設(shè)計調(diào)整，減弱了數(shù)據(jù)在存儲過程中的關(guān)聯(lián)性。導(dǎo)致使用NoSQL數(shù)據(jù)庫進行大數(shù)據(jù)分析時，數(shù)據(jù)讀取速度慢，查詢過程更為復(fù)

2、雜。
　　針對NoSQL關(guān)于數(shù)據(jù)分析能力的不足，結(jié)合Dremel論文提出的嵌套式數(shù)據(jù)存儲格式的思想，本文提出了基于HBase的嵌套式數(shù)據(jù)存儲系統(tǒng)，來解決大數(shù)據(jù)存儲和分析過程中遇到的問題。本文主要工作如下:
　　1)基于HBase的嵌套式數(shù)據(jù)存儲系統(tǒng)采用了HBase原有的分布式存儲架構(gòu)。繼承HBase擴展性好、可用性高的特點。使用HMaster對于數(shù)據(jù)存儲系統(tǒng)進行管理操作，利用HRegionServer對于每個子節(jié)點上的數(shù)據(jù)存

3、儲進行管理。
　　2)對于HBase按列存儲格式進行格式轉(zhuǎn)換。重構(gòu)HRegion類，添加數(shù)據(jù)轉(zhuǎn)換模塊，將HBase原有列式存儲格式轉(zhuǎn)換為嵌套式數(shù)據(jù)存儲格式。利用基于Dremel實現(xiàn)的嵌套式數(shù)據(jù)存儲文件格式Parquet對于數(shù)據(jù)進行持久化工作。
　　3)實現(xiàn)基于HBase的嵌套式數(shù)據(jù)存儲系統(tǒng)的存儲和讀取模塊。完成基于HBase的嵌套式數(shù)據(jù)存儲系統(tǒng)的讀寫功能。并強化了讀取模塊中的查詢功能。
　　4)通過數(shù)據(jù)分析實驗驗證基于

4、HBase的嵌套式數(shù)據(jù)存儲系統(tǒng)在數(shù)據(jù)分析過程中的性能提升。利用MapReduce計算框架對存儲數(shù)據(jù)進行分析，其結(jié)果顯示基于HBase的嵌套式存儲系統(tǒng)按列查詢性能比原HBase存儲系統(tǒng)提升三分之一左右。當(dāng)存儲表中列數(shù)目增加時，基于HBase的嵌套式存儲系統(tǒng)耗時增加更少。
　　基于HBase的嵌套式數(shù)據(jù)存儲系統(tǒng)可以滿足對于大數(shù)據(jù)讀寫性能的要求，同時在進行大數(shù)據(jù)分析的過程中，減少了對于不必要數(shù)據(jù)的讀取開銷，降低了磁盤和CPU的損耗，加快