面向操作特性的數(shù)據(jù)存儲模式及應用研究.pdf

1、在業(yè)務需求不斷增加的情況下，任務和數(shù)據(jù)密集型網(wǎng)絡應用系統(tǒng)面臨數(shù)據(jù)量迅速膨脹、數(shù)據(jù)形態(tài)不斷擴張、用戶種類不斷增多的現(xiàn)狀。根據(jù)數(shù)據(jù)操作特性對數(shù)據(jù)進行合理分割，并用合理的存儲模式進行分布存儲，對優(yōu)化配置系統(tǒng)資源和提高系統(tǒng)運行性能具有重要作用。
　　Hbase是基于Hadoop HDFS的無模式列存數(shù)據(jù)庫，以字節(jié)流形式存儲不同形態(tài)的數(shù)據(jù)，可以依托廉價的服務器大規(guī)模擴展存儲，可以借助MapReduce實現(xiàn)大規(guī)模數(shù)據(jù)的高效處理。本文分析了行鍵

2、、列族、后臺工作機制、負載分布等影響 Hbase整體性能的關鍵因素，通過研究任務和數(shù)據(jù)密集型網(wǎng)絡應用系統(tǒng)中的數(shù)據(jù)操作特性，根據(jù)業(yè)務需求和功能要求制定數(shù)據(jù)分類分割策略。
　　本文以具體應用系統(tǒng)為依托，通過分析系統(tǒng)中原有數(shù)據(jù)存儲模式隨著業(yè)務量的擴展可能遇到的性能瓶頸問題，根據(jù)系統(tǒng)關鍵業(yè)務的數(shù)據(jù)操作特性，設計了以 Hbase為基礎的結構化數(shù)據(jù)和非結構化數(shù)據(jù)分布式數(shù)據(jù)存儲方案，通過對不同數(shù)據(jù)量下的基本性能的測試及使用 YCSB對Hbase