面向操作特性的數(shù)據(jù)存儲(chǔ)模式及應(yīng)用研究.pdf

1、在業(yè)務(wù)需求不斷增加的情況下，任務(wù)和數(shù)據(jù)密集型網(wǎng)絡(luò)應(yīng)用系統(tǒng)面臨數(shù)據(jù)量迅速膨脹、數(shù)據(jù)形態(tài)不斷擴(kuò)張、用戶種類(lèi)不斷增多的現(xiàn)狀。根據(jù)數(shù)據(jù)操作特性對(duì)數(shù)據(jù)進(jìn)行合理分割，并用合理的存儲(chǔ)模式進(jìn)行分布存儲(chǔ)，對(duì)優(yōu)化配置系統(tǒng)資源和提高系統(tǒng)運(yùn)行性能具有重要作用。
　　Hbase是基于Hadoop HDFS的無(wú)模式列存數(shù)據(jù)庫(kù)，以字節(jié)流形式存儲(chǔ)不同形態(tài)的數(shù)據(jù)，可以依托廉價(jià)的服務(wù)器大規(guī)模擴(kuò)展存儲(chǔ)，可以借助MapReduce實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的高效處理。本文分析了行鍵

2、、列族、后臺(tái)工作機(jī)制、負(fù)載分布等影響 Hbase整體性能的關(guān)鍵因素，通過(guò)研究任務(wù)和數(shù)據(jù)密集型網(wǎng)絡(luò)應(yīng)用系統(tǒng)中的數(shù)據(jù)操作特性，根據(jù)業(yè)務(wù)需求和功能要求制定數(shù)據(jù)分類(lèi)分割策略。
　　本文以具體應(yīng)用系統(tǒng)為依托，通過(guò)分析系統(tǒng)中原有數(shù)據(jù)存儲(chǔ)模式隨著業(yè)務(wù)量的擴(kuò)展可能遇到的性能瓶頸問(wèn)題，根據(jù)系統(tǒng)關(guān)鍵業(yè)務(wù)的數(shù)據(jù)操作特性，設(shè)計(jì)了以 Hbase為基礎(chǔ)的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分布式數(shù)據(jù)存儲(chǔ)方案，通過(guò)對(duì)不同數(shù)據(jù)量下的基本性能的測(cè)試及使用 YCSB對(duì)Hbase