海量數(shù)據(jù)存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)日益發(fā)達(dá)，網(wǎng)絡(luò)上的數(shù)據(jù)量呈爆炸式增長，海量數(shù)據(jù)的管理和維護，對企業(yè)和個人來說，都面臨著巨大的困難，不僅成本高昂，而且在海量數(shù)據(jù)存取的可靠性和可用性方面也都存在著巨大的問題。Google公司提出的GFS文件系統(tǒng)，最早給出了完整有效的海量數(shù)據(jù)存儲理論框架，并面向大型分布式數(shù)據(jù)密集型應(yīng)用，建立以大量異構(gòu)的存儲機器為基礎(chǔ)的集群，實現(xiàn)海量數(shù)據(jù)的存儲和讀取的高性能服務(wù)，并提供良好的系統(tǒng)容錯性。
　　本文是以Google的GFS文件系

2、統(tǒng)理論為基礎(chǔ)，結(jié)合海量數(shù)據(jù)存儲的特點以及存儲的高可靠性，并針對數(shù)據(jù)存儲節(jié)點的異構(gòu)性，提出基于機器存儲性能和數(shù)據(jù)塊訪問次數(shù)等因素的負(fù)載計算模型，并給出了數(shù)據(jù)存儲節(jié)點選擇優(yōu)化策略、數(shù)據(jù)讀取節(jié)點選擇優(yōu)化策略以及負(fù)載均衡節(jié)點選擇優(yōu)化策略，同時將優(yōu)化策略和默認(rèn)策略進(jìn)行性能上的對比。
　　論文在詳細(xì)分析海量數(shù)據(jù)存儲理論、方法、技術(shù)的基礎(chǔ)上，對系統(tǒng)的整體結(jié)構(gòu)進(jìn)行設(shè)計，細(xì)分系統(tǒng)各個部分的功能，給出存儲系統(tǒng)的功能設(shè)計，并實現(xiàn)了包括數(shù)據(jù)存儲功能、集群