基于HDFS的分布式存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的普及和快速發(fā)展，用戶數(shù)據(jù)出現(xiàn)了迅速的增長。傳統(tǒng)的通過網(wǎng)絡(luò)通信訪問非本地數(shù)據(jù)在面對當(dāng)前大規(guī)模數(shù)據(jù)存儲需求，在數(shù)據(jù)容量、可靠性、安全性、高可擴展等方面已難勝任。針對上述問題，提出一種新的大規(guī)模數(shù)據(jù)存儲系統(tǒng)，即基于HDFS(Hadoop Distributed File System)的分布式存儲系統(tǒng)，通過充分利用分布式存儲的技術(shù)優(yōu)勢，以滿足當(dāng)前大規(guī)模數(shù)據(jù)存儲和管理的要求。
　　HDFS作為主流的分布式存儲系統(tǒng)，因為其高可靠

2、、高性能存儲服務(wù)而被廣泛使用。LevelDB作為一個能支持數(shù)十億級別數(shù)據(jù)量，而且在大數(shù)據(jù)情況下讀寫性能仍然非常高。鑒于此，把HDFS和LevelDB進行架構(gòu)融合，并在上層開發(fā)了TabletServer操作管理底層LevelDB的數(shù)據(jù)讀寫，通過更改LevelDB數(shù)據(jù)存儲的路徑，實現(xiàn)LevelDB把數(shù)據(jù)最終落地到HDFS集群上，然后設(shè)置系統(tǒng)的Master，利用其對系統(tǒng)中所有的TabletServer進行集中管理，監(jiān)控和維護，同時，提供Cli