基于分布式的電力云存儲系統(tǒng)的研究與應(yīng)用.pdf

1、隨著國家電網(wǎng)公司業(yè)務(wù)的拓展,辦公文件的數(shù)量也就隨之劇增,從而導(dǎo)致存儲效率低等問題的出現(xiàn),使得文件管理變得異常繁瑣,因此對電力云存儲系統(tǒng)的研究具有很高的應(yīng)用價值,云存儲系統(tǒng)是在當(dāng)前廣泛討論的云計算概念上延伸和發(fā)展出來的,具有高可用性、高擴展性、高可靠性等特點,可以將各種類型的存儲介質(zhì)整合在一起來提供數(shù)據(jù)存儲和業(yè)務(wù)訪問的功能。HDFS是開源云框架 Hadoop的底層文件系統(tǒng)的實現(xiàn),具有高容錯性和高傳輸率等特點,可以以流的形式寫入或者讀取文件

2、系統(tǒng)中的數(shù)據(jù),從而解決了文件存儲和訪問速度的問題,并且實現(xiàn)海量數(shù)據(jù)的存儲和管理。在云存儲理論的研究和分析的基礎(chǔ)上,將實現(xiàn)一個基于分布式的電力云存儲系統(tǒng),并使得該系統(tǒng)逐步成為國網(wǎng)公司重要的數(shù)據(jù)存儲平臺。
　　首先,分析和研究了當(dāng)前廣泛討論的云存儲模型以及其關(guān)鍵技術(shù)。詳細描述了開源云計算框架Hadoop的底層文件系統(tǒng)HDFS。
　　其次,在研究現(xiàn)有HDFS的基礎(chǔ)上,針對其在負載均衡機制和小文件處理上的弊端進行了深入的探討和研究,

3、從而提出了新的負載均衡優(yōu)化策略和小文件存儲優(yōu)化策略,設(shè)計的加權(quán)負載均衡算法在系統(tǒng)資源分配過程中,綜合考慮各節(jié)點的性能指標因素,從而讓集群中各個節(jié)點充分的發(fā)揮作用,實現(xiàn)負載均衡。在傳統(tǒng)小文件處理方案的基礎(chǔ)上,從小文件的存儲結(jié)構(gòu)和索引結(jié)構(gòu)上進行優(yōu)化設(shè)計,大大提高了小文件在HDFS上的存儲和檢索效率。
　　最后,本課題在原有HDFS架構(gòu)的基礎(chǔ)上,并融合了第三章和第四章的優(yōu)化策略,實現(xiàn)了基于分布式的電力云存儲系統(tǒng),該系統(tǒng)主要實現(xiàn)的功能有文