基于MooseFS分布式存儲策略的研究與實現(xiàn).pdf

1、當前互聯(lián)網(wǎng)時代的快速發(fā)展，使信息資源呈現(xiàn)出爆炸性增長趨勢，網(wǎng)絡和數(shù)據(jù)已經(jīng)滲透到人們生活的方方面面。云計算和互聯(lián)網(wǎng)應用產(chǎn)生了海量數(shù)據(jù)，對數(shù)據(jù)存儲和數(shù)據(jù)分析技術(shù)提出了更高的需求。傳統(tǒng)的存儲模式存在的問題也逐漸呈現(xiàn)出來，諸如對數(shù)據(jù)的可管理性較差、系統(tǒng)可擴展性低、存儲容量有限、升級維護成本較高等問題。分布式存儲技術(shù)可以有效地解決以上問題，其技術(shù)關(guān)鍵是應用分布式文件系統(tǒng)，以滿足大規(guī)模數(shù)據(jù)對存儲容量的需求，并具有冗余存儲、高傳輸率、可在線擴容等技術(shù)

2、優(yōu)點，可以同時滿足大規(guī)模用戶對存儲和訪問需求。
　　本文針對分布式存儲技術(shù)進行研究，對MooseFS分布式文件系統(tǒng)的工作原理進行了詳細分析，提出了分布式存儲策略的改進方案，以優(yōu)化分布式文件系統(tǒng)的存儲和訪問性能。并針對視頻點播這一應用場景，利用MooseFS分布式存儲平臺，部署了基于B/S架構(gòu)的視頻點播分布式存儲系統(tǒng)，可以分攤服務器端用戶的訪問壓力以及視頻文件的存儲壓力。
　　首先，對GFS、HDFS等典型文件系統(tǒng)進行研究，分

3、析文件系統(tǒng)的架構(gòu)和工作原理。針對本文的研究場景，選擇對MooseFS分布式文件系統(tǒng)進行深入研究。分析了MooseFS系統(tǒng)的工作原理，在此基礎上對其原有的存儲策略進行了詳細分析，解析MooseFS存儲策略的源代碼，針對原有存儲策略存在的問題，創(chuàng)新性地提出了基于服務器性能評價函數(shù)的存儲策略改進方法。系統(tǒng)在執(zhí)行存儲策略進行存儲節(jié)點選擇時引入更多的服務器性能評價指標，更全面地衡量當前服務器的存儲性能，均衡服務器集群之間的存儲負載，以優(yōu)化Moos

4、eFS系統(tǒng)的存儲性能。
　　然后，針對視頻點播這一應用場景，部署了基于B/S架構(gòu)的視頻點播分布式存儲系統(tǒng)。系統(tǒng)的設計實現(xiàn)分為兩部分，一部分是Web端基于B/S架構(gòu)的視頻點播模塊設計，另一部分是服務器端分布式存儲系統(tǒng)的設計。視頻點播模塊采用B/S架構(gòu)，用戶通過瀏覽器而不是復雜的應用軟件實現(xiàn)視頻播放功能，可以節(jié)約系統(tǒng)資源。服務器端分布式存儲系統(tǒng)的部署，主要通過將服務器作為客戶端掛載到MooseFS分布式文件系統(tǒng)，實現(xiàn)視頻文件的分布式存

5、儲。
　　針對云計算快速發(fā)展的形勢下不斷增長的數(shù)據(jù)存儲需求，本文對基于MooseFS的分布式存儲相關(guān)技術(shù)進行研究，通過改進MooseFS的存儲策略，使系統(tǒng)存儲節(jié)點之間的數(shù)據(jù)分布更加均衡，提高了系統(tǒng)的服務器資源利用率。通過搭建視頻點播分布式存儲系統(tǒng)，可以滿足大量視頻文件對存儲容量的需求，有效地分攤系統(tǒng)的存儲壓力和并發(fā)訪問壓力。本文對基于MooseFS分布式存儲策略的研究和系統(tǒng)實現(xiàn)，對于分布式存儲技術(shù)的研究和服務器集群的性能優(yōu)化方面有