基于Swift分布式存儲系統(tǒng)的數(shù)據(jù)同步與存儲研究.pdf

1、隨著計(jì)算機(jī)科學(xué)的發(fā)展與互聯(lián)網(wǎng)的普及，特別是云計(jì)算和移動互聯(lián)網(wǎng)的興起，人們對存儲系統(tǒng)的要求越來越高，海量數(shù)據(jù)存儲已成為科研與技術(shù)人員所面對的一項(xiàng)重大挑戰(zhàn)，同時(shí)也是計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)。OpenStack是由Rackspace和NASA合作研發(fā)的大型開源云計(jì)算平臺，旨在為公有云和私有云的建設(shè)與管理提供平臺與技術(shù)。它擁有眾多的支持者，集合了一大批云計(jì)算領(lǐng)域的大型企業(yè)，以及許多創(chuàng)業(yè)型的中小公司，同時(shí)擁有非常龐大的生態(tài)系統(tǒng)。而Swift(Open

2、StackObjectStorage)作為OpenStack的核心子項(xiàng)目之一，是一個(gè)較為成熟的分布式存儲系統(tǒng)，并且仍然處在快速地發(fā)展中，近年來受到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。
　　論文基于Swift分布式存儲系統(tǒng)進(jìn)行研究，基于現(xiàn)有方法，通過分析其設(shè)計(jì)理念與系統(tǒng)架構(gòu)，綜合考慮現(xiàn)實(shí)的應(yīng)用場景，發(fā)現(xiàn)其中存在的問題，并提出相應(yīng)的解決方案。
　　針對Swift在海量小文件頻繁修改時(shí)存在的文件同步效率問題，論文提出了基于哈希樹的分區(qū)文件

3、同步方案，該方案通過分區(qū)標(biāo)志文件記錄分區(qū)狀態(tài)，采用隱性元數(shù)據(jù)區(qū)分原文件與新文件，并基于原文件的MD5值構(gòu)建哈希樹，從而快速地確定需要同步的文件列表。實(shí)驗(yàn)證明，基于哈希樹的分區(qū)文件同步方案能夠減少非同步期和同步期內(nèi)的系統(tǒng)資源消耗，提升系統(tǒng)整體性能，提高文件同步效率。
　　針對Swift在小文件的快速存儲上存在的效率問題，論文引入固態(tài)硬盤，提出了平衡多級存儲性能與固態(tài)硬盤壽命的數(shù)據(jù)緩沖方案，該方案綜合考慮數(shù)據(jù)大小、負(fù)載波動特性與機(jī)械硬