基于對(duì)象的分布式文件系統(tǒng)中事務(wù)性存儲(chǔ)設(shè)備的研究與實(shí)現(xiàn).pdf

1、云技術(shù)的快速發(fā)展使得人們能夠越來越方便的獲得計(jì)算和存儲(chǔ)資源。而智能手持設(shè)備的普及，使得人們能越來越方便的獲取和產(chǎn)生數(shù)據(jù)，由于智能手持設(shè)備本身的局限性，使得人們?cè)絹碓蕉嗟囊蕾囉谠朴?jì)算系統(tǒng)。因此如何保證云計(jì)算系統(tǒng)中數(shù)據(jù)的可靠性是一個(gè)非常重要和急需解決的問題。
　　 事務(wù)機(jī)制是提高數(shù)據(jù)可靠性的重要方式。作者在清華大學(xué)高性能計(jì)算研究所參與屬于863重點(diǎn)項(xiàng)目“海量存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)”的對(duì)象分布式文件系統(tǒng)—Mangix研發(fā)，具體負(fù)責(zé)對(duì)象存儲(chǔ)設(shè)

2、備上事務(wù)機(jī)制的研究與實(shí)現(xiàn)，通過在對(duì)象存儲(chǔ)設(shè)備中增加事務(wù)機(jī)制，提高數(shù)據(jù)的可靠性，同時(shí)通過構(gòu)建數(shù)據(jù)與元數(shù)據(jù)緩存，提高存儲(chǔ)設(shè)備的I/O性能。主要內(nèi)容包括:
　　 1)在分析分布式文件系統(tǒng)中數(shù)據(jù)和元數(shù)據(jù)的訪問與管理特點(diǎn)以及SSD設(shè)備特性的基礎(chǔ)上，針對(duì)對(duì)象存儲(chǔ)系統(tǒng)和SSD設(shè)備的特性，設(shè)計(jì)了事務(wù)性對(duì)象存儲(chǔ)設(shè)備的結(jié)構(gòu)。
　　 2)在分析基于對(duì)象分布式文件系統(tǒng)中固態(tài)存儲(chǔ)設(shè)備可靠性問題的基礎(chǔ)上，針對(duì)SSD的組織特性，設(shè)計(jì)了基于對(duì)象的數(shù)據(jù)緩

3、存策略;在分析現(xiàn)有OSD命令傳遞方法的基礎(chǔ)上，設(shè)計(jì)了支持事務(wù)的OSD命令集;利用SSD異地更新的特性，引入兩階段提交協(xié)議，提出并設(shè)計(jì)了基于RAID5的數(shù)據(jù)寫事務(wù)機(jī)制。實(shí)現(xiàn)了支持RAID5數(shù)據(jù)寫事務(wù)機(jī)制的對(duì)象存儲(chǔ)設(shè)備原型系統(tǒng)，使用存儲(chǔ)系統(tǒng)性能通用測(cè)試工具postmark產(chǎn)生郵件和電子商務(wù)類型的大量小文件負(fù)載，測(cè)試了原型系統(tǒng)的IOPS和吞吐率，驗(yàn)證了基于RAID5數(shù)據(jù)寫事務(wù)機(jī)制在提高對(duì)象存儲(chǔ)設(shè)備可靠性的同時(shí)，還能提高90％左右的性能。

4、>　　 3)針對(duì)分布式文件系統(tǒng)中元數(shù)據(jù)操作需要多個(gè)不同存儲(chǔ)節(jié)點(diǎn)共同完成的特性，提出并設(shè)計(jì)了基于組合操作的元數(shù)據(jù)事務(wù)機(jī)制和基于對(duì)象的元數(shù)據(jù)緩存策略;設(shè)計(jì)了事務(wù)性元數(shù)據(jù)操作處理策略、事務(wù)日志和提交消息處理策略、消息控制策略。在支持RAID5數(shù)據(jù)寫事務(wù)機(jī)制對(duì)象存儲(chǔ)設(shè)備原型系統(tǒng)的基礎(chǔ)上，增加了基于組合操作的元數(shù)據(jù)事務(wù)機(jī)制，使用存儲(chǔ)系統(tǒng)通用測(cè)試工具postmark產(chǎn)生郵件和電子商務(wù)類型的大量小文件負(fù)載，測(cè)試了原型系統(tǒng)的IOPS和吞吐率，結(jié)果顯示