瓦記錄磁盤(pán)系統(tǒng)數(shù)據(jù)組織關(guān)鍵技術(shù)研究.pdf

1、瓦記錄技術(shù)對(duì)當(dāng)前磁盤(pán)的磁記錄介質(zhì)和制造工藝只帶來(lái)很小的改動(dòng)，是當(dāng)前提高磁盤(pán)存儲(chǔ)密度非常有前景的技術(shù)。瓦記錄技術(shù)通過(guò)部分重疊磁道的方式來(lái)提高存儲(chǔ)密度。使用瓦記錄技術(shù)的磁盤(pán)稱(chēng)為瓦記錄磁盤(pán)，它繼承了瓦記錄技術(shù)的所有特性。因此，瓦記錄磁盤(pán)存在一個(gè)固有的寫(xiě)訪(fǎng)問(wèn)限制：寫(xiě)入數(shù)據(jù)到一個(gè)磁道會(huì)損壞后續(xù)磁道中的數(shù)據(jù)，即如果后續(xù)磁道存在有效數(shù)據(jù)，更新當(dāng)前磁道的數(shù)據(jù)必須重寫(xiě)后續(xù)磁道的數(shù)據(jù)。因此，一個(gè)寫(xiě)操作可能能會(huì)帶來(lái)大量的額外讀寫(xiě)操作，產(chǎn)生寫(xiě)放大問(wèn)題。為了把瓦

2、記錄磁盤(pán)整合到現(xiàn)有的存儲(chǔ)系統(tǒng)中，必須克服瓦記錄磁盤(pán)物理特性帶來(lái)的寫(xiě)訪(fǎng)問(wèn)限制。因此，必須設(shè)計(jì)新的數(shù)據(jù)組織方式來(lái)解決這個(gè)問(wèn)題，同時(shí)提高瓦記錄磁盤(pán)的性能。
　　自治式瓦記錄磁盤(pán)可以直接替換傳統(tǒng)磁盤(pán)，應(yīng)用到現(xiàn)有的存儲(chǔ)系統(tǒng)中。自治式瓦記錄磁盤(pán)通過(guò)瓦記錄轉(zhuǎn)換層來(lái)屏蔽寫(xiě)訪(fǎng)問(wèn)限制，它的作用類(lèi)似于SSD中的閃存轉(zhuǎn)換層。為了提高自治式瓦記錄磁盤(pán)的性能，設(shè)計(jì)了一種基于段的瓦記錄轉(zhuǎn)換層SSTL(Segment-based Shingled Transla

3、tion Layer)。首先，SSTL把瓦記錄區(qū)在徑向方向上劃分為段，段結(jié)構(gòu)的瓦記錄磁盤(pán)把寫(xiě)放大單元從區(qū)大小減少到段大小。其次，在一個(gè)段內(nèi)，SSTL采用段內(nèi)動(dòng)態(tài)塊映射的方式存儲(chǔ)數(shù)據(jù)，有效地減少了數(shù)據(jù)的寫(xiě)放大倍數(shù)。最后，SSTL使用一個(gè)小容量的非易失性設(shè)備來(lái)緩存頻繁訪(fǎng)問(wèn)的數(shù)據(jù)，最近最久未被訪(fǎng)問(wèn)段的緩存替換算法被設(shè)計(jì)來(lái)管理非易失性緩存。實(shí)驗(yàn)結(jié)果表明：在六種不同的工作負(fù)載下，SSTL相比于循環(huán)日志結(jié)構(gòu)瓦記錄磁盤(pán)Sblock提供了2.1-8.4

4、倍的加速比。
　　磁盤(pán)陣列技術(shù)廣泛應(yīng)用于當(dāng)前的存儲(chǔ)系統(tǒng)中。但是，現(xiàn)有的磁盤(pán)陣列技術(shù)是為傳統(tǒng)磁盤(pán)設(shè)計(jì)的，并沒(méi)有考慮瓦記錄磁盤(pán)的讀寫(xiě)特性。針對(duì)這一問(wèn)題，為瓦記錄磁盤(pán)提出了一種動(dòng)態(tài)可變長(zhǎng)條帶的磁盤(pán)陣列技術(shù)DVS-RAID(Dynamic Variable-width Striping RAID)，用于減少校驗(yàn)塊更新開(kāi)銷(xiāo)。在數(shù)據(jù)布局上，DVS-RAID把陣列的整個(gè)地址空間劃分成條帶組。DVS-RAID的核心思想是：在一個(gè)條帶組內(nèi)，DVS-

5、RAID從來(lái)不覆蓋舊數(shù)據(jù)塊，無(wú)論是新寫(xiě)入的數(shù)據(jù)塊還是更新的數(shù)據(jù)塊，DVS-RAID總是使用這些數(shù)據(jù)塊動(dòng)態(tài)生成一個(gè)新的條帶，然后以追加的形式寫(xiě)入到磁盤(pán)。條帶的大小是可以變化的，可以是滿(mǎn)條帶，也可以是部分條帶。同時(shí)，DVS-Cache的寫(xiě)緩存管理算法被設(shè)計(jì)來(lái)管理陣列的緩存。實(shí)驗(yàn)結(jié)果表明：對(duì)于一些以讀為主的，或者以順序訪(fǎng)問(wèn)為主的，亦或是數(shù)據(jù)更新頻率低的工作負(fù)載，DVS-RAID提供的性能比基于傳統(tǒng)磁盤(pán)的RAID5的性能還要好；而對(duì)于數(shù)據(jù)更新頻

6、率很高的工作負(fù)載，DVS-RAID的性能比基于傳統(tǒng)磁盤(pán)的RAID5也只稍差一點(diǎn)。
　　為了把瓦記錄磁盤(pán)應(yīng)用到對(duì)象存儲(chǔ)系統(tǒng)中，本文設(shè)計(jì)了一種基于對(duì)象的瓦記錄轉(zhuǎn)換層OSTL(Object-based Shingled Translation Layer)。OSTL建立在日志式文件系統(tǒng)的基礎(chǔ)上，向上層提供ANSI T10一樣的對(duì)象訪(fǎng)問(wèn)接口。在數(shù)據(jù)組織上，OSTL把頻繁更新的瓦記錄區(qū)信息表和目錄樹(shù)的索引信息存儲(chǔ)在瓦記錄磁盤(pán)的隨機(jī)訪(fǎng)問(wèn)區(qū)，把

7、日志和文件數(shù)據(jù)存儲(chǔ)在瓦記錄區(qū)，從而提高數(shù)據(jù)的訪(fǎng)問(wèn)速度和垃圾回收的效率。OSTL使用對(duì)象地址轉(zhuǎn)換機(jī)制來(lái)維護(hù)磁盤(pán)上對(duì)象的索引信息，該機(jī)制消除了B+樹(shù)的遞歸更新問(wèn)題，內(nèi)存中使用B+樹(shù)來(lái)維護(hù)對(duì)象的索引信息。由于不能從市面上得到Host-aware類(lèi)型的瓦記錄磁盤(pán)，開(kāi)發(fā)了一個(gè)符合ZBC規(guī)格的瓦記錄磁盤(pán)模擬器。通過(guò)向Ceph添加一種新的存儲(chǔ)引擎，實(shí)現(xiàn)了OSTL的原型系統(tǒng)。與Ceph中原有Key/Value的存儲(chǔ)引擎對(duì)比，在Postmark基準(zhǔn)測(cè)試下