對象存儲控制器關(guān)鍵技術(shù)研究.pdf

1、對象存儲系統(tǒng)結(jié)合了附網(wǎng)存儲和存儲區(qū)域網(wǎng)的優(yōu)點，已成為網(wǎng)絡(luò)存儲領(lǐng)域研究的熱點。對象存儲系統(tǒng)由客戶端、元數(shù)據(jù)服務(wù)器、對象存儲設(shè)備和互連網(wǎng)絡(luò)組成，其中對象存儲設(shè)備是對象存儲系統(tǒng)的核心。在大規(guī)模的PB級對象存儲系統(tǒng)中，一般存在成千上萬自管理的對象存儲設(shè)備，單個對象存儲設(shè)備的性能將會對整個對象存儲系統(tǒng)的性能產(chǎn)生極大的影響。因此，設(shè)計一種高性能的對象存儲設(shè)備在對象存儲研究領(lǐng)域具有重大意義。
　　 對象存儲控制器是對象存儲設(shè)備的控制和管理單元

2、，它由硬件平臺和存儲管理軟件組成。對象存儲控制器的核心技術(shù)主要包括控制器硬件體系結(jié)構(gòu)、對象數(shù)據(jù)組織、對象數(shù)據(jù)預(yù)取和對象數(shù)據(jù)智能處理等四方面的關(guān)鍵問題?，F(xiàn)有對象存儲控制器由于對I/O應(yīng)用和對象訪問的特征考慮不足使得對象控制器在性能方面仍存在缺陷。因此，針對對象控制器四個方面的關(guān)鍵問題設(shè)計和實現(xiàn)新的體系結(jié)構(gòu)和方法對于構(gòu)建高性能的對象存儲控制器尤為重要。
　　 對象存儲控制器的硬件平臺是軟件運行的基礎(chǔ)，它直接決定著控制器的性能。傳統(tǒng)對

3、象存儲控制器大多數(shù)是基于通用的PC平臺或者服務(wù)器平臺，由于它們一般面向計算并不是面向I/O，用它們設(shè)計對象存儲控制器存在不足，特別是I/O總線可能成為系統(tǒng)性能提高的瓶頸。針對該問題，提出了一種基于交換架構(gòu)的對象存儲控制器體系結(jié)構(gòu)。這種體系結(jié)構(gòu)能夠大大提高系統(tǒng)總體通信帶寬并且性能具有很好的擴(kuò)展性。在此基礎(chǔ)上，實現(xiàn)了一種基于Intel IOP315的新型專用對象存儲控制器。新型對象存儲控制器的主要組成是Intel 80314芯片和2個Int

4、el Xscale 80200的高性能低功耗CPU。Intel 80314最重要特征是被設(shè)計成為一個任意端口間均能互連的橋，它可以支持任意端口到端口之間的并行數(shù)據(jù)傳輸。性能分析表明，由于更多的磁盤可以并行地傳輸對象數(shù)據(jù)，新型對象存儲控制器可以有效的解決單條I/O總線下的性能瓶頸問題。
　　 在硬件平臺基礎(chǔ)上對象存儲控制器利用對象文件系統(tǒng)進(jìn)行對象組織和管理。許多對象文件系統(tǒng)利用傳統(tǒng)本地文件系統(tǒng)管理對象，而結(jié)合了對象訪問特點的專用對

5、象文件系統(tǒng)具有更好的性能。EBOFS是一種專用對象文件系統(tǒng)，它的高性能很大程度上是通過其對象分配算法在為單個對象分配磁盤空間時盡量使數(shù)據(jù)在磁盤上連續(xù)實現(xiàn)的。然而，EBOFS采用的是一種單粒度對象空間預(yù)分配方法，這使得它在交錯為多個對象并行分配空間時并不能很好地保持對象內(nèi)數(shù)據(jù)的連續(xù)性。為了克服EBOFS的不足，提出了一種多粒度對象空間預(yù)分配方法。該方法中對象預(yù)分配粒度的選擇有兩種方式：根據(jù)用戶告知值調(diào)整和根據(jù)分配時當(dāng)前對象大小調(diào)整。對于事

6、先知道大小的用戶對象，該方法為對象建立一個預(yù)期對象大小屬性，并且用戶在創(chuàng)建對象時設(shè)置該屬性值。在對象空間分配時該方法讀取預(yù)期對象大小屬性并盡量按該值預(yù)分配整個對象大小空間。對于事先不知道大小的用戶對象，該方法將對象大小分為多個區(qū)間，對于不同對象區(qū)間的對象選擇不同的預(yù)分配值，小對象按較小粒度預(yù)分配空間，較大的對象按較大粒度預(yù)分配空間。仿真實驗表明，該對象預(yù)分配方法可以減少磁盤已使用空間的extent數(shù)和單個對象平均包含的extent數(shù)，可

7、以提高磁盤已分配空間的連續(xù)度，從而提高對象訪問的性能。
　　 對象預(yù)取是一種有效減少對象存儲控制器訪問延遲的重要方法。隨著I/O速度與CPU速度差距的擴(kuò)大，在對象存儲控制器上進(jìn)行對象預(yù)取變得越來越重要。然而，現(xiàn)有的預(yù)取方法集中于對象內(nèi)的預(yù)取，這限制了對象存儲控制器在多個對象間進(jìn)行預(yù)取的能力。針對該問題，提出了一種利用對象間關(guān)系進(jìn)行預(yù)取的方法。該方法使用一種稱為序列模式挖掘的數(shù)據(jù)庫技術(shù)獲得對象訪問序列中的序列規(guī)則并構(gòu)造序列規(guī)則表。

8、當(dāng)請求的對象不在cache中時，該方法結(jié)合當(dāng)前對象訪問上下文在序列規(guī)則表中查找與當(dāng)前對象相關(guān)的對象，并將不在cache中的相關(guān)對象預(yù)取到cache中來。實驗結(jié)果表明，與基于分組的預(yù)取方法相比，該對象預(yù)取方法可以提高對象預(yù)測精確度和對象cache命中率。
　　 主動存儲技術(shù)具有很多優(yōu)勢，可以減少網(wǎng)絡(luò)通信量和降低應(yīng)用程序的執(zhí)行時間。然而，目前主動存儲的優(yōu)勢在對象存儲系統(tǒng)中不能得到充分體現(xiàn)。為此，提出了一種靈活的基于對象的主動存儲設(shè)計

9、。在該設(shè)計中對象存儲控制器可以利用自己的處理能力參加到用戶自定義任務(wù)或系統(tǒng)任務(wù)對數(shù)據(jù)的處理中來。用戶自定義任務(wù)由客戶端下載到對象存儲控制器中，系統(tǒng)任務(wù)由對象存儲控制器本身固有。此外，任務(wù)對用戶數(shù)據(jù)處理時具有靈活的處理方式。一方面任務(wù)可以處理單個對象或多個對象，可以處理對象的一部分?jǐn)?shù)據(jù)或全部數(shù)據(jù)；另一方面任務(wù)支持多種數(shù)據(jù)輸入輸出模式，即被任務(wù)處理的數(shù)據(jù)可以來自客戶端或磁盤并且處理后的數(shù)據(jù)可以發(fā)送到客戶端或磁盤。與此同時，對現(xiàn)有對象存儲設(shè)備