內容尋址儲存系統(tǒng)的實現(xiàn)基于內容尋址的儲存系統(tǒng)研究.pdf

1、有研究[1]表明，全球數(shù)據(jù)存儲量每18個月將在原有的基礎上增加1倍。同時，IDC[2]指出75％的增長來自固定內容數(shù)據(jù)。所謂固定內容數(shù)據(jù)是創(chuàng)建之后不再改變的數(shù)據(jù)，如辦公office文檔、E-mail、電視新聞、醫(yī)療圖片等。固定內容是非結構化的數(shù)據(jù)，占據(jù)著企業(yè)總數(shù)據(jù)量的85％[3]。企業(yè)的固定內容數(shù)量隨時間增長到數(shù)以萬計，在傳統(tǒng)的文件系統(tǒng)存儲中要找到需要的內容非常困難，而且其中部分內容甚至無法理解[4]。因此，企業(yè)面臨著存儲和管理這些數(shù)據(jù)

2、的巨大挑戰(zhàn)。 近年來，數(shù)據(jù)存儲技術尤其是網(wǎng)絡存儲技術得到了迅速的發(fā)展。以數(shù)據(jù)塊為接口的存儲技術，如DAS、SAN，在數(shù)據(jù)存儲時能夠直接訪問存儲設備，存儲效率極高。而以文件為接口的存儲技術，如’NAS，對文件共享和利用提供了有效機制。但是，無論是直連存儲(DAS)、附網(wǎng)存儲(NAS)和存儲區(qū)域網(wǎng)絡(SAN)，還是新的基于IP的SAN、SAN與NAS結合的統(tǒng)一存儲[5]，都不適合于非結構化數(shù)據(jù)的存儲。對象存儲[6]提出了一種新的存儲

3、接口——對象接口。對象存儲體系結構同時具有塊接口和文件接口存儲系統(tǒng)兩者的優(yōu)點，對數(shù)據(jù)的存儲，它能讓數(shù)據(jù)以數(shù)據(jù)塊的方式直接訪問存儲硬件介質，具有很高的存儲效率，同時對于數(shù)據(jù)的管理，通過封裝在對象里的其他屬性讓數(shù)據(jù)像文件一樣在不同的平臺之間共享和管理。在對象存儲中，內容尋址存儲(Content Addressed Storage)是一種已成功應用于固定內容存儲的范例。CAS提供了一種全新的高效的信息管理手段，可以極大地降低應用軟件操縱和管理

4、存儲介質上所存儲信息的物理地址的難度，這對于固定內容的存儲具有不可替代的優(yōu)勢。目前CAS已經(jīng)成為內容管理和存儲研究中的一個焦點[7,8,9,10]。 本文對CAS技術進行了詳細的分析，分析了內容尋址存儲的思想，實現(xiàn)了一種針對固定內容存儲的原型系統(tǒng)(FCSS)。FCSS提供了基于對象內容的存儲高速索引、磁盤空間分配方案和快速存取接口：基于紅黑樹實現(xiàn)內容(Hash)與數(shù)據(jù)(文件)物理位置映射功能，磁盤分配模塊實現(xiàn)對象存儲空間，API