一種自適應海量存儲系統(tǒng)組織策略及關鍵技術研究.pdf

1、數(shù)字化信息爆炸性的增長引發(fā)了IT 技術的第三次發(fā)展浪潮——存儲技術浪潮。 新的技術浪潮促進了網(wǎng)絡存儲技術的發(fā)展，尤其作為網(wǎng)絡存儲技術代表的NAS 和SAN 技術，一經(jīng)提出便獲得了飛速發(fā)展。但實際應用中，這些方法的局限性也日漸呈現(xiàn)，其可擴展性、可管理性成為構建更大規(guī)模存儲系統(tǒng)的瓶頸。文中介紹了一種融合面向對象存儲和P2P 節(jié)點自組織技術的存儲網(wǎng)絡系統(tǒng)——自適應的海量存儲系統(tǒng)(SASS: self-adaptive storage

2、system)，并對構建這種系統(tǒng)的若干關鍵技術進行了研究。 與傳統(tǒng)的存儲系統(tǒng)相比，這一系統(tǒng)的特點主要體現(xiàn)在高度的可擴展性、高度易管理性和逐步提高的系統(tǒng)性能。與傳統(tǒng)的基于塊設備的系統(tǒng)不同，SASS 結合面向對象存儲技術，以文件為粒度進行存儲空間分配，消除了系統(tǒng)對異構設備的敏感性，降低了系統(tǒng)的擴展成本。同時具體文件的元數(shù)據(jù)管理負擔分布于各個節(jié)點，整個系統(tǒng)的元數(shù)據(jù)管理更加簡潔。SASS 通過各節(jié)點保存一定冗余信息，在少量存儲設備，特別

3、是個別關鍵節(jié)點失效情況下，依然能夠進行訪問，并且能夠依靠自身信息完成關鍵節(jié)點信息重構。同時，根據(jù)內(nèi)外條件變化，各節(jié)點以及節(jié)點間進行不間斷適應性調(diào)整。這意味節(jié)點具有高度自治特性，對中心管理依賴很低，整個系統(tǒng)具有高度自動適應特征和易管理特性。SASS 使用基本能夠滿足負載均衡的存儲空間分配策略，同時依據(jù)設備特性、文件訪問特性等信息對文件分布調(diào)整，充分利用所有設備的能力；通過數(shù)據(jù)相關性挖掘，獲取用戶訪問習慣等信息，并根據(jù)取得信息對系統(tǒng)內(nèi)部，如

4、數(shù)據(jù)存放、cache 等策略進行調(diào)整，適應外部訪問特性的變化，始終對外提供優(yōu)秀的整體性能。 研究內(nèi)容具體包括以下幾個方面。 在闡述了當前網(wǎng)絡技術應用狀況和網(wǎng)絡文件系統(tǒng)發(fā)展現(xiàn)狀的基礎上，討論了網(wǎng)絡存儲技術發(fā)展方向。針對網(wǎng)絡存儲的可管理性、可擴展性以及智能化技術作了重點論述。最后說明研究意義及主要研究內(nèi)容。 針對存儲技術發(fā)展中存在的管理、擴展和自適應問題，本文引入了自適應海量存儲系統(tǒng)的概念。在詳細說明了概念提出原因和

5、特征的基礎上，描述了SASS 的基本體系結構的構成。進而說明了存儲空間組織原則，包括存儲空間分配、命名空間組織等，并分析了文件和目錄分離狀態(tài)下元數(shù)據(jù)操作原則。同時介紹了研究SASS時使用的訪真軟件EssSim。最后分析了本文主要研究的問題。 海量存儲系統(tǒng)中設備數(shù)量龐大，設備間存在明顯性能差異。如何有效組織和管理所有存儲設備，以及充分合理利用所有設備能力，是SASS 需要解決的根本性問題之一。SASS 采用的方式為：總體上的半分布

6、式拓撲結構；各自治域內(nèi)，參考P2P系統(tǒng)具有高度自適性的節(jié)點管理策略，采用依據(jù)設備性能特點，自我組織、自我調(diào)整的分層結構，能夠自動適應不斷變化的系統(tǒng)狀態(tài)。 如何選擇合理有效、可靠的數(shù)據(jù)組織策略，是SASS 需要解決的另外一個根本性問題。在SASS 存儲空間分配策略基礎上，討論了存儲節(jié)點內(nèi)部組織和優(yōu)化，以及適應負載變化，可調(diào)整文件級RAID 等問題。通過這些問題的討論為方便和深入研究和設計海量的自適應存儲系統(tǒng)提供了有力基礎。