一種自適應(yīng)海量存儲系統(tǒng)組織策略及關(guān)鍵技術(shù)研究.pdf

1、數(shù)字化信息爆炸性的增長引發(fā)了IT 技術(shù)的第三次發(fā)展浪潮——存儲技術(shù)浪潮。 新的技術(shù)浪潮促進(jìn)了網(wǎng)絡(luò)存儲技術(shù)的發(fā)展，尤其作為網(wǎng)絡(luò)存儲技術(shù)代表的NAS 和SAN 技術(shù)，一經(jīng)提出便獲得了飛速發(fā)展。但實際應(yīng)用中，這些方法的局限性也日漸呈現(xiàn)，其可擴(kuò)展性、可管理性成為構(gòu)建更大規(guī)模存儲系統(tǒng)的瓶頸。文中介紹了一種融合面向?qū)ο蟠鎯蚉2P 節(jié)點自組織技術(shù)的存儲網(wǎng)絡(luò)系統(tǒng)——自適應(yīng)的海量存儲系統(tǒng)(SASS: self-adaptive storage

2、system)，并對構(gòu)建這種系統(tǒng)的若干關(guān)鍵技術(shù)進(jìn)行了研究。 與傳統(tǒng)的存儲系統(tǒng)相比，這一系統(tǒng)的特點主要體現(xiàn)在高度的可擴(kuò)展性、高度易管理性和逐步提高的系統(tǒng)性能。與傳統(tǒng)的基于塊設(shè)備的系統(tǒng)不同，SASS 結(jié)合面向?qū)ο蟠鎯夹g(shù)，以文件為粒度進(jìn)行存儲空間分配，消除了系統(tǒng)對異構(gòu)設(shè)備的敏感性，降低了系統(tǒng)的擴(kuò)展成本。同時具體文件的元數(shù)據(jù)管理負(fù)擔(dān)分布于各個節(jié)點，整個系統(tǒng)的元數(shù)據(jù)管理更加簡潔。SASS 通過各節(jié)點保存一定冗余信息，在少量存儲設(shè)備，特別

3、是個別關(guān)鍵節(jié)點失效情況下，依然能夠進(jìn)行訪問，并且能夠依靠自身信息完成關(guān)鍵節(jié)點信息重構(gòu)。同時，根據(jù)內(nèi)外條件變化，各節(jié)點以及節(jié)點間進(jìn)行不間斷適應(yīng)性調(diào)整。這意味節(jié)點具有高度自治特性，對中心管理依賴很低，整個系統(tǒng)具有高度自動適應(yīng)特征和易管理特性。SASS 使用基本能夠滿足負(fù)載均衡的存儲空間分配策略，同時依據(jù)設(shè)備特性、文件訪問特性等信息對文件分布調(diào)整，充分利用所有設(shè)備的能力；通過數(shù)據(jù)相關(guān)性挖掘，獲取用戶訪問習(xí)慣等信息，并根據(jù)取得信息對系統(tǒng)內(nèi)部，如

4、數(shù)據(jù)存放、cache 等策略進(jìn)行調(diào)整，適應(yīng)外部訪問特性的變化，始終對外提供優(yōu)秀的整體性能。 研究內(nèi)容具體包括以下幾個方面。 在闡述了當(dāng)前網(wǎng)絡(luò)技術(shù)應(yīng)用狀況和網(wǎng)絡(luò)文件系統(tǒng)發(fā)展現(xiàn)狀的基礎(chǔ)上，討論了網(wǎng)絡(luò)存儲技術(shù)發(fā)展方向。針對網(wǎng)絡(luò)存儲的可管理性、可擴(kuò)展性以及智能化技術(shù)作了重點論述。最后說明研究意義及主要研究內(nèi)容。 針對存儲技術(shù)發(fā)展中存在的管理、擴(kuò)展和自適應(yīng)問題，本文引入了自適應(yīng)海量存儲系統(tǒng)的概念。在詳細(xì)說明了概念提出原因和

5、特征的基礎(chǔ)上，描述了SASS 的基本體系結(jié)構(gòu)的構(gòu)成。進(jìn)而說明了存儲空間組織原則，包括存儲空間分配、命名空間組織等，并分析了文件和目錄分離狀態(tài)下元數(shù)據(jù)操作原則。同時介紹了研究SASS時使用的訪真軟件EssSim。最后分析了本文主要研究的問題。 海量存儲系統(tǒng)中設(shè)備數(shù)量龐大，設(shè)備間存在明顯性能差異。如何有效組織和管理所有存儲設(shè)備，以及充分合理利用所有設(shè)備能力，是SASS 需要解決的根本性問題之一。SASS 采用的方式為：總體上的半分布

6、式拓?fù)浣Y(jié)構(gòu)；各自治域內(nèi)，參考P2P系統(tǒng)具有高度自適性的節(jié)點管理策略，采用依據(jù)設(shè)備性能特點，自我組織、自我調(diào)整的分層結(jié)構(gòu)，能夠自動適應(yīng)不斷變化的系統(tǒng)狀態(tài)。 如何選擇合理有效、可靠的數(shù)據(jù)組織策略，是SASS 需要解決的另外一個根本性問題。在SASS 存儲空間分配策略基礎(chǔ)上，討論了存儲節(jié)點內(nèi)部組織和優(yōu)化，以及適應(yīng)負(fù)載變化，可調(diào)整文件級RAID 等問題。通過這些問題的討論為方便和深入研究和設(shè)計海量的自適應(yīng)存儲系統(tǒng)提供了有力基礎(chǔ)。