一種自適應(yīng)海量存儲(chǔ)系統(tǒng)組織策略及關(guān)鍵技術(shù)研究.pdf

1、數(shù)字化信息爆炸性的增長(zhǎng)引發(fā)了IT 技術(shù)的第三次發(fā)展浪潮——存儲(chǔ)技術(shù)浪潮。 新的技術(shù)浪潮促進(jìn)了網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展，尤其作為網(wǎng)絡(luò)存儲(chǔ)技術(shù)代表的NAS 和SAN 技術(shù)，一經(jīng)提出便獲得了飛速發(fā)展。但實(shí)際應(yīng)用中，這些方法的局限性也日漸呈現(xiàn)，其可擴(kuò)展性、可管理性成為構(gòu)建更大規(guī)模存儲(chǔ)系統(tǒng)的瓶頸。文中介紹了一種融合面向?qū)ο蟠鎯?chǔ)和P2P 節(jié)點(diǎn)自組織技術(shù)的存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)——自適應(yīng)的海量存儲(chǔ)系統(tǒng)(SASS: self-adaptive storage

2、system)，并對(duì)構(gòu)建這種系統(tǒng)的若干關(guān)鍵技術(shù)進(jìn)行了研究。 與傳統(tǒng)的存儲(chǔ)系統(tǒng)相比，這一系統(tǒng)的特點(diǎn)主要體現(xiàn)在高度的可擴(kuò)展性、高度易管理性和逐步提高的系統(tǒng)性能。與傳統(tǒng)的基于塊設(shè)備的系統(tǒng)不同，SASS 結(jié)合面向?qū)ο蟠鎯?chǔ)技術(shù)，以文件為粒度進(jìn)行存儲(chǔ)空間分配，消除了系統(tǒng)對(duì)異構(gòu)設(shè)備的敏感性，降低了系統(tǒng)的擴(kuò)展成本。同時(shí)具體文件的元數(shù)據(jù)管理負(fù)擔(dān)分布于各個(gè)節(jié)點(diǎn)，整個(gè)系統(tǒng)的元數(shù)據(jù)管理更加簡(jiǎn)潔。SASS 通過(guò)各節(jié)點(diǎn)保存一定冗余信息，在少量存儲(chǔ)設(shè)備，特別

3、是個(gè)別關(guān)鍵節(jié)點(diǎn)失效情況下，依然能夠進(jìn)行訪問(wèn)，并且能夠依靠自身信息完成關(guān)鍵節(jié)點(diǎn)信息重構(gòu)。同時(shí)，根據(jù)內(nèi)外條件變化，各節(jié)點(diǎn)以及節(jié)點(diǎn)間進(jìn)行不間斷適應(yīng)性調(diào)整。這意味節(jié)點(diǎn)具有高度自治特性，對(duì)中心管理依賴很低，整個(gè)系統(tǒng)具有高度自動(dòng)適應(yīng)特征和易管理特性。SASS 使用基本能夠滿足負(fù)載均衡的存儲(chǔ)空間分配策略，同時(shí)依據(jù)設(shè)備特性、文件訪問(wèn)特性等信息對(duì)文件分布調(diào)整，充分利用所有設(shè)備的能力；通過(guò)數(shù)據(jù)相關(guān)性挖掘，獲取用戶訪問(wèn)習(xí)慣等信息，并根據(jù)取得信息對(duì)系統(tǒng)內(nèi)部，如

4、數(shù)據(jù)存放、cache 等策略進(jìn)行調(diào)整，適應(yīng)外部訪問(wèn)特性的變化，始終對(duì)外提供優(yōu)秀的整體性能。 研究?jī)?nèi)容具體包括以下幾個(gè)方面。 在闡述了當(dāng)前網(wǎng)絡(luò)技術(shù)應(yīng)用狀況和網(wǎng)絡(luò)文件系統(tǒng)發(fā)展現(xiàn)狀的基礎(chǔ)上，討論了網(wǎng)絡(luò)存儲(chǔ)技術(shù)發(fā)展方向。針對(duì)網(wǎng)絡(luò)存儲(chǔ)的可管理性、可擴(kuò)展性以及智能化技術(shù)作了重點(diǎn)論述。最后說(shuō)明研究意義及主要研究?jī)?nèi)容。 針對(duì)存儲(chǔ)技術(shù)發(fā)展中存在的管理、擴(kuò)展和自適應(yīng)問(wèn)題，本文引入了自適應(yīng)海量存儲(chǔ)系統(tǒng)的概念。在詳細(xì)說(shuō)明了概念提出原因和

5、特征的基礎(chǔ)上，描述了SASS 的基本體系結(jié)構(gòu)的構(gòu)成。進(jìn)而說(shuō)明了存儲(chǔ)空間組織原則，包括存儲(chǔ)空間分配、命名空間組織等，并分析了文件和目錄分離狀態(tài)下元數(shù)據(jù)操作原則。同時(shí)介紹了研究SASS時(shí)使用的訪真軟件EssSim。最后分析了本文主要研究的問(wèn)題。 海量存儲(chǔ)系統(tǒng)中設(shè)備數(shù)量龐大，設(shè)備間存在明顯性能差異。如何有效組織和管理所有存儲(chǔ)設(shè)備，以及充分合理利用所有設(shè)備能力，是SASS 需要解決的根本性問(wèn)題之一。SASS 采用的方式為：總體上的半分布

6、式拓?fù)浣Y(jié)構(gòu)；各自治域內(nèi)，參考P2P系統(tǒng)具有高度自適性的節(jié)點(diǎn)管理策略，采用依據(jù)設(shè)備性能特點(diǎn)，自我組織、自我調(diào)整的分層結(jié)構(gòu)，能夠自動(dòng)適應(yīng)不斷變化的系統(tǒng)狀態(tài)。 如何選擇合理有效、可靠的數(shù)據(jù)組織策略，是SASS 需要解決的另外一個(gè)根本性問(wèn)題。在SASS 存儲(chǔ)空間分配策略基礎(chǔ)上，討論了存儲(chǔ)節(jié)點(diǎn)內(nèi)部組織和優(yōu)化，以及適應(yīng)負(fù)載變化，可調(diào)整文件級(jí)RAID 等問(wèn)題。通過(guò)這些問(wèn)題的討論為方便和深入研究和設(shè)計(jì)海量的自適應(yīng)存儲(chǔ)系統(tǒng)提供了有力基礎(chǔ)。