進(jìn)化存儲(chǔ)系統(tǒng)中的邏輯和物理進(jìn)化研究.pdf

1、現(xiàn)有存儲(chǔ)系統(tǒng)物理和邏輯的組織是一種靜態(tài)的結(jié)構(gòu)，而靜態(tài)組織結(jié)構(gòu)模型不能很好地刻畫處于不斷變化之中的系統(tǒng)，此外，現(xiàn)有存儲(chǔ)系統(tǒng)缺少適應(yīng)不斷變化的存儲(chǔ)要求的機(jī)制。這種結(jié)構(gòu)往往只適合于特定的應(yīng)用需要。針對(duì)現(xiàn)有存儲(chǔ)系統(tǒng)存在的問題，進(jìn)化存儲(chǔ)系統(tǒng)（Evolving Storage System，ESS）主要從如何構(gòu)建一個(gè)動(dòng)態(tài)的、適應(yīng)外部應(yīng)用不斷變化的存儲(chǔ)系統(tǒng)的組織結(jié)構(gòu)，采用何種數(shù)據(jù)分布優(yōu)化策略，以及系統(tǒng)對(duì)于新部件替換和添加的策略進(jìn)行探討和研究，致力于給

2、用戶提供一個(gè)高容量、高性能、高可用、可擴(kuò)展的，能夠適應(yīng)多種負(fù)載特征的存儲(chǔ)系統(tǒng)。 根據(jù)“進(jìn)化存儲(chǔ)系統(tǒng)”的概念和思想，并基于IEEE開放存儲(chǔ)系統(tǒng)互連參考模型（IEEE Open Storage System Interconnection Reference Model, OSSI Model）建立的ESS系統(tǒng)體系結(jié)構(gòu)視圖，詳細(xì)描述了ESS存儲(chǔ)系統(tǒng)各部件的功能，便于該系統(tǒng)的軟件實(shí)現(xiàn)。ESS系統(tǒng)中的進(jìn)化策略可分為物理進(jìn)化和邏輯進(jìn)化。為

3、設(shè)計(jì)和實(shí)現(xiàn)ESS系統(tǒng)，需要解決的幾個(gè)問題是：（1）ESS系統(tǒng)采用何種體系結(jié)構(gòu)，以有效地管理中/大規(guī)模數(shù)目的磁盤、服務(wù)于大范圍特征的負(fù)載（2）ESS系統(tǒng)如何調(diào)整數(shù)據(jù)的分布，以適應(yīng)系統(tǒng)工作負(fù)載的動(dòng)態(tài)變化（3）如何用異構(gòu)磁盤替換系統(tǒng)中的失效磁盤，以及如何向系統(tǒng)添加新的磁盤，實(shí)現(xiàn)ESS系統(tǒng)的物理進(jìn)化。 磁盤陣列（RAID）利用多個(gè)磁盤的并行工作來提高存儲(chǔ)子系統(tǒng)的I/O性能，并采用數(shù)據(jù)冗余策略來保證可用性。為了適應(yīng)對(duì)存儲(chǔ)子系統(tǒng)容量和性能有

4、很高要求的應(yīng)用的飛速發(fā)展，ESS系統(tǒng)依舊必須采用RAID技術(shù)，同時(shí)，ESS系統(tǒng)借鑒集群文件系統(tǒng)中分布式虛擬磁盤的概念，提出了一種可動(dòng)態(tài)調(diào)節(jié)的、由自適應(yīng)的陣列單元構(gòu)成的系統(tǒng)結(jié)構(gòu)——ESS系統(tǒng)把所有系統(tǒng)磁盤構(gòu)建成若干個(gè)結(jié)構(gòu)與傳統(tǒng)陣列完全相同的“子”RAID（SubRAID），這些SubRAID共同組成一個(gè)全局的存儲(chǔ)空間；但各SubRAID可以根據(jù)其組成磁盤的數(shù)目、容量、性能、以及所服務(wù)負(fù)載的特點(diǎn)不同而采用不同的數(shù)據(jù)分布方式和性能優(yōu)化策略。因

5、此，通過結(jié)構(gòu)不同的SubRAID服務(wù)不同的應(yīng)用請(qǐng)求，整個(gè)ESS系統(tǒng)能夠?qū)Ω鱾€(gè)用戶表現(xiàn)出更佳的性能。 為了給應(yīng)用提供更好的服務(wù)質(zhì)量，存儲(chǔ)系統(tǒng)數(shù)據(jù)的組織和分布需要隨著外在的數(shù)據(jù)流輸入輸出的變化而變化。ESS系統(tǒng)采用“兩級(jí)”的數(shù)據(jù)遷移策略，即先通過SubRAID內(nèi)部的數(shù)據(jù)遷移來對(duì)負(fù)載波動(dòng)作出響應(yīng)，更大幅度的負(fù)載變化則通過數(shù)據(jù)在SubRAID之間的動(dòng)態(tài)遷移來適應(yīng)。SubRAID內(nèi)部的數(shù)據(jù)遷移策略基于PMSH算法，該算法利用多分區(qū)磁盤具有

6、遠(yuǎn)軸心區(qū)數(shù)據(jù)傳輸率較高的特點(diǎn)，根據(jù)分條單元的“熱度”，動(dòng)態(tài)地將訪問率高的分條單元遷移到其所在磁盤的數(shù)據(jù)傳輸率較高的分區(qū)； SubRAID間的數(shù)據(jù)動(dòng)態(tài)遷移策略根據(jù)用戶負(fù)載請(qǐng)求大小、讀寫請(qǐng)求比率的不同將數(shù)據(jù)遷移到組成磁盤數(shù)目、容量、性能、以及數(shù)據(jù)分布方式和性能優(yōu)化策略不同的SubRAID，因此通過數(shù)據(jù)在SubRAID內(nèi)部和SubRAID之間的動(dòng)態(tài)遷移，ESS系統(tǒng)數(shù)據(jù)的組織以及整個(gè)系統(tǒng)中各種不同屬性數(shù)據(jù)的分布可以隨著外在的數(shù)據(jù)流輸入輸出的變化

7、而相應(yīng)改變，實(shí)現(xiàn)ESS系統(tǒng)數(shù)據(jù)邏輯進(jìn)化。 進(jìn)化存儲(chǔ)系統(tǒng)要克服的一個(gè)主要矛盾是元部件飛速發(fā)展和存儲(chǔ)系統(tǒng)整體結(jié)構(gòu)相對(duì)固定的矛盾，目前結(jié)構(gòu)的存儲(chǔ)系統(tǒng)不會(huì)由于更新了部件而得到整體性能的提高。ESS存儲(chǔ)系統(tǒng)主要考慮的元部件是系統(tǒng)磁盤。磁盤技術(shù)的迅速發(fā)展以及應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的容量和性能的要求日益增加使存儲(chǔ)系統(tǒng)中的磁盤呈現(xiàn)三種類型的動(dòng)態(tài)變化：同構(gòu)磁盤的添加、異構(gòu)磁盤的添加以及異構(gòu)磁盤的替換。ESS系統(tǒng)的可擴(kuò)展性和磁盤的異構(gòu)性使其能很好地適應(yīng)磁盤