進(jìn)化存儲系統(tǒng)數(shù)據(jù)組織模式研究.pdf

1、用于網(wǎng)絡(luò)環(huán)境下的企業(yè)級海量存儲系統(tǒng)面臨如下挑戰(zhàn)：數(shù)字化信息爆炸性增長、數(shù)據(jù)的重要性和安全性日益增加、大數(shù)量的用戶群和多媒體的應(yīng)用對存取性能產(chǎn)生巨大壓力、24×7的服務(wù)需求要求極高的可用性和可維護(hù)性?，F(xiàn)有的技術(shù)如高性能存儲磁盤陣列、附網(wǎng)存儲、存儲區(qū)域網(wǎng)等有著各自的優(yōu)勢同時有著自身的不足。問題存在的原因是現(xiàn)有存儲系統(tǒng)物理和邏輯的組織是一種靜態(tài)的結(jié)構(gòu)，而靜態(tài)組織結(jié)構(gòu)模型不能很好地刻畫處于不斷變化之中的系統(tǒng)。這種結(jié)構(gòu)往往只適合于特定的應(yīng)用需要，

2、而且缺少適應(yīng)不斷變化的存儲要求的機制。 為此，我們基于進(jìn)化存儲的概念及關(guān)鍵思想，將進(jìn)化的策略化分為物理進(jìn)化和邏輯進(jìn)化，詳細(xì)討論了物理進(jìn)化和邏輯進(jìn)化實現(xiàn)的主要思路，對進(jìn)化存儲系統(tǒng)的硬件體系結(jié)構(gòu)和軟件結(jié)構(gòu)進(jìn)行了深入的研究，并指出為實現(xiàn)進(jìn)化存儲系統(tǒng)需要解決的四個問題。 進(jìn)化存儲系統(tǒng)要求存儲系統(tǒng)中數(shù)據(jù)的組織以及整個系統(tǒng)中各種不同屬性數(shù)據(jù)的分布可以隨著外在的數(shù)據(jù)流輸入輸出的變化而相應(yīng)改變，以期獲得最好的系統(tǒng)性能。為了實現(xiàn)此目標(biāo)，需

3、要獲得在某一段時間內(nèi)工作負(fù)載的分布形式，并預(yù)測未來某一段時間工作負(fù)載的分布形式。為解決這個問題，我們從兩個方面入手：一是提出了基于連續(xù)度的I/O聚類算法，它能高效、可靠的發(fā)現(xiàn)密集I/O訪問的區(qū)域；其次是根據(jù)I/O請求局部性的特征，利用ARMA時間序列模型來預(yù)測未來密集I/O可能訪問的區(qū)域。為提高預(yù)測的準(zhǔn)確性，提出了動態(tài)參數(shù)估計的策略，使得預(yù)測值的匹配率達(dá)到很高的比例，能充分指導(dǎo)對存儲系統(tǒng)的調(diào)節(jié)。同時根據(jù)進(jìn)化存儲系統(tǒng)的數(shù)據(jù)分布特點，利用所

4、獲取的I/O區(qū)域特征，在系統(tǒng)空閑時刻一次性的預(yù)取下一個時刻所有的讀請求的數(shù)據(jù)來改善系統(tǒng)的性能。 現(xiàn)有關(guān)于存儲系統(tǒng)中優(yōu)化組織結(jié)構(gòu)和數(shù)據(jù)分布的研究基本上是采用將請求的熱點區(qū)域遷移到能提供更好性能區(qū)域的策略，這必然會導(dǎo)致數(shù)據(jù)映射關(guān)系的復(fù)雜，并最終使得系統(tǒng)數(shù)據(jù)映射機制成為系統(tǒng)性能的瓶頸。為此我們根據(jù)所獲取的負(fù)載特性設(shè)計了一種為適合不同工作負(fù)載特性動態(tài)轉(zhuǎn)換的組織結(jié)構(gòu)及數(shù)據(jù)分布轉(zhuǎn)換策略，它能最大限度的減少因組織結(jié)構(gòu)及數(shù)據(jù)分布轉(zhuǎn)換而導(dǎo)致的數(shù)據(jù)

5、遷移。為減少映射機制的復(fù)雜性和服務(wù)器的負(fù)載，并根據(jù)進(jìn)化存儲系統(tǒng)的特點，采用了兩級映射機制來提高數(shù)據(jù)映射的效率。 為獲得數(shù)據(jù)分布轉(zhuǎn)換的門限，我們通過分析閉環(huán)Fork-Join排隊網(wǎng)絡(luò)模型和存儲系統(tǒng)的讀寫行為，推導(dǎo)出了磁盤陣列的通用的平均響應(yīng)時間模型。在此基礎(chǔ)上推導(dǎo)出了不同RAID級別在各種I/O負(fù)載情況下的平均響應(yīng)時間，計算出在不同工作負(fù)載情況下的RAID轉(zhuǎn)換門限和最優(yōu)條帶單元大小調(diào)節(jié)門限。 在進(jìn)化存儲系統(tǒng)中，隨時存在著大