海量存儲(chǔ)系統(tǒng)I-O負(fù)載特征研究.pdf

1、隨著數(shù)字化時(shí)代的到來(lái)，在人們的日常生活和科學(xué)研究中，越來(lái)越多的傳統(tǒng)業(yè)務(wù)開(kāi)始數(shù)字化、網(wǎng)絡(luò)化，促使數(shù)據(jù)爆炸式地增長(zhǎng)，海量數(shù)據(jù)存儲(chǔ)的需求越來(lái)越迫切。
　　 源源不斷的數(shù)據(jù)流導(dǎo)致海量存儲(chǔ)系統(tǒng)產(chǎn)生嚴(yán)重的I/O瓶頸問(wèn)題。要改善海量存儲(chǔ)系統(tǒng)性能以消除I/O瓶頸，首先得研究海量存儲(chǔ)系統(tǒng)I/O負(fù)載數(shù)據(jù)規(guī)律，以便進(jìn)行有針對(duì)性的存儲(chǔ)系統(tǒng)性能優(yōu)化，從而為設(shè)計(jì)海量存儲(chǔ)系統(tǒng)提供依據(jù)。
　　 收集了14組典型海量存儲(chǔ)系統(tǒng)上的I/O trace數(shù)據(jù)，分

2、別屬于HP 實(shí)驗(yàn)室、加州大學(xué)伯克利分校、洛斯阿拉莫斯國(guó)家試驗(yàn)室和勞倫斯國(guó)家實(shí)驗(yàn)室等機(jī)構(gòu)，并以華中科技大學(xué)計(jì)算機(jī)學(xué)院網(wǎng)站服務(wù)器為平臺(tái)收集了49天的I/O trace數(shù)據(jù)。采用統(tǒng)計(jì)方法，對(duì)不同層級(jí)、不同應(yīng)用環(huán)境下I/O 負(fù)載中訪問(wèn)模式和到達(dá)模式的各種指標(biāo)（如I/O 大小、帶寬以及隊(duì)長(zhǎng)等）進(jìn)行了經(jīng)驗(yàn)分布研究。
　　 深入理解I/O 到達(dá)行為，需要對(duì)I/O 負(fù)載中的到達(dá)間隔相關(guān)性進(jìn)行研究，以選取合適的負(fù)載模型，來(lái)描述存儲(chǔ)負(fù)載中的I/O突

3、發(fā)行為。采用自相關(guān)函數(shù)研究了不同時(shí)期內(nèi)磁盤(pán)I/O和文件I/O 負(fù)載中到達(dá)間隔的相關(guān)性，研究結(jié)果表明：一方面，有的負(fù)載（如tpc-d等磁盤(pán)I/O）中的I/O 到達(dá)間隔幾乎沒(méi)有相關(guān)性，這類(lèi)負(fù)載中的I/O 到達(dá)過(guò)程是獨(dú)立同分布的；另一方面，有的負(fù)載（如openmail等文件I/O）中的I/O 到達(dá)間隔時(shí)間具有一定程度的相關(guān)性，有必要考察該負(fù)載的自相似性。同時(shí)，對(duì)幾組典型的并行I/O 負(fù)載到達(dá)間隔時(shí)間的相關(guān)性研究結(jié)果表明，馬爾可夫方法并不適合用

4、來(lái)模擬科學(xué)應(yīng)用中所有節(jié)點(diǎn)上的I/O 到達(dá)：通過(guò)對(duì)科學(xué)應(yīng)用負(fù)載ior2、f1和m1 進(jìn)行分析，發(fā)現(xiàn)部分節(jié)點(diǎn)上I/O 負(fù)載的到達(dá)間隔時(shí)間幾乎沒(méi)有相關(guān)性，相應(yīng)的I/O 到達(dá)過(guò)程是獨(dú)立同分布的；但是在有的應(yīng)用節(jié)點(diǎn)上，負(fù)載的I/O 到達(dá)間隔時(shí)間具有一定程度的相關(guān)性，很有必要研究這類(lèi)負(fù)載中的自相似性。
　　 針對(duì)具有相關(guān)性的I/O負(fù)載(如cello、ior2、web等)，研究了在不同層級(jí)、不同應(yīng)用環(huán)境下的I/O負(fù)載所具有的自相似性，特別是研

5、究了并行I/O負(fù)載ior2、f1和m1的自相似性。發(fā)現(xiàn)ior2中的寫(xiě)負(fù)載在不同程度上具有自相似性，其自相似程度按ior2-fileproc、ior2-shared、ior2-stride的順序依次遞減。和寫(xiě)相比，ior2中的讀負(fù)載呈現(xiàn)出較弱的自相似性，其中ior2-stride的樣本讀負(fù)載不具有自相似性，這與相應(yīng)的自相關(guān)研究結(jié)果一致。對(duì)于ior2或f1在各個(gè)節(jié)點(diǎn)上的樣本寫(xiě)負(fù)載，其自相似程度彼此相近，但m1在各個(gè)節(jié)點(diǎn)上樣本寫(xiě)負(fù)載的自相似程

6、度有較大起伏，缺乏一致性。對(duì)于ior2-fileproc、ior2-shared和f1-restart這三個(gè)應(yīng)用，每個(gè)應(yīng)用在各個(gè)節(jié)點(diǎn)上的樣本讀負(fù)載的自相似水平接近，但各個(gè)應(yīng)用負(fù)載之間的自相似程度迥異。這些差異給各個(gè)應(yīng)用節(jié)點(diǎn)上的負(fù)載合成工作帶來(lái)了嚴(yán)峻挑戰(zhàn)。
　　 I/O負(fù)載特征研究，能為I/O負(fù)載所屬類(lèi)型的甄別提供依據(jù)，并為選取合適的負(fù)載模型、合成具有代表性的I/O訪問(wèn)序列創(chuàng)造條件。對(duì)多組典型自相似I/O負(fù)載的研究結(jié)果表明，有的自

7、相似負(fù)載具有高斯性，有的自相似負(fù)載則體現(xiàn)出非高斯性。針對(duì)研究界還沒(méi)有一種I/O負(fù)載模型可以同時(shí)在高斯和非高斯條件下精確刻畫(huà)自相似負(fù)載中的I/O訪問(wèn)行為這一現(xiàn)狀，通過(guò)研究，提出了一種基于alpha穩(wěn)定過(guò)程的I/O負(fù)載合成方法，能夠在不同應(yīng)用環(huán)境下精確合成各種負(fù)載：不僅能精確合成I/O到達(dá)獨(dú)立同分布情況下的I/O負(fù)載，還能很好的合成自相似I/O負(fù)載，并能令人信服地合成并行I/O訪問(wèn)序列。與傳統(tǒng)負(fù)載模型相比，alpha穩(wěn)定I/O負(fù)載模型既可以

8、在高斯條件下刻畫(huà)負(fù)載中的I/O突發(fā)性和重尾分布，也可以在非高斯條件下刻畫(huà)負(fù)載中的I/O突發(fā)性和重尾分布。
　　 采用alpha穩(wěn)定I/O負(fù)載模型、獨(dú)立同分布型的正態(tài)模型和泊松模型、自相似型的FBM模型和FARIMA模型分別對(duì)HUST web負(fù)載中的I/O訪問(wèn)序列進(jìn)行合成，并將合成結(jié)果與樣本trace數(shù)據(jù)進(jìn)行對(duì)比。發(fā)現(xiàn)alpha穩(wěn)定合成序列、正態(tài)合成序列分別與樣本trac序列一致。Alpha穩(wěn)定合成序列與樣本一致是由于alpha穩(wěn)