海量存儲(chǔ)資源管理關(guān)鍵技術(shù)研究.pdf

1、隨著科學(xué)技術(shù)的發(fā)展，以計(jì)算為核心的信息系統(tǒng)正逐步向以數(shù)據(jù)為核心轉(zhuǎn)移，人們對信息中心的稱謂從“計(jì)算中心”、“網(wǎng)絡(luò)中心”到“數(shù)據(jù)中心”，形象地表明了處理、傳輸和存儲(chǔ)這三個(gè)要素在信息設(shè)施中的比重隨時(shí)間而變化的趨勢。然而，相比于計(jì)算和傳輸，存儲(chǔ)始終是計(jì)算機(jī)系統(tǒng)的性能瓶頸所在，而海量存儲(chǔ)資源管理則是影響存儲(chǔ)系統(tǒng)性能的一個(gè)重要因素。
　　 圍繞網(wǎng)絡(luò)環(huán)境下海量存儲(chǔ)資源管理這一主題，分三個(gè)方面進(jìn)行研究。首先，針對海量異構(gòu)存儲(chǔ)資源管理中存儲(chǔ)節(jié)點(diǎn)數(shù)

2、量龐大，設(shè)備協(xié)議種類繁多，網(wǎng)絡(luò)構(gòu)成復(fù)雜多樣等一系列問題，提出一種使用虛擬化策略進(jìn)行高效存儲(chǔ)管理的方法，并在塊級(jí)設(shè)計(jì)實(shí)現(xiàn)了帶外虛擬化的方案和系統(tǒng)原型。然后，針對原型系統(tǒng)的性能優(yōu)化問題，提出一種基于任務(wù)排隊(duì)合并的多用戶請求調(diào)度優(yōu)化算法。仿真實(shí)驗(yàn)表明，該算法可使存儲(chǔ)系統(tǒng)的I/O請求響應(yīng)能力顯著提高。最后，將海量存儲(chǔ)資源管理的研究背景拓展到廣域網(wǎng)環(huán)境下，結(jié)合廣域網(wǎng)中數(shù)據(jù)的新特性，提出一種集存儲(chǔ)管理、元數(shù)據(jù)管理和文件服務(wù)于一體的廣域網(wǎng)存儲(chǔ)資源管理

3、架構(gòu)，并建立隨機(jī)Petri網(wǎng)(Stochastic PetriNets，SPN)模型對其進(jìn)行了性能分析。
　　 以過往研究工作為基礎(chǔ)，經(jīng)過理論分析與實(shí)際研發(fā)，取得成果如下。
　　 針對海量異構(gòu)存儲(chǔ)系統(tǒng)中多樣的存儲(chǔ)資源和復(fù)雜的存儲(chǔ)網(wǎng)絡(luò)構(gòu)成，提出一種使用虛擬化策略進(jìn)行高效存儲(chǔ)管理的方法。對海量異構(gòu)存儲(chǔ)資源進(jìn)行規(guī)范化描述，以支持海量異構(gòu)存儲(chǔ)資源的發(fā)現(xiàn)、資源信息的維護(hù)和資源狀態(tài)的監(jiān)測，形成在這些存儲(chǔ)資源上進(jìn)行虛擬化管理的基礎(chǔ)。在

4、塊級(jí)設(shè)計(jì)實(shí)現(xiàn)帶外虛擬化的方案，實(shí)現(xiàn)對應(yīng)用和管理透明的統(tǒng)一存儲(chǔ)池模型；在文件級(jí)研制對應(yīng)用透明的存儲(chǔ)訪問代理、提出一種命名空間聚合和重定向技術(shù)，進(jìn)而綜合上述方法實(shí)現(xiàn)對海量異構(gòu)存儲(chǔ)資源的統(tǒng)一管理與訪問。針對實(shí)際應(yīng)用環(huán)境中存儲(chǔ)資源管理機(jī)制高度復(fù)雜化的挑戰(zhàn)，提出一種使用虛擬化策略進(jìn)行高效管理的方法，使用開放式的虛擬化策略語言和相關(guān)軟件聯(lián)動(dòng)實(shí)現(xiàn)所管理存儲(chǔ)資源的動(dòng)態(tài)、按需分配。
　　 I/O 請求調(diào)度算法的優(yōu)劣是影響存儲(chǔ)系統(tǒng)性能的一個(gè)重要因素

5、。針對多用戶I/O請求的特征，提出一種基于任務(wù)排隊(duì)合并的多用戶請求調(diào)度優(yōu)化算法。通過對多個(gè)網(wǎng)絡(luò)用戶的I/O 請求任務(wù)進(jìn)行排隊(duì)，使排隊(duì)后各I/O 請求的數(shù)據(jù)在邏輯盤上按一定的順序分布，并對那些數(shù)據(jù)分布連續(xù)的用戶請求進(jìn)行任務(wù)合并，那么排隊(duì)合并后進(jìn)行數(shù)據(jù)訪問，可以使磁盤的磁頭臂按照一定的規(guī)律移動(dòng)，使尋道時(shí)間和旋轉(zhuǎn)延遲顯著減小，從而降低請求的平均響應(yīng)時(shí)間，提高存儲(chǔ)系統(tǒng)的整體I/O 性能。另一方面，該算法將“任務(wù)排隊(duì)合并”和“插隊(duì)”機(jī)制相結(jié)合，兼

6、顧了系統(tǒng)的高性能和單個(gè)請求的響應(yīng)時(shí)間，消除了“饑餓”現(xiàn)象。
　　 以IPv6 為代表的下一代互聯(lián)網(wǎng)極大地?cái)U(kuò)展了網(wǎng)絡(luò)用戶，不僅對數(shù)據(jù)的需求多種多樣，而且在可用性、可擴(kuò)展性、可維護(hù)性、安全性等方面提出了更高的要求，同時(shí)要求信息在產(chǎn)生、發(fā)布、共享和傳播的過程中能有效利用。針對下一代互聯(lián)網(wǎng)的這些特點(diǎn)，對存儲(chǔ)系統(tǒng)的存儲(chǔ)管理、元數(shù)據(jù)管理、存儲(chǔ)空間的高效利用、數(shù)據(jù)的快速傳遞等問題進(jìn)行研究，構(gòu)建了一種面向下一代互聯(lián)網(wǎng)的廣域網(wǎng)存儲(chǔ)管理架構(gòu)。廣域網(wǎng)

7、存儲(chǔ)管理架構(gòu)采用了多層次、可擴(kuò)展的分布式存儲(chǔ)模式，將多種異構(gòu)的存儲(chǔ)子系統(tǒng)作為基本的存儲(chǔ)節(jié)點(diǎn)通過網(wǎng)絡(luò)接口直接接入下一代互聯(lián)網(wǎng)，建立存儲(chǔ)節(jié)點(diǎn)與用戶間的直接數(shù)據(jù)傳輸，實(shí)現(xiàn)擴(kuò)容與增速同步，保證服務(wù)器與存儲(chǔ)節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)間高效的控制和數(shù)據(jù)管理。其存儲(chǔ)管理遵循SMI-S的管理規(guī)范，可以在廣域網(wǎng)存儲(chǔ)系統(tǒng)中提供標(biāo)準(zhǔn)化的通信方式。智能化的元數(shù)據(jù)管理方法，保證了存儲(chǔ)系統(tǒng)的服務(wù)質(zhì)量和存儲(chǔ)空間的高效利用。創(chuàng)新性的設(shè)計(jì)了廣域網(wǎng)存儲(chǔ)中間件，來處理復(fù)雜網(wǎng)絡(luò)