數(shù)據(jù)網(wǎng)格QoS保障與資源優(yōu)化關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)格是一種先進(jìn)的信息技術(shù)基礎(chǔ)設(shè)施，目的是有效整合Internet上廣泛分布的各種計算資源、存儲資源、通信資源、信息資源等，向用戶提供虛擬、統(tǒng)一、透明的計算環(huán)境。數(shù)據(jù)網(wǎng)格作為網(wǎng)格計算領(lǐng)域的一個分支，已經(jīng)得到學(xué)術(shù)界的極大關(guān)注。數(shù)據(jù)網(wǎng)格是指廣域范圍內(nèi)，對大規(guī)模的數(shù)據(jù)集進(jìn)行分布式管理、分析及使用的一個綜合體系結(jié)構(gòu)。數(shù)據(jù)網(wǎng)格實現(xiàn)了安全、可靠和有效的數(shù)據(jù)傳輸、訪問、存儲和副本管理等操作，并提供到不同存儲系統(tǒng)的統(tǒng)一的接口，從而使得數(shù)據(jù)密集型高性能計算

2、及科學(xué)研究成為可能。
　　Ian foster指出網(wǎng)格最基本的一個特征就是“提供非凡的服務(wù)質(zhì)量（QoS）”。為了保障數(shù)據(jù)網(wǎng)格具有較高的QoS，需要克服網(wǎng)絡(luò)以及網(wǎng)格節(jié)點的諸多不穩(wěn)定因素，而資源（能力）預(yù)留、副本部署、緩沖區(qū)機(jī)制、并行數(shù)據(jù)傳輸和數(shù)據(jù)存儲與恢復(fù)是解決這類問題的主要手段和當(dāng)下研究的熱點問題。海量數(shù)據(jù)存儲和傳輸導(dǎo)致大量網(wǎng)絡(luò)傳輸、存儲資源、節(jié)點資源的不必要浪費，致使高峰時刻網(wǎng)格服務(wù)接納率的急劇降低，帶來整體QoS的下降。目前多

3、數(shù)研究更關(guān)注于從某方面提升服務(wù)質(zhì)量，而較少的考慮資源的優(yōu)化調(diào)度問題，從而在保證QoS的同時一定程度上降低了網(wǎng)格系統(tǒng)整體資源的使用率。
　　本文從“保障QoS是基礎(chǔ)，優(yōu)化資源的使用是目標(biāo)”這一宗旨出發(fā)，深入研究了如何在保障數(shù)據(jù)網(wǎng)格QoS的同時對使用的資源進(jìn)行有效優(yōu)化的問題。論文將數(shù)據(jù)網(wǎng)格最基本的功能（數(shù)據(jù)存儲和數(shù)據(jù)傳輸）在服務(wù)級QoS層面分解為5個主要子服務(wù)（傳輸、存儲、緩存、節(jié)點選擇、資源預(yù)留），針對不同的子服務(wù)采用了特定手段達(dá)到

4、了QoS保障與資源優(yōu)化的雙重目標(biāo)。具體為：
　　(1)多副本部署可以提升數(shù)據(jù)的可靠性和數(shù)據(jù)服務(wù)帶寬，降低網(wǎng)絡(luò)負(fù)載，基于多副本的并行傳輸算法可以極大提升傳輸速度，保障數(shù)據(jù)服務(wù)的QoS，但是多個完整副本部署對存儲空間和網(wǎng)絡(luò)傳輸?shù)南臉O大。本文首先提出了一個數(shù)據(jù)的分布式存儲模型，存儲模型在存儲空間使用上具有較大的優(yōu)勢（存儲優(yōu)化），同時具有P完整性，可以保證在任意P個節(jié)點失效時數(shù)據(jù)仍然完整；基于存儲模型給出了一并行傳輸調(diào)度器，在雙副本冗余

5、度時調(diào)度器可以適應(yīng)節(jié)點間速度的較大差異，以調(diào)度器為基礎(chǔ)給出了一個并行傳輸算法，配置合理參數(shù)，算法可以達(dá)到基于多個完全副本的并行傳輸速度。
　　(2)為了保障數(shù)據(jù)存儲的可靠性，基于并行傳輸?shù)膭討B(tài)數(shù)據(jù)恢復(fù)是數(shù)據(jù)網(wǎng)格應(yīng)具備的能力。在優(yōu)化使用存儲空間前提下，不但要保障數(shù)據(jù)存儲的基本QoS指標(biāo)：可靠性和可用性，同時還必須兼顧數(shù)據(jù)的易用性。本文基于分布式存儲模型，結(jié)合節(jié)點失效性、動態(tài)恢復(fù)過程和數(shù)據(jù)交換中心策略，以本文提出的調(diào)度器、并行傳輸算法

6、并結(jié)合泊松分布定理，提出了一個動態(tài)的數(shù)據(jù)恢復(fù)模型。數(shù)據(jù)恢復(fù)模型較雙副本存儲具有更低的數(shù)據(jù)失效概率，較糾刪碼策略具有更強(qiáng)的易用性。
　　(3)為了克服網(wǎng)絡(luò)的不穩(wěn)定性，數(shù)據(jù)緩存是網(wǎng)絡(luò)應(yīng)用較為常用的一個主要策略?？紤]數(shù)據(jù)的海量特性以及資源有限性，在數(shù)據(jù)緩存服務(wù)中需要優(yōu)化配置緩沖區(qū)大小，并應(yīng)考慮諸多因素，包括：數(shù)據(jù)源節(jié)點的失效性、參與服務(wù)的節(jié)點集合、各節(jié)點的傳輸速度、任務(wù)對數(shù)據(jù)失效時間的約束以及對整體失效的要求等。本文通過引入有限緩沖區(qū)模

7、型，從數(shù)據(jù)消耗者角度出發(fā)，以多副本存儲和并行傳輸模式為基礎(chǔ)，推導(dǎo)出一個服務(wù)失效模型，該模型有效表述了影響服務(wù)失效的各種參數(shù)間的量化關(guān)系，進(jìn)行了仿真實驗，將模型理論值與實驗值進(jìn)行了對比分析，取得了較好的結(jié)果，達(dá)到了緩沖區(qū)和服務(wù)節(jié)點的優(yōu)化配置，緩存服務(wù)QoS保障的目標(biāo)。
　　(4)基于多副本進(jìn)行并行數(shù)據(jù)傳輸?shù)囊粋€重要問題是：在滿足服務(wù)可靠性、傳輸時間等QoS約束的前提下，如何能夠合理選擇節(jié)點資源。本文提出了兩個模型，模型能夠?qū)W(wǎng)格節(jié)點

8、的傳輸速度、可靠性、傳輸距離、網(wǎng)絡(luò)狀態(tài)、帶寬約束等因素進(jìn)行綜合決策，從而給出最優(yōu)的服務(wù)節(jié)點集合，使達(dá)到合理使用節(jié)點資源、降低網(wǎng)絡(luò)負(fù)載、降低服務(wù)請求的容忍度、提升高峰時網(wǎng)格系統(tǒng)的接納率與服務(wù)質(zhì)量并保證一次服務(wù)代價最小的多重優(yōu)化目標(biāo)。
　　(5)資源預(yù)留是保障數(shù)據(jù)網(wǎng)格任務(wù)順利完成的基本前提，預(yù)留請求的接納率直接影響到服務(wù)的QoS。資源能力從宏觀上更好的描述了資源的數(shù)量和使用情況，對于資源的預(yù)留服務(wù)提供了強(qiáng)有力的支撐。合理的調(diào)配資源能力

9、，可以降低資源能力碎片，提升高峰時刻網(wǎng)格系統(tǒng)的吞吐量和接納率，使達(dá)到優(yōu)化資源、保障QoS的雙重目標(biāo)。本文提出了基于并行加速比和四元法資源能力預(yù)留策略，與先前機(jī)制相比使網(wǎng)格系統(tǒng)可以根據(jù)預(yù)留請求的綜合信息進(jìn)行主動決策，并對預(yù)留請求進(jìn)行一定的資源能力變換，進(jìn)一步優(yōu)化資源的使用，有效降低資源能力碎片，提升高峰時刻服務(wù)接納率。
　　個體服務(wù)QoS保障與資源優(yōu)化可以提升網(wǎng)格系統(tǒng)整體資源的利用率，從而可以在高峰時刻提升服務(wù)請求的接納率和個體服務(wù)