基于對(duì)象存儲(chǔ)Swift的帶寬資源優(yōu)化的研究.pdf

1、隨著當(dāng)前信息技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)，云計(jì)算成為了研究的熱點(diǎn)技術(shù)。云存儲(chǔ)作為云計(jì)算的一個(gè)重要部分，其技術(shù)也越來(lái)越成熟，多種形式的云存儲(chǔ)應(yīng)運(yùn)而生。作為分布式的對(duì)象存儲(chǔ)，Swift在云存儲(chǔ)中具有重要的意義。糾刪碼應(yīng)用在大量的分布式存儲(chǔ)中，從最初的RS碼到EVENODD碼和RDP碼，再到基于RS碼增加局部校驗(yàn)碼的LRC碼，編碼效率和修復(fù)過(guò)程中數(shù)據(jù)下載量?jī)?yōu)化都有了長(zhǎng)足的進(jìn)步。雖然Swift對(duì)象存儲(chǔ)性能在逐漸完善，但是其集群內(nèi)出現(xiàn)的系統(tǒng)完

2、整性和用戶請(qǐng)求響應(yīng)的網(wǎng)絡(luò)資源管理，以及集群?jiǎn)喂?jié)點(diǎn)故障修復(fù)問(wèn)題的研究仍然具有很大的意義。
　　本文主要是對(duì)Swift集群中如何更有效的利用帶寬資源進(jìn)行分析研究，通過(guò)對(duì)集群結(jié)構(gòu)和Swift使用的糾刪碼算法進(jìn)行分析，從使用基于回歸模型的帶寬管理和改進(jìn)故障修復(fù)算法進(jìn)兩個(gè)方面，對(duì)Swift集群中的帶寬資源進(jìn)行優(yōu)化。具體工作內(nèi)容包括：
　　1）通過(guò)對(duì) Swift中存在的不同種類工作負(fù)載進(jìn)行分析，包括以用戶為中心的工作負(fù)載和以系統(tǒng)為中心的

3、工作負(fù)載。然后針對(duì)這兩種負(fù)載構(gòu)建負(fù)載與網(wǎng)絡(luò)帶寬之間的關(guān)系模型，并通過(guò)關(guān)系模型實(shí)時(shí)對(duì)網(wǎng)絡(luò)資源進(jìn)行預(yù)測(cè)。當(dāng)集群內(nèi)的系統(tǒng)負(fù)載和用戶請(qǐng)求負(fù)載出現(xiàn)資源需要均衡的情況時(shí)，通過(guò)帶寬管理來(lái)對(duì)Swift端口帶寬進(jìn)行分配調(diào)節(jié)。使得Swift集群在出現(xiàn)故障時(shí)，既能保證集群內(nèi)數(shù)據(jù)的完整性，又能夠盡可能高效的響應(yīng)用戶請(qǐng)求，從而保證用戶體驗(yàn)。
　　2）針對(duì) Swift集群拓?fù)洵h(huán)境改變時(shí)，回歸模型參數(shù)改變的情況，使用了自適應(yīng)回歸模型模塊。此模塊能夠在存儲(chǔ)集群拓

4、撲結(jié)構(gòu)改變時(shí)，自動(dòng)地修正回歸模型參數(shù)，從而使得帶寬管理能夠在集群拓?fù)浣Y(jié)構(gòu)改變時(shí)更有效的利用帶寬資源。
　　3）在 Swift加入糾刪碼后，當(dāng)使用糾刪碼存儲(chǔ)策略時(shí)，存儲(chǔ)編碼塊或數(shù)據(jù)塊的存儲(chǔ)節(jié)點(diǎn)無(wú)效時(shí)，傳統(tǒng)的糾刪碼修復(fù)的數(shù)據(jù)下載量過(guò)高，從而導(dǎo)致占用了更多的集群內(nèi)的網(wǎng)絡(luò)帶寬資源。在本文中通過(guò)基于爬山法算法，計(jì)算得到修復(fù)故障節(jié)點(diǎn)時(shí)最小或近似最小數(shù)據(jù)下載量和網(wǎng)絡(luò)帶寬修復(fù)代價(jià)兩種修復(fù)方案，使得Swift存儲(chǔ)節(jié)點(diǎn)出現(xiàn)單節(jié)點(diǎn)故障后能夠在短時(shí)間內(nèi)找