云環(huán)境下數(shù)據(jù)副本選擇策略研究.pdf

1、隨著云計算的興起與發(fā)展,云存儲技術(shù)也迅速發(fā)展起來。傳統(tǒng)的文件系統(tǒng)已經(jīng)不能滿足云存儲服務(wù)的需求,因此,分布式文件系統(tǒng)作為云存儲的關(guān)鍵技術(shù)也日益重要起來。目前,互聯(lián)網(wǎng)上應(yīng)用最多的分布式文件系統(tǒng)有谷歌的GFS、Hadoop的HDFS以及MooseFS等。這些分布式文件系統(tǒng)中的存儲節(jié)點大多采用性能不高的PC機,為避免這些PC機因無法預(yù)知的硬件設(shè)備損壞、電源中斷、黑客攻擊、病毒入侵、火災(zāi)、地震及恐怖襲擊等情況發(fā)生時造成的數(shù)據(jù)損壞和丟失帶來的數(shù)據(jù)不

2、能正常訪問現(xiàn)象,分布式文件系統(tǒng)一般采用數(shù)據(jù)備份的方法,即副本技術(shù),就是將同一數(shù)據(jù)存儲到不同的存儲節(jié)點上。系統(tǒng)中引入副本技術(shù)后,當(dāng)客戶端訪問分布式文件系統(tǒng)中存儲的數(shù)據(jù)資源時就會存在選取哪個存儲節(jié)點作為訪問對象的問題。
　　分布式文件系統(tǒng)GFS和HDFS采用計算距離的方法來選擇數(shù)據(jù)副本,每次選擇離用戶最近的存儲節(jié)點來讀取數(shù)據(jù),而MooseFS選取的是讀寫次數(shù)最少的存儲服務(wù)器來讀取數(shù)據(jù)。GFS、HDFS和MooseFS都是網(wǎng)絡(luò)分布式文件

3、系統(tǒng),數(shù)據(jù)存儲服務(wù)器和客戶端之間是通過網(wǎng)絡(luò)傳遞數(shù)據(jù)的,所以數(shù)據(jù)存儲服務(wù)器帶寬的大小會直接影響到客戶端讀取數(shù)據(jù)的速度。帶寬大小與客戶端讀取數(shù)據(jù)的速度成正比。在MooseFS數(shù)據(jù)副本選擇算法中,雖然各數(shù)據(jù)存儲服務(wù)器I/O負載均衡,但每次選擇的數(shù)據(jù)存儲服務(wù)器的帶寬不一定是最好的,導(dǎo)致客戶端讀取數(shù)據(jù)的速度較慢。
　　本文提出了基于帶寬的螞蟻算法的數(shù)據(jù)副本選擇算法。螞蟻算法是一種啟發(fā)式算法,它是通過利用與環(huán)境的動態(tài)交互獲得的反饋信息來調(diào)整自

4、我,獲得最佳解的過程。螞蟻算法已經(jīng)被廣泛應(yīng)用于許多求解最優(yōu)解的問題中,如TSP分配問題、網(wǎng)絡(luò)路由、任務(wù)調(diào)度及著色問題等。在MooseFS分布式文件系統(tǒng)中,選擇一個最佳副本也是最優(yōu)化問題,并且螞蟻算法具有正反饋性、協(xié)同性和并行性,算法的可擴展性適合于節(jié)點動態(tài)隨機變化的分布式文件系統(tǒng),這些特性使得螞蟻算法適合解決分布式系統(tǒng)中的數(shù)據(jù)副本選擇問題,所以在理論上基于螞蟻算法的數(shù)據(jù)副本選擇算法具有可行性。實驗測試結(jié)果顯示,基于螞蟻算法的數(shù)據(jù)副本選擇