并行網(wǎng)絡(luò)文件系統(tǒng)中負載均衡機制的研究與實現(xiàn).pdf

1、負載均衡技術(shù)是并行文件系統(tǒng)中常見且不可或缺的重要優(yōu)化手段。在并行文件系統(tǒng)中實現(xiàn)副本技術(shù),利用負載分析方法和調(diào)度算法,可以有效地將系統(tǒng)中各種負載均衡地分配到各存儲節(jié)點上,以提高文件系統(tǒng)的可用性、穩(wěn)定性和服務(wù)質(zhì)量。
　　在并行文件系統(tǒng)中,隨著節(jié)點的增加、刪除,文件的創(chuàng)建、刪除和修改,以及訪問次數(shù)的爆炸性增長,各個存儲節(jié)點的負載以不可預(yù)知的方式動態(tài)變化,常常發(fā)生部分服務(wù)器資源損耗過度而另外一些服務(wù)器使用率低下的情況,即負載傾斜。同時,節(jié)

2、點的突發(fā)故障極易導(dǎo)致系統(tǒng)無法正常運行。雖然使用副本機制有助于解決上述問題,但在不同場景下,還需要針對場景中的I/O行為特征,以副本為基礎(chǔ),圍繞負載均衡技術(shù)進行研究,找出適用的策略和時機。本文針對一種典型的并行文件系統(tǒng)pNFS(Parallel Network File System),設(shè)計并實現(xiàn)了基于概率分布的動態(tài)負載均衡機制PDDB(Probability Distribution Dynamic Balance)。
　　在并行

3、網(wǎng)絡(luò)文件系統(tǒng)中,PDDB通過對文件創(chuàng)建副本,按照容量均衡的方式進行文件副本的合理放置,同時設(shè)計了鏡像和交錯的兩種副本放置模式。PDDB在各數(shù)據(jù)服務(wù)器上構(gòu)建了自適應(yīng)的負載監(jiān)控系統(tǒng),由元數(shù)據(jù)服務(wù)器收集各個節(jié)點的CPU、內(nèi)存、存儲空間、網(wǎng)絡(luò)帶寬、磁盤帶寬等負載信息,經(jīng)過對負載信息的整合處理,并結(jié)合已經(jīng)獲得的歷史數(shù)據(jù)信息,以綜合負載的大小決定任務(wù)分配的概率,將訪問均衡地分配到當前負載較低的一組服務(wù)器上,并通過熱點遷移調(diào)度各個節(jié)點之間的負載狀態(tài),

4、避免群聚效應(yīng)。并加入副本元數(shù)據(jù)的管理以及副本一致性的維護,保證當任一副本的存儲節(jié)點發(fā)生故障時,可以通過其他副本正常獲取文件內(nèi)容,確保系統(tǒng)的正常運行。
　　在測試中發(fā)現(xiàn),與使用隨機算法和最小負載優(yōu)先算法的負載均衡機制相比較,PDDB機制使得各存儲節(jié)點之間的最大負載差距比二者分別減少了42％和30％,且在文件系統(tǒng)總負載相同時,各個節(jié)點的負載變化也相對平緩,平均負載至少降低10％以上。文件系統(tǒng)的平均網(wǎng)絡(luò)吞吐率提升20％,可靠性、穩(wěn)定性和