面向視頻云存儲的HDFS負載均衡工具設計與實現(xiàn).pdf

1、在線視頻服務是互聯(lián)網(wǎng)服務的重要組成部分，存儲是提供在線視頻服務的基礎。HDFS（Hadoop Distributed File System）作為面向通用文件存儲的云存儲系統(tǒng)，被很多視頻服務網(wǎng)站使用，但其負載均衡工具未考慮利用視頻文件在線播放時的帶寬消耗特性來使集群的帶寬資源得到更充分的利用。
　　為解決原有負載評估模型沒有考慮帶寬資源的問題，論文提出基于帶寬消耗預估的負載評估模型。通過對各個視頻文件的碼率、數(shù)據(jù)塊大小和訪問熱度等

2、特性的分析對各個數(shù)據(jù)節(jié)點支持在線視頻播放系統(tǒng)時實際消耗的帶寬量進行預估，以此作為數(shù)據(jù)節(jié)點負載評估模型中帶寬消耗特性的評估標準，模擬實驗表明該負載評估模型能夠更準確地對數(shù)據(jù)節(jié)點的帶寬消耗特性進行評估。
　　為解決負載均衡方案生成過程中負載評估指標由一維上升到二維時數(shù)據(jù)節(jié)點配對不合理的問題，論文提出基于對稱匹配的負載均衡方案生成方法。論文分析并提出了二維負載評估指標情況下的負載均衡目標，通過對過載、正常和低載數(shù)據(jù)節(jié)點中數(shù)據(jù)塊組成情況的

3、分析提出了二維情況下的對稱匹配準則，設計了二維情況下數(shù)據(jù)節(jié)點進行配對的方法和數(shù)據(jù)移動任務生成的方法，模擬實驗表明該負載均衡方案生成方法能夠更有效地完成負載均衡目標中與帶寬相關的部分。
　　為避免負載調度過程中發(fā)生高帶寬消耗數(shù)據(jù)塊聚集的情況，論文提出基于條件選擇的負載調度方法。通過對數(shù)據(jù)移動任務對應的需要被移動的數(shù)據(jù)塊的大小和帶寬消耗估計值的整體特性的分析，提出了按照預設條件交替進行數(shù)據(jù)塊的隨機性選擇和確定性選擇的負載調度方法，模擬