HDFS元數(shù)據(jù)管理的高可用性優(yōu)化技術(shù)研究.pdf

1、隨著數(shù)據(jù)存儲設(shè)備的存儲成本不斷降低，數(shù)據(jù)存儲已經(jīng)不再是決定系統(tǒng)性能的主要因素，轉(zhuǎn)而數(shù)據(jù)存儲系統(tǒng)的可用性成為了當(dāng)前評價系統(tǒng)性能的重要指標(biāo)。本文從高可用性的角度出發(fā)，依托于當(dāng)前流行的大數(shù)據(jù)平臺Hadoop下部署的存儲系統(tǒng)HDFS，研究其上元數(shù)據(jù)管理的高可用性優(yōu)化技術(shù)，以此來提高當(dāng)前HDFS HA方案的可用性。
　　本文主要從HDFS元數(shù)據(jù)管理中節(jié)點故障時系統(tǒng)的可用性狀態(tài)問題作為研究點，結(jié)合當(dāng)前HDFS Federation與HA組織模

2、式，分析了在當(dāng)前模式下單元數(shù)據(jù)節(jié)點故障時系統(tǒng)處于非高可用性階段，雙節(jié)點故障時管理員冷啟動新的節(jié)點所耗費(fèi)的大量時間，以及集中式緩存未設(shè)置緩存替換策略的問題?；谏鲜鋈齻€問題，提出了本文的優(yōu)化技術(shù)，優(yōu)化技術(shù)的主要思想是結(jié)合了雙機(jī)熱備與雙機(jī)互備兩種冗余工作模式，將Federation模式下獨立的命名空間兩兩組合，當(dāng)某個命名空間下的節(jié)點發(fā)生故障后，可以將系統(tǒng)配置的另一個命名空間下的備份節(jié)點與當(dāng)前故障切換后的活躍節(jié)點形成新的高可用性組合，同時也實

3、現(xiàn)了當(dāng)一個命名空間下的HA雙節(jié)點均發(fā)生故障時，可由另一個命名空間下的備份節(jié)點接替成為故障命名空間下的活躍節(jié)點，實現(xiàn)了熱備份啟動新的節(jié)點。
　　根據(jù)上述優(yōu)化思想，本文在以下幾種機(jī)制上進(jìn)行了詳細(xì)的設(shè)計實現(xiàn)，分別為基于QJM的共享存儲機(jī)制優(yōu)化，基于ZKFC的故障檢測與切換技術(shù)優(yōu)化以及數(shù)據(jù)塊映射表動態(tài)維護(hù)技術(shù)優(yōu)化。
　　此外，根據(jù)元數(shù)據(jù)訪問請求呈現(xiàn)出的集中性與突發(fā)性特征，本文設(shè)計了一個能提升系統(tǒng)高可用性的集中式元數(shù)據(jù)緩存替換策略，新

4、策略選取數(shù)據(jù)流行度作為替換標(biāo)準(zhǔn)，利用神經(jīng)網(wǎng)絡(luò)預(yù)測模型、多元線性回歸模型以及衰減函數(shù)模型結(jié)合形成的多個組合模型來周期性地預(yù)測數(shù)據(jù)流行度。
　　最后，通過實驗測試進(jìn)行了優(yōu)化技術(shù)的綜合性能分析，根據(jù)得出的實驗結(jié)果，優(yōu)化技術(shù)能夠?qū)崿F(xiàn)節(jié)點故障后啟動新的高可用性組合以及熱備方式啟動新節(jié)點的功能，同時也能確保數(shù)據(jù)完整一致性等性能要求。此外，通過Simple-Scalar模擬器，驗證了集中式緩存替換策略能夠提高元數(shù)據(jù)的cache-hit-rati