基于Hadoop的分布式存儲與數(shù)據(jù)分發(fā)策略研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的快速發(fā)展、互聯(lián)網(wǎng)帶寬的增長以及智能設(shè)備的普及，信息處理與網(wǎng)絡(luò)服務(wù)已經(jīng)融入到人們生活的點(diǎn)點(diǎn)滴滴。尤其近些年P(guān)2P、社交網(wǎng)絡(luò)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、電子商務(wù)與多媒體共享等網(wǎng)絡(luò)技術(shù)的發(fā)展，給人們提供便利的同時(shí)，也帶來了全球信息數(shù)據(jù)的爆炸性增長。圖靈獎(jiǎng)獲得者Jim Gray曾就全球數(shù)據(jù)量的增長提出了一條新的經(jīng)驗(yàn)定律:未來全球每18個(gè)月產(chǎn)生的數(shù)據(jù)量等于從此以前所產(chǎn)生的數(shù)據(jù)量總和如何有效地存儲、管理和利用如此龐大的數(shù)據(jù)成為了亟待解決的

2、問題，對其進(jìn)行深入地研究，具有很重要的現(xiàn)實(shí)意義。
　　如今各個(gè)行業(yè)、各種應(yīng)用對其所需存儲系統(tǒng)的要求越來越高。分布式存儲系統(tǒng)以其廉價(jià)性和高擴(kuò)展性等優(yōu)點(diǎn)，理所當(dāng)然地成為了海量數(shù)據(jù)存儲的首要選擇。然而，由于在分布式存儲系統(tǒng)中各個(gè)存儲節(jié)點(diǎn)的可靠性不高，為了保證數(shù)據(jù)的可靠性，系統(tǒng)會較頻繁地對失效節(jié)點(diǎn)進(jìn)行修復(fù)。本文基于OpenStack平臺搭建了一個(gè)Hadoop實(shí)驗(yàn)集群，并在搭建的實(shí)驗(yàn)集群中應(yīng)用了復(fù)制策略、XOR策略、RS策略和SR策略四種存

3、儲策略。通過理論分析，對比了四種存儲策略的理論存儲開銷、理論修復(fù)網(wǎng)絡(luò)流量開銷和存儲單個(gè)文件的可靠性。接著通過在所搭建Hadoop實(shí)驗(yàn)集群上進(jìn)行的實(shí)驗(yàn)，得出了四種存儲策略存儲不同大小文件的實(shí)驗(yàn)存儲開銷、實(shí)驗(yàn)修復(fù)網(wǎng)絡(luò)流量開銷等性能，將其和理論性能進(jìn)行了對比，并根據(jù)所得實(shí)驗(yàn)結(jié)果和各個(gè)存儲策略的特點(diǎn)，通過較為全面的分析，給出了四種存儲策略所適用的不同應(yīng)用場景。
　　分布式存儲系統(tǒng)有“一次寫入，多次讀取”的特點(diǎn)，當(dāng)用戶在從分布式文件系統(tǒng)中讀

4、取文件時(shí)，需要從各個(gè)節(jié)點(diǎn)下載所需的數(shù)據(jù)塊，重構(gòu)出原始文件，特別是對于一些熱門的文件，在用戶讀取文件的高峰時(shí)期，分布式存儲系統(tǒng)這種“多次讀取”的特點(diǎn)就會造成網(wǎng)絡(luò)擁塞，不僅影響文件的可用性，還可能影響文件的可靠性。論文通過研究基于分布式存儲系統(tǒng)的數(shù)據(jù)分發(fā)策略，將分布式存儲技術(shù)與CDN的思想結(jié)合，把通信問題轉(zhuǎn)換為分布式存儲問題，在分布式存儲架構(gòu)下利用增加存儲開銷來緩解高峰期網(wǎng)絡(luò)擁塞。并以Hadoop集群實(shí)驗(yàn)為例，驗(yàn)證了此數(shù)據(jù)分發(fā)策略的可行性。