分布式環(huán)境下大數(shù)據(jù)組織與管理關(guān)鍵技術(shù)的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)發(fā)展以及電子設(shè)備普及，人類社會(huì)已經(jīng)進(jìn)入數(shù)字時(shí)代，信息數(shù)據(jù)在人類生活中無處不在，人類社會(huì)已經(jīng)處于信息爆炸時(shí)代。隨著參與人員與設(shè)備增加，各種分布式應(yīng)用系統(tǒng)數(shù)據(jù)正以前所未有速度在增長(zhǎng)，這將使得分布式應(yīng)用系統(tǒng)面臨著大數(shù)據(jù)的挑戰(zhàn)。在分布式環(huán)境下系統(tǒng)對(duì)操作處理性能以及系統(tǒng)擴(kuò)展性上具有更高要求，在提高系統(tǒng)性能以及擴(kuò)展性上不僅可以對(duì)處理技術(shù)進(jìn)行優(yōu)化，同樣也可以通過對(duì)應(yīng)用系統(tǒng)的數(shù)據(jù)管理平臺(tái)進(jìn)行優(yōu)化。應(yīng)用系統(tǒng)的數(shù)據(jù)管理平臺(tái)中數(shù)據(jù)組織管理形式將

2、直接影響應(yīng)用系統(tǒng)的性能及擴(kuò)展能力，因此研究分布式環(huán)境下大數(shù)據(jù)的組織管理具有重要的理論價(jià)值和實(shí)際價(jià)值。
　　分布式環(huán)境下，數(shù)據(jù)具有規(guī)模大、增長(zhǎng)速度快、數(shù)據(jù)類型多樣等特征，這將對(duì)數(shù)據(jù)組織管理帶來全新挑戰(zhàn)。本文在分析分布式環(huán)境對(duì)大數(shù)據(jù)管理平臺(tái)提出新要求以及新挑戰(zhàn)下，在分析相關(guān)工作的基礎(chǔ)上，主要針對(duì)數(shù)據(jù)組織管理的數(shù)據(jù)劃分、數(shù)據(jù)塊分配和重分配以及索引技術(shù)上進(jìn)行了研究，主要研究?jī)?nèi)容和成果包括：
　　1）針對(duì)分布式環(huán)境中大數(shù)據(jù)系統(tǒng)需要支持

3、多維查詢分析、快速加載數(shù)據(jù)以及保證系統(tǒng)擴(kuò)展能力等問題，提出了一種基于混合范圍一致性Hash數(shù)據(jù)劃分策略（HRCH）。首先，根據(jù)歷史操作選擇常用的查詢屬性，使用降維技術(shù)將這些屬性進(jìn)行線性化（保證線性有序），并將該線性值作為數(shù)據(jù)表的Key；其次，使用一致性Hash將數(shù)據(jù)分配到多個(gè)節(jié)點(diǎn)集群中；最后，在每個(gè)節(jié)點(diǎn)集群中使用范圍劃分策略來對(duì)數(shù)據(jù)進(jìn)行劃分存儲(chǔ)。通過測(cè)試基準(zhǔn)程序——YCSB來驗(yàn)證HRCH的有效性，結(jié)果表明雖然HRCH在數(shù)據(jù)操作效率上略低

4、于傳統(tǒng)劃分策略，但是HRCH具有更高的數(shù)據(jù)加載能力，同時(shí)HRCH還能夠提高系統(tǒng)可擴(kuò)展能力，最后HRCH還能夠很好支持多維查詢處理。
　　2）針對(duì)分布式環(huán)境下大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)處理模式變化以及系統(tǒng)負(fù)載均衡問題，提出了一種基于負(fù)載感知的數(shù)據(jù)塊分配策略（LAFAS）。分布式環(huán)境下大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)處理模式已經(jīng)從“數(shù)據(jù)靠近計(jì)算”轉(zhuǎn)變?yōu)椤坝?jì)算靠近數(shù)據(jù)”，則數(shù)據(jù)塊位置將直接影響系統(tǒng)中計(jì)算執(zhí)行位置，從而數(shù)據(jù)位置將影響系統(tǒng)節(jié)點(diǎn)負(fù)載。為了盡量平衡系統(tǒng)負(fù)

5、載，LAFAS針對(duì)新加入系統(tǒng)的數(shù)據(jù)塊進(jìn)行分配。首先，通過信息熵理論來計(jì)算影響節(jié)點(diǎn)負(fù)載因素的權(quán)值，從而可以準(zhǔn)確計(jì)算節(jié)點(diǎn)負(fù)載；其次，根據(jù)節(jié)點(diǎn)負(fù)載情況對(duì)候選存儲(chǔ)新數(shù)據(jù)塊的節(jié)點(diǎn)集合進(jìn)行裁剪，再用傳統(tǒng)策略將該新數(shù)據(jù)塊分配到候選節(jié)點(diǎn)集合，其能保證新數(shù)據(jù)塊不會(huì)被分配到高負(fù)載節(jié)點(diǎn)，從而來對(duì)系統(tǒng)負(fù)載進(jìn)行調(diào)整。通過模擬實(shí)驗(yàn)來驗(yàn)證LAFAS有效性，結(jié)果表明在LAFAS下的系統(tǒng)比隨機(jī)及輪詢策略下的系統(tǒng)負(fù)載更為均衡，而且在LAFAS下操作處理具有更高的性能。

6、r>　　3）針對(duì)分布式環(huán)境下盲目提高操作并行度并不一定能夠提高操作的響應(yīng)能力，反而會(huì)很大程度增加操作過程中網(wǎng)絡(luò)通信代價(jià)問題上，提出了一種基于超圖的數(shù)據(jù)塊重分配策略（FASBH）來降低操作的通信代價(jià)。由于數(shù)據(jù)處理模式的變化，在保證操作并行度的前提下為了減少操作的網(wǎng)絡(luò)通信代價(jià)，則需要將操作訪問的數(shù)據(jù)塊盡量存儲(chǔ)到同一節(jié)點(diǎn)上，在這樣的目標(biāo)上提出了FASBH。首先，選擇較為典型的歷史操作，使用超圖模型來對(duì)歷史操作所訪問的數(shù)據(jù)塊的相關(guān)度進(jìn)行衡量；其

7、次，使用超圖劃分算法對(duì)數(shù)據(jù)塊超圖進(jìn)行劃分，該劃分算法保證操作一定并行度的前提下盡量將相關(guān)度高的數(shù)據(jù)塊劃分到同一節(jié)點(diǎn)上，從而降低操作執(zhí)行過程中的網(wǎng)絡(luò)通信代價(jià)；最后，以最小的遷移代價(jià)對(duì)數(shù)據(jù)塊進(jìn)行遷移。通過實(shí)驗(yàn)來驗(yàn)證FASBH的有效性，結(jié)果表明FASBH在數(shù)據(jù)塊相關(guān)性衡量以及系統(tǒng)處理性能上都比傳統(tǒng)策略（基于圖的策略）具有更高的效率。
　　4）針對(duì)大數(shù)據(jù)的特定應(yīng)用（微博系統(tǒng)）中對(duì)博文建立實(shí)時(shí)索引效率低的問題上，提出了一種基于主題的實(shí)時(shí)分布

8、式索引技術(shù)（RDIBT）。RDIBT首先使用主題判斷技術(shù)對(duì)新加入系統(tǒng)的博文的主題進(jìn)行推斷；其次，在該博文對(duì)應(yīng)的主題索引上對(duì)該博文建立索引，每個(gè)主題索引都是多層索引結(jié)構(gòu)，該結(jié)構(gòu)能夠保證最新加入系統(tǒng)的博文只在該索引結(jié)構(gòu)的最低層索引上進(jìn)行操作，之后再批量將低層索引更新到高層索引上，從而來保證索引更新效率；最后，將主題索引分布存儲(chǔ)到系統(tǒng)上實(shí)現(xiàn)搜索的并行處理來提高搜索處理的效率。通過真實(shí)的Twitter數(shù)據(jù)集來驗(yàn)證RDIBT的有效性，結(jié)果表明RD