基于Hadoop的大數(shù)據(jù)相關(guān)性分析與實(shí)現(xiàn).pdf

1、隨著計算機(jī)技術(shù)的快速發(fā)展，以及各行各業(yè)辦公網(wǎng)絡(luò)化，人類積累了海量的業(yè)務(wù)數(shù)據(jù)。面對這些海量數(shù)據(jù)，如何快速高效的挖掘和分析這些數(shù)據(jù)背后的價值便成為各企業(yè)迫切的需求。本文便是在這樣一個背景下提出一種大數(shù)據(jù)相關(guān)性分析方法，并實(shí)現(xiàn)相關(guān)性分析過程。通過相關(guān)性分析系統(tǒng)分析出大數(shù)據(jù)之間的關(guān)聯(lián)信息，進(jìn)行相關(guān)性分析，從而通過已有的數(shù)據(jù)去預(yù)測未知的一種變化趨勢。本文具體研究內(nèi)容如下:
　　本文搭建了大數(shù)據(jù)分 析處理平臺，并提出基于維度Rowkey

2、的設(shè)計算法。針對大數(shù)據(jù)具有數(shù)據(jù)量大、維度高、復(fù)雜度高、非結(jié)構(gòu)化等特點(diǎn)，搭建了基于Hadoop和HBase的大數(shù)據(jù)的存儲和處理集群，該集群包括5臺服務(wù)器，其中一臺作為master節(jié)點(diǎn)，另外4臺作為slave節(jié)點(diǎn)。通過平臺對數(shù)據(jù)進(jìn)行前期處理，然后提出基于維度Rowkey的設(shè)計算法，從而實(shí)現(xiàn)有效數(shù)據(jù)切分，使得數(shù)據(jù)均衡的分布在集群中的不同節(jié)點(diǎn)上，從而直接提高分析平臺的并行計算效率。
　　本文中，還提出了一種Hadoop/HBase之上的大

3、數(shù)據(jù)分布式索引技術(shù)。目的是要實(shí)現(xiàn)對大數(shù)據(jù)的高效、實(shí)時的查詢和檢索。這種多維索引包括全局索引和局部索引兩級結(jié)構(gòu)，整個索引的核心在于如何創(chuàng)建局部索引并將它應(yīng)用到全局。接下來提出一種基于PCA的維度排序算法，對數(shù)據(jù)進(jìn)行相關(guān)性分析實(shí)驗(yàn)。通過對新求出的“主元”向量的重要性進(jìn)行維度排序，然后僅僅保留排名靠前的包含重要信息的那部分維度，從而達(dá)到對數(shù)據(jù)降維，簡化模型和壓縮數(shù)據(jù)的效果。最后通過R軟件對它們進(jìn)行相關(guān)性分析實(shí)驗(yàn)。最后利用D3和Web技術(shù)實(shí)現(xiàn)了