基于NoSQL的數(shù)據(jù)分析技術(shù)的應用研究.pdf

1、當今社會每天都在不斷地產(chǎn)生大量的數(shù)據(jù)，且蘊涵著大量待分析和挖掘的有價值信息。例如數(shù)據(jù)倉庫系統(tǒng)中往往蘊涵了很多有價值的信息供查詢和分析，通過對這些信息的分析可幫助企業(yè)做出決策。如何在節(jié)省機器資源成本的情況下快速獲取這些有價值的信息以提高企業(yè)的工作效率已成為很多研究者的焦點，傳統(tǒng)的RDBMS已經(jīng)不適應龐大的數(shù)據(jù)查詢和分析，主要是因為其固定的關系模型和低效的表連接操作等，制約了查詢的效率，而新型的NoSQL數(shù)據(jù)庫如hyperdex因為它們有著

2、更靈活的存儲模式和查詢模式正適合解決此類問題，基于hyperdex構(gòu)建的數(shù)據(jù)倉庫性能上要遠高于傳統(tǒng)的RDBMS，但為了進一步優(yōu)化查詢效率，hyperdex提供了區(qū)域索引，不過當區(qū)域中的對象數(shù)量較大時，其效率并不是很高。為此，本文基于NoSQL進行了數(shù)據(jù)分析技術(shù)應用的研究，針對hyperdex原始區(qū)域索引，提出了多對象副本聚集區(qū)域索引(CMORARI)與單對象副本聚集區(qū)域索引(CSORARI)，該算法將原來存儲于SQL中的星型結(jié)構(gòu)的cub

3、e轉(zhuǎn)換成存儲到NoSQL中的key value字典結(jié)構(gòu)的cube。并以TPC-H SSB實際零售應用案例驗證了方法的有效性，證明hyperdex在大數(shù)據(jù)倉庫領域具有比較好的應用價值。主要工作包括:
　　1.cube多對象副本聚集區(qū)域索引的建立:首先從維度表中讀取所有維度記錄得到維度定義域，然后遍歷事實表中的每條記錄，如該條事實記錄在維度定義域中，則對該條事實記錄的各個維度屬性建立區(qū)域索引及關聯(lián)該條事實記錄，否則忽略該條事實記錄，并

4、讀入下一條記錄，重復上述過程直至遍歷完所有事實記錄。最終將各個屬性的區(qū)域索引及其關聯(lián)的事實記錄存入hyperdex，由于每條事實記錄要關聯(lián)每個屬性，所以叫做多對象副本。該算法所生成的區(qū)域索引是將原始hyperdex區(qū)域索引的多個索引項合并為一個，這既減少了索引的存儲空間，也加快了索引的解析速度，進而提高了查詢效率。
　　2.cube單對象副本聚集區(qū)域索引的建立:為了減小上述區(qū)域索引方法中事實記錄副本所占用的存儲空間，提出將事實記錄

5、單獨存儲。與多對象副本聚集區(qū)域索引的建立相比，不同的是不對維度屬性值與事實記錄進行關聯(lián)，每條事實記錄只保留一份，存儲在單獨的hyperdex超空間中，所以叫做單對象副本。
　　3.查詢分析實現(xiàn)以及性能對比分析:基于上述經(jīng)過區(qū)域索引后的cube進行查詢的設計與實現(xiàn)。查詢過程首先通過命令行參數(shù)指定查詢條件，然后分析這些條件并執(zhí)行查詢API，從而得到查詢結(jié)果。最后對查詢實驗進行了性能對比分析，論述了影響查詢性能的一些因素以及改進策略，以