流式數(shù)據(jù)實(shí)時(shí)查詢方法研究.pdf

1、流式數(shù)據(jù)是指不斷產(chǎn)生、實(shí)時(shí)計(jì)算、動(dòng)態(tài)增加且要求及時(shí)響應(yīng)的數(shù)據(jù)，因其海量和實(shí)時(shí)性等特點(diǎn)，流式數(shù)據(jù)系統(tǒng)一般僅存儲(chǔ)最近一段時(shí)間內(nèi)的數(shù)據(jù)。已有的流式數(shù)據(jù)存儲(chǔ)查詢方式主要采用基于分布式文件系統(tǒng)的數(shù)據(jù)庫，即:底層存儲(chǔ)采用Hadoop分布式文件系統(tǒng)HDFS，上層采用以大規(guī)模并行處理MPP架構(gòu)作為調(diào)度引擎的數(shù)據(jù)庫。目前，基于HDFS的數(shù)據(jù)庫在流式數(shù)據(jù)的存儲(chǔ)與查詢方面中存在以下不足:1.HDFS適于批量數(shù)據(jù)的存儲(chǔ)，直接將流式數(shù)據(jù)單條存入HDFS，將產(chǎn)生大

2、量文件碎片，使數(shù)據(jù)訪問尋址時(shí)間增大，難以滿足實(shí)時(shí)性查詢的應(yīng)用需求;2.現(xiàn)有的數(shù)據(jù)庫系統(tǒng)查詢時(shí)一般需啟動(dòng)MapReduce，因有較大延時(shí)，查詢實(shí)時(shí)性比較差。3.當(dāng)需要在數(shù)據(jù)倉庫工具與傳統(tǒng)數(shù)據(jù)庫進(jìn)行關(guān)聯(lián)查詢時(shí)，已有的數(shù)據(jù)全復(fù)制策略對空間和時(shí)間占用較大，查詢效率較低。
　　針對上述問題，本文基于分布式文件系統(tǒng)HDFS和數(shù)據(jù)查詢系統(tǒng)Impala，采用緩存策略對單源和多源流式數(shù)據(jù)存儲(chǔ)與查詢方法進(jìn)行研究，并對傳統(tǒng)數(shù)據(jù)庫與基于分布式文件系統(tǒng)的數(shù)

3、據(jù)倉庫工具間跨平臺(tái)關(guān)聯(lián)查詢方法進(jìn)行了研究和應(yīng)用測試。
　　本文的主要工作包括:1.基于緩存的單源數(shù)據(jù)查詢方法研究，即:單源流式數(shù)據(jù)經(jīng)格式處理后，采用緩存機(jī)制存儲(chǔ)到分布式文件系統(tǒng)，并使用數(shù)據(jù)倉庫工具Impala實(shí)現(xiàn)流式數(shù)據(jù)的實(shí)時(shí)查詢。2.多源數(shù)據(jù)實(shí)時(shí)查詢及多級緩存優(yōu)化方法研究，即:當(dāng)多源流式數(shù)據(jù)共存時(shí)，采用多源單隊(duì)列和多源多隊(duì)列兩種方法對數(shù)據(jù)來源進(jìn)行區(qū)分和緩存，然后將多源數(shù)據(jù)的查詢歸類到單源數(shù)據(jù)的查詢，以提升系統(tǒng)對多數(shù)據(jù)源的支持;同

4、時(shí)，本文還提出一種多級緩存優(yōu)化策略，該策略可支持對緩存的數(shù)據(jù)進(jìn)行查詢，以提升查詢的實(shí)時(shí)性。3.傳統(tǒng)數(shù)據(jù)庫與數(shù)據(jù)倉庫工具跨平臺(tái)查詢方法研究，即:面向傳統(tǒng)數(shù)據(jù)庫與數(shù)據(jù)倉庫工具的關(guān)聯(lián)查詢，提出一種能夠支持跨越這兩種平臺(tái)的數(shù)據(jù)查詢方法，該方法將關(guān)聯(lián)查詢中傳統(tǒng)數(shù)據(jù)庫的查詢結(jié)果以臨時(shí)表的形式存儲(chǔ)到Impala，然后在Impala平臺(tái)上進(jìn)行本地的關(guān)聯(lián)查詢。
　　本文的創(chuàng)新點(diǎn)為:1.提出一種基于緩存的單源流式數(shù)據(jù)查詢方法，該方法采用緩存機(jī)制存儲(chǔ)數(shù)

5、據(jù)，并使用查詢效率較高的Impala對存儲(chǔ)的數(shù)據(jù)進(jìn)行查詢，有效地提升了查詢的實(shí)時(shí)性。2.采用面向多源數(shù)據(jù)查詢的多源單隊(duì)列和多源多隊(duì)列兩種方法，是單源數(shù)據(jù)緩存方法的擴(kuò)展;同時(shí)提出一種多級緩存優(yōu)化策略，該策略支持對緩存的數(shù)據(jù)進(jìn)行查詢，可大大提升查詢的實(shí)時(shí)性。3.提出了一種能夠支持跨越傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫工具的數(shù)據(jù)關(guān)聯(lián)查詢方法，該方法將關(guān)聯(lián)查詢中傳統(tǒng)數(shù)據(jù)庫的查詢結(jié)果以臨時(shí)表的形式存儲(chǔ)到數(shù)據(jù)倉庫工具，可大大減少兩平臺(tái)間的數(shù)據(jù)傳輸量，節(jié)省數(shù)據(jù)傳輸