云環(huán)境下海量數(shù)據(jù)查詢處理與分析技術(shù)研究.pdf

1、近年來，隨著數(shù)據(jù)量的急劇增長，數(shù)據(jù)處理技術(shù)也同步獲得非常巨大的發(fā)展。有別于過去傳統(tǒng)的數(shù)據(jù)查詢分析技術(shù)，借助于云計算技術(shù)的海量數(shù)據(jù)查詢處理與分析技術(shù)有其本質(zhì)特征。目前，云環(huán)境下的海量數(shù)據(jù)查詢處理與分析技術(shù)仍處于不成熟階段，但其先進(jìn)性和實用價值已無可置疑。因此，研究云環(huán)境下的海量數(shù)據(jù)查詢處理與分析技術(shù)具有重要意義。
　　現(xiàn)有的研究已經(jīng)解決了大部分簡單的查詢處理問題，對于一些更為復(fù)雜的查詢處理分析問題，要么不能解決，要么效率不高。本文圍

2、繞云環(huán)境下海量數(shù)據(jù)的k近鄰連接查詢，和kMeans聚類分析進(jìn)行研究，主要研究工作如下：
　?。?）根據(jù)云環(huán)境下大規(guī)模數(shù)據(jù)查詢處理分析的特點，提出了一種適用于多個具有依賴關(guān)系的MapReduce任務(wù)的計算框架——基于數(shù)據(jù)流的計算框架。由于MapReduce任務(wù)均需要讀寫分布式文件系統(tǒng)，導(dǎo)致MapReduce不能有效表達(dá)多個任務(wù)之間依賴關(guān)系。該框架將數(shù)據(jù)處理過程不再按照單任務(wù)建模，而是作為一種數(shù)據(jù)流圖來處理，減少了多個具有依賴關(guān)系Ma

3、pReduce任務(wù)之間的文件存儲。重新組合任務(wù)提高運行效率。
　　（2）k-近鄰連接（kNN Join）查詢是空間數(shù)據(jù)庫中一種常用操作，隨著數(shù)據(jù)呈爆炸式增長，設(shè)計分布式k-近鄰連接查詢算法成為了目前急需解決的問題。由于現(xiàn)有的分布式kNN Join查詢算法都包括了多輪串行的MapReduce任務(wù)，因此提出了一種基于數(shù)據(jù)流計算框架上高效的kNN Join算法，利用空間填充曲線(z曲線)將多維數(shù)據(jù)映射為一維數(shù)據(jù)，從而將k-近鄰連接查詢轉(zhuǎn)

4、化為一維范圍查詢。
　?。?）傳統(tǒng)的集中式kMeans算法已不能適應(yīng)當(dāng)前的數(shù)據(jù)規(guī)?！，F(xiàn)有分布式kMeans算法是基于MapReduce計算框架而且沒有考慮到初始聚類中心的影響。因此，在基于數(shù)據(jù)流框架基礎(chǔ)上,提出了一種高效的kMeans算法。該算法采用了基于多次采樣的方式確定初始聚類中心實現(xiàn)負(fù)載均衡降低算法迭代次數(shù)。
　?。?）對Hive進(jìn)行了改進(jìn)和擴充，針對空間數(shù)據(jù)查詢處理分析的復(fù)雜性，云環(huán)境下大規(guī)模數(shù)據(jù)查詢處理與分析出現(xiàn)的