面向海量數(shù)據(jù)的位圖索引技術(shù)及應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，數(shù)量巨大、種類繁多的數(shù)據(jù)涌入互聯(lián)網(wǎng)，大數(shù)據(jù)時(shí)代隨之到來。在數(shù)據(jù)量大、種類繁多的海量數(shù)據(jù)中快速、準(zhǔn)確的查找到滿足條件的數(shù)據(jù)具有重要的現(xiàn)實(shí)意義。為加快和優(yōu)化查詢過程，索引技術(shù)應(yīng)運(yùn)而生。在眾多索引技術(shù)中，位圖索引以存儲(chǔ)空間小，查詢速度快等特點(diǎn)在一些場(chǎng)合得到了切實(shí)有效的應(yīng)用。為了適應(yīng)海量數(shù)據(jù)在存儲(chǔ)和查詢上需求，提出了分值-區(qū)間型位圖索引技術(shù)，并研究了基于此索引結(jié)構(gòu)的“集合型查詢”的優(yōu)化方案。同時(shí)，設(shè)計(jì)了一種面向海量數(shù)據(jù)的位

2、圖索引結(jié)構(gòu)。本文的具體工作內(nèi)容如下：
　　1)結(jié)合位圖索引和數(shù)據(jù)特點(diǎn)，提出了分值-區(qū)間型位圖索引結(jié)構(gòu)
　　為了進(jìn)一步節(jié)約海量數(shù)據(jù)下索引數(shù)據(jù)存儲(chǔ)空間，結(jié)合基本位圖索引、區(qū)間型位圖索引和分值型位圖索引優(yōu)勢(shì)，提出了一種新型的位圖索引方案——分值-區(qū)間型位圖索引。該存儲(chǔ)結(jié)構(gòu)可以較大程度節(jié)約索引的存儲(chǔ)，并且更加有利于集合型查詢。
　　2)利用數(shù)據(jù)挖掘技術(shù)，優(yōu)化分值-區(qū)間型位圖索引下集合型查詢
　　為了提高數(shù)據(jù)的檢索速度，通

3、過分析用戶查詢數(shù)據(jù)的特點(diǎn)，使用Apriori挖掘算法挖掘某一特定屬性列的多個(gè)屬性值之間的關(guān)聯(lián)性。結(jié)合所提出的分值-區(qū)間型位圖索引方法，將挖掘出的屬性值關(guān)聯(lián)應(yīng)用到集合型查詢語(yǔ)句的優(yōu)化中，從而提高集合型查詢效率。
　　3)提出海量數(shù)據(jù)下位圖索引應(yīng)用的結(jié)構(gòu)
　　論文提出了一種“二級(jí)位圖索引”的索引結(jié)構(gòu)，該結(jié)構(gòu)由全局?jǐn)?shù)據(jù)的元索引和局部數(shù)據(jù)的分布索引兩部分構(gòu)成。首先，在元索引表上對(duì)研究屬性列建立了位圖索引，提高元索引表訪問速度。其次，

4、對(duì)元索引的生成進(jìn)行了優(yōu)化和完善，使得數(shù)據(jù)能夠更加“合理”地分配到各個(gè)分布式存儲(chǔ)節(jié)點(diǎn)，更好地利用分布式節(jié)點(diǎn)的存儲(chǔ)能力。最后，為了使用高并發(fā)查詢，在元索引服務(wù)器（全局服務(wù)器）節(jié)點(diǎn)使用了查詢負(fù)載均衡的策略。同時(shí)對(duì)局部數(shù)據(jù)的分布索引在查詢方面做了進(jìn)一步的優(yōu)化。
　　4)設(shè)計(jì)實(shí)驗(yàn)方案，測(cè)試了海量數(shù)據(jù)下位圖索引各項(xiàng)性能
　　分別測(cè)試了各種位圖索引下進(jìn)行定值、范圍和集合型查詢耗時(shí)對(duì)比；測(cè)試了高并發(fā)對(duì)全局?jǐn)?shù)據(jù)元索引負(fù)載均衡器性能的影響；測(cè)試