海量數(shù)據(jù)的劃分和查詢方法的研究.pdf

1、隨著網(wǎng)絡(luò)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)等持續(xù)增加，形成大量的數(shù)據(jù)，這些數(shù)據(jù)給存儲(chǔ)和查詢帶來嚴(yán)峻的挑戰(zhàn)。但可憑借數(shù)據(jù)劃分方法將海量數(shù)據(jù)分塊分布存儲(chǔ)在多個(gè)機(jī)器中，這樣既能能解決單機(jī)器的存儲(chǔ)容量上限問題，也能通過先篩選分塊來縮小查詢目標(biāo)數(shù)據(jù)的范圍，還可利用多機(jī)器協(xié)同查詢以提高數(shù)據(jù)查詢的效率。
　　本文為進(jìn)行數(shù)據(jù)分塊存儲(chǔ)和查詢需要做一些初始化工作，例如基于機(jī)器性能和數(shù)據(jù)集特點(diǎn)，按機(jī)器個(gè)數(shù)和經(jīng)驗(yàn)設(shè)置數(shù)據(jù)區(qū)間；選擇被劃分?jǐn)?shù)據(jù)對(duì)應(yīng)的直角坐標(biāo)到極坐標(biāo)的轉(zhuǎn)化公式；

2、設(shè)計(jì)數(shù)據(jù)區(qū)間索引表，索引表不僅是數(shù)據(jù)劃分的依據(jù)，而且是查詢數(shù)據(jù)時(shí)數(shù)據(jù)篩選的依據(jù)，為了提高加權(quán)和 Top-K查詢的數(shù)據(jù)區(qū)間篩選效率，設(shè)計(jì)線索樹結(jié)構(gòu)的索引表，為了提高一般查詢的數(shù)據(jù)區(qū)間篩選效率，設(shè)計(jì)簡單樹結(jié)構(gòu)的索引表。本文基于直角坐標(biāo)到極坐標(biāo)的轉(zhuǎn)化公式來計(jì)算待劃分的數(shù)據(jù)相應(yīng)的角度和距離值，并與存儲(chǔ)在索引表中的表示預(yù)設(shè)數(shù)據(jù)區(qū)間情況的角度和距離范圍比較，然后存儲(chǔ)在與此數(shù)據(jù)區(qū)間相對(duì)應(yīng)的機(jī)器文件中。從而實(shí)現(xiàn)大數(shù)據(jù)量的文件以小數(shù)據(jù)量的文件的方式存儲(chǔ)，

3、即實(shí)現(xiàn)了數(shù)據(jù)的劃分。隨著被劃分的數(shù)據(jù)增多，當(dāng)某個(gè)數(shù)據(jù)區(qū)間對(duì)應(yīng)的文件存儲(chǔ)的數(shù)據(jù)量過大時(shí)，則采用數(shù)據(jù)區(qū)間分裂方法，把該數(shù)據(jù)區(qū)間劃分成幾份新的數(shù)據(jù)區(qū)間，并將原數(shù)據(jù)區(qū)間對(duì)應(yīng)的文件中存儲(chǔ)的數(shù)據(jù)重新按角度和距離再次進(jìn)行劃分到該分區(qū)下屬的新數(shù)據(jù)區(qū)內(nèi)對(duì)應(yīng)的文件中，同時(shí)修改數(shù)據(jù)區(qū)間索引表的分區(qū)信息。此外，基于本文的數(shù)據(jù)劃分存儲(chǔ)方法，給出加權(quán)和 Top-K和一般查詢的方法。先通過索引表找到所屬的數(shù)據(jù)區(qū)間所在的文件，再利用MapReduce任務(wù)對(duì)涉及到的文件