海量數(shù)據(jù)的劃分和查詢方法的研究.pdf

1、隨著網(wǎng)絡數(shù)據(jù)、生產(chǎn)數(shù)據(jù)等持續(xù)增加，形成大量的數(shù)據(jù)，這些數(shù)據(jù)給存儲和查詢帶來嚴峻的挑戰(zhàn)。但可憑借數(shù)據(jù)劃分方法將海量數(shù)據(jù)分塊分布存儲在多個機器中，這樣既能能解決單機器的存儲容量上限問題，也能通過先篩選分塊來縮小查詢目標數(shù)據(jù)的范圍，還可利用多機器協(xié)同查詢以提高數(shù)據(jù)查詢的效率。
　　本文為進行數(shù)據(jù)分塊存儲和查詢需要做一些初始化工作，例如基于機器性能和數(shù)據(jù)集特點，按機器個數(shù)和經(jīng)驗設置數(shù)據(jù)區(qū)間；選擇被劃分數(shù)據(jù)對應的直角坐標到極坐標的轉(zhuǎn)化公式；

2、設計數(shù)據(jù)區(qū)間索引表，索引表不僅是數(shù)據(jù)劃分的依據(jù)，而且是查詢數(shù)據(jù)時數(shù)據(jù)篩選的依據(jù)，為了提高加權和 Top-K查詢的數(shù)據(jù)區(qū)間篩選效率，設計線索樹結構的索引表，為了提高一般查詢的數(shù)據(jù)區(qū)間篩選效率，設計簡單樹結構的索引表。本文基于直角坐標到極坐標的轉(zhuǎn)化公式來計算待劃分的數(shù)據(jù)相應的角度和距離值，并與存儲在索引表中的表示預設數(shù)據(jù)區(qū)間情況的角度和距離范圍比較，然后存儲在與此數(shù)據(jù)區(qū)間相對應的機器文件中。從而實現(xiàn)大數(shù)據(jù)量的文件以小數(shù)據(jù)量的文件的方式存儲，

3、即實現(xiàn)了數(shù)據(jù)的劃分。隨著被劃分的數(shù)據(jù)增多，當某個數(shù)據(jù)區(qū)間對應的文件存儲的數(shù)據(jù)量過大時，則采用數(shù)據(jù)區(qū)間分裂方法，把該數(shù)據(jù)區(qū)間劃分成幾份新的數(shù)據(jù)區(qū)間，并將原數(shù)據(jù)區(qū)間對應的文件中存儲的數(shù)據(jù)重新按角度和距離再次進行劃分到該分區(qū)下屬的新數(shù)據(jù)區(qū)內(nèi)對應的文件中，同時修改數(shù)據(jù)區(qū)間索引表的分區(qū)信息。此外，基于本文的數(shù)據(jù)劃分存儲方法，給出加權和 Top-K和一般查詢的方法。先通過索引表找到所屬的數(shù)據(jù)區(qū)間所在的文件，再利用MapReduce任務對涉及到的文件