海量數(shù)據(jù)壓縮、操作和處理方法的研究.pdf

1、在信息技術(shù)高速發(fā)展的海量信息時代，海量數(shù)據(jù)管理技術(shù)已經(jīng)成為社會信息化的迫切任務(wù)。如何有效地存儲和管理海量數(shù)據(jù)并高效地支持海量數(shù)據(jù)上的查詢，對數(shù)據(jù)庫管理系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。
　　海量數(shù)據(jù)庫被廣泛地應(yīng)用于地震監(jiān)測、天氣預(yù)報、物理化學(xué)實驗等實際應(yīng)用中，如科學(xué)與統(tǒng)計數(shù)據(jù)庫，其數(shù)據(jù)最大的特點是存在大量的數(shù)據(jù)冗余，即相同的數(shù)據(jù)在不同的地方多次重復(fù)出現(xiàn)。如果對這種類型的關(guān)系數(shù)據(jù)直接進行存儲，不僅浪費大量的存儲空間，而且降低了查詢的效率。另外，

2、這類數(shù)據(jù)的模式相對穩(wěn)定，屬性值域有限，新產(chǎn)生的數(shù)據(jù)只追加到當(dāng)前數(shù)據(jù)末尾而不更新已有內(nèi)容；并且在數(shù)據(jù)上的查詢大多只與眾多屬性中的少數(shù)幾個相關(guān)。
　　數(shù)據(jù)壓縮技術(shù)與數(shù)據(jù)庫技術(shù)進行結(jié)合，對海量數(shù)據(jù)庫的存儲與查詢進行處理，形成了壓縮數(shù)據(jù)庫技術(shù)。壓縮數(shù)據(jù)庫技術(shù)研究的內(nèi)容主要包括數(shù)據(jù)壓縮方法、數(shù)據(jù)操作算法和查詢處理技術(shù)。
　　本文提出了海量數(shù)據(jù)庫中數(shù)據(jù)的壓縮和存儲方法、壓縮數(shù)據(jù)上的數(shù)據(jù)操作算法和查詢處理技術(shù)。
　　本文提出的壓縮算

3、法采用列存儲的思想，使用二進制編碼、一元編碼、K-of-N編碼和疊加編碼對數(shù)據(jù)進行壓縮，將屬性對應(yīng)的編碼數(shù)據(jù)按照編碼位進行擴展游程編碼存儲。
　　本文提出了壓縮數(shù)據(jù)上無需解壓縮的數(shù)據(jù)操作算法，包括選擇操作和投影操作，將對原始數(shù)據(jù)的查詢操作轉(zhuǎn)化為對壓縮數(shù)據(jù)編碼位的操作，簡化了查詢的實現(xiàn)。
　　利用上述思想設(shè)計并實現(xiàn)了一個海量數(shù)據(jù)壓縮和查詢原型系統(tǒng)。理論分析和初步實驗表明，采用列存儲思想對海量數(shù)據(jù)進行壓縮和存儲可以很好地提高存儲