面向海量天文數(shù)據(jù)的分布式存儲引擎的研究.pdf

1、面向海量天文數(shù)據(jù)的面向海量天文數(shù)據(jù)的分布式存儲引擎的研究分布式存儲引擎的研究ResearchonMassiveAstronomicalDataientedDistributedStageEngine學科專業(yè)：計算機科學與技術研究生：余駿指導教師：孫濟洲教授天津大學計算機科學與技術學院二零一三年十二月摘要隨著天文觀測設備和技術的進步，天文觀測數(shù)據(jù)規(guī)模的迅速增長使得如何存儲海量觀測數(shù)據(jù)以及如何能夠迅速從中獲取想要的信息成為難題。傳統(tǒng)單節(jié)點的

2、文件系統(tǒng)和關系型數(shù)據(jù)庫在處理海量天文數(shù)據(jù)方面的性能無法讓人接受。因此，設計一套針對海量天文數(shù)據(jù)處理的分布式存儲引擎便顯得十分的必要和重要。天文數(shù)據(jù)可以分為星表數(shù)據(jù)和星圖數(shù)據(jù)，這兩種數(shù)據(jù)有不同的格式和應用場景。本文針對天文星表和星圖的特點，分別設計了兩種分布式存儲方案，進而加快對這兩種數(shù)據(jù)的存取。星圖數(shù)據(jù)采用分布式文件系統(tǒng)來存取，本文基于星圖數(shù)據(jù)的特點首先提出了混合數(shù)據(jù)訪問模型以減輕分布式文件系統(tǒng)中的網(wǎng)絡開銷，然后在開源分布式文件系統(tǒng)an

3、geFS上實現(xiàn)了該模型。星表數(shù)據(jù)則采用基于位圖索引的列式存儲引擎FastBit，本文針對單節(jié)點版本的FastBit在處理海量天文數(shù)據(jù)時會遇到的內(nèi)存問題，設計并實現(xiàn)了FastBit的分布式數(shù)據(jù)存儲引擎，提出了FastBit的分布式數(shù)據(jù)劃分算法以及基于SQL分析的并行查詢算法。本文主要分為兩部分，第一部分首先分析了分布式文件系統(tǒng)中客戶端節(jié)點在不同文件大小與不同數(shù)據(jù)規(guī)模下的吞吐率瓶頸，并根據(jù)天文星圖的特征提出了混合數(shù)據(jù)訪問模型。從模型的意義和

4、目的角度，對其進行了分析和介紹。接著描述了模型的原理和流程，以及如何將該模型應用到實際的angeFS分布式文件系統(tǒng)中。通過benchmark以及真實天文應用的測試，驗證了采用該模型的分布式存儲對天文星圖讀寫的加速效果。第二部分首先分析傳統(tǒng)關系型數(shù)據(jù)庫在處理海量天文星表數(shù)據(jù)時所存在的問題，并介紹了基于位圖索引的列式存儲引擎FastBit以及它在處理海量天文數(shù)據(jù)時所存在的內(nèi)存問題。然后提出了FastBit的分布式數(shù)據(jù)劃分算法以及基于SQL分