基于MapReduce的柵格地圖切片系統(tǒng).pdf

1、近年來，地理信息技術(shù)的飛速發(fā)展和空間遙感儀器分辨率的不斷提高，使得地圖應(yīng)用領(lǐng)域不斷擴大、柵格地圖數(shù)據(jù)量急劇增長?，F(xiàn)階段WebGIS系統(tǒng)通常預(yù)先對柵格地圖數(shù)據(jù)進行切片，并以瓦片金字塔形式組織柵格地圖數(shù)據(jù)。當(dāng)客戶端訪問WebGIS系統(tǒng)獲取地圖數(shù)據(jù)時，服務(wù)器端將預(yù)先切片完成的瓦片數(shù)據(jù)返回給客戶端。傳統(tǒng)單機式地圖切片系統(tǒng)受限于單一節(jié)點的計算能力和存儲能力，漸漸成為海量柵格地圖數(shù)據(jù)處理技術(shù)發(fā)展的瓶頸。加快海量柵格地圖數(shù)據(jù)的切片速度，對提高WebG

2、IS的效率具有重要意義。
　　云計算技術(shù)能夠?qū)?shù)據(jù)和計算任務(wù)分散到大量計算機節(jié)點上進行管理，具備高可靠性和高可擴展性等特點。云計算技術(shù)提供了前所未有的計算能力和存儲能力，為提高海量柵格地圖數(shù)據(jù)的切片速度提供了新的基礎(chǔ)平臺。本文基于分布式計算框架MapReduce搭建了柵格地圖數(shù)據(jù)切片系統(tǒng)，解決了海量柵格地圖數(shù)據(jù)的切片問題。本文的主要研究內(nèi)容和創(chuàng)新點如下：
　　1.對現(xiàn)有分布式柵格地圖切片系統(tǒng)關(guān)鍵技術(shù)進行了研究。指出了當(dāng)前柵格

3、地圖切片系統(tǒng)的不足之處。針對海量地圖數(shù)據(jù)的切片需求，設(shè)計了基于MapReduce的柵格地圖切片系統(tǒng)。
　　2.對HDFS的冗余備份機制進行了研究。提出了一種地圖源文件拆分算法。該算法利用MapReduce的“本地計算”機制，能夠減少地圖切片過程中的網(wǎng)絡(luò)數(shù)據(jù)傳輸，使切片任務(wù)在實際存儲地圖數(shù)據(jù)的節(jié)點上運行，降低了切片系統(tǒng)對網(wǎng)絡(luò)帶寬資源的依賴程度。
　　3.對瓦片金字塔構(gòu)建方案進行了研究。結(jié)合瓦片金字塔的模型結(jié)構(gòu)，設(shè)計了一種利用瓦

4、片緩存技術(shù)的瓦片金字塔構(gòu)建方法。通過降低瓦片縮放時的計算量來加快瓦片金字塔的構(gòu)建速度。利用金字塔內(nèi)瓦片的排布規(guī)律，減少瓦片金字塔構(gòu)建過程中的內(nèi)存使用量。
　　4.對海量數(shù)據(jù)下的瓦片金字塔并行構(gòu)建技術(shù)進行了研究。結(jié)合 MapReduce的應(yīng)用特點，提出了一種基于MapReduce的迭代式瓦片金字塔構(gòu)建方案。該方案將格式塊文件分配到多個節(jié)點獨立切片，實現(xiàn)了瓦片金字塔的并行構(gòu)建。通過合并瓦片金字塔的底層數(shù)據(jù)并將其作為下一輪切片操作的輸入

5、數(shù)據(jù)，實現(xiàn)了迭代式切片。該方案利用云計算技術(shù)強大的計算能力和存儲能力，提高了海量柵格地圖數(shù)據(jù)的切片速度。
　　結(jié)合上述研究成果，本文實現(xiàn)了基于MapReduce的海量柵格地圖數(shù)據(jù)切片系統(tǒng)，并針對系統(tǒng)切片時間進行了性能測試，實際測試結(jié)果證實了本文所述內(nèi)容的可行性及有效性。測試結(jié)果證明了在柵格地圖數(shù)據(jù)量保持不變的情況下，系統(tǒng)的切片時間隨著集群中切片節(jié)點數(shù)的增加而線性下降。本文利用云計算技術(shù)提高了地圖切片系統(tǒng)的切片速度，解決了海量柵格地