針對地震大數(shù)據(jù)的分布式文件系統(tǒng)的研究與設(shè)計.pdf

1、現(xiàn)代社會隨著科學(xué)技術(shù)不斷地進步發(fā)展，互聯(lián)網(wǎng)的不斷普及，人們逐漸了解了云這個全新的定義。伴隨著云時代的到來，大數(shù)據(jù)也同樣進入了人們的視線。信息技術(shù)的長足進步，大數(shù)據(jù)的應(yīng)用已涉及到了社會的各行各業(yè)。其中在地震勘探方面，為了滿足社會的需求，地震勘探所產(chǎn)生的數(shù)據(jù)量也在大幅增長，海量數(shù)據(jù)的產(chǎn)生雖然很好地反映了社會對石油、天然氣等資源的極大需求，但是大規(guī)模的數(shù)據(jù)的處理問題也給地震勘探行業(yè)帶來嚴峻的挑戰(zhàn)。
　　地震勘探產(chǎn)生的海量數(shù)據(jù)所帶來的問題

2、是多方面的，包括存儲、讀取、冗余、抽取等。本文重點針對數(shù)據(jù)的存儲與讀取兩個方面。
　　在實際情況中，讀取地震數(shù)據(jù)需要考慮用戶的具體情況，滿足用戶的需求，這一般體現(xiàn)在讀取數(shù)據(jù)的速度和效率方面，同時還需要考慮到地震數(shù)據(jù)本身的特點。本文針對這些方面設(shè)計了一種架構(gòu)，采用分布和分級的策略。分布即對地震數(shù)據(jù)的分布式存儲:把大量的地震數(shù)據(jù)分散到各個存儲節(jié)點進行存儲，同時通過一個主節(jié)點對這些數(shù)據(jù)節(jié)點進行管理;分級即數(shù)據(jù)的分級查詢:從主節(jié)點到數(shù)據(jù)節(jié)

3、點，分級地對所需要的數(shù)據(jù)進行查詢，進而得到用戶所需要的數(shù)據(jù)。
　　本文在此架構(gòu)的基礎(chǔ)上，針對地震勘探數(shù)據(jù)本身的存儲格式即SEG-Y格式，以該格式為基準，對地震數(shù)據(jù)的存儲格式進行了改進，并與原SEG-Y進行對比，結(jié)果表明在一定程度上提高了效率。除此之外，本文基于此架構(gòu)加入了兩級索引結(jié)構(gòu)，通過索引快速找出數(shù)據(jù)存儲的位置并進行讀取，保證了用戶讀取數(shù)據(jù)的需求。這是本文基于分布分級策略的相關(guān)實現(xiàn)細節(jié)，也是本文的創(chuàng)新之處所在。
　　針對

4、以上幾個方面的研究，本文以目前比較流行的兩種分布式文件系統(tǒng)FastDFS和Hadoop DFS為載體，結(jié)合地震數(shù)據(jù)本身的特點以及對IO性能的需求，把前文提出的分布與分級式的策略融合進這兩個分布式文件系統(tǒng)中，使其在地震數(shù)據(jù)的性能方面能發(fā)揮出應(yīng)有的優(yōu)勢。然后在此基礎(chǔ)上對文件的操作進行測試并與原有分布式文件系統(tǒng)進行性能對比，測試與對比結(jié)果表明，本文設(shè)計出的分布式文件系統(tǒng)在對地震勘探數(shù)據(jù)的處理是十分合適且高效的。由于本文設(shè)計出的系統(tǒng)對于地震數(shù)據(jù)