基于Hadoop的氣象信息云存儲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、氣象信息存儲系統(tǒng)主要用于省市或者全國的氣象數(shù)據(jù)存儲、顯示、管理和檢索，是氣象預(yù)報工作的基礎(chǔ)部門，也是氣象部門中使用頻率較高的信息化系統(tǒng)之一。當(dāng)前，隨著各大部門氣象信息的數(shù)據(jù)量和氣象數(shù)據(jù)種類不斷高速地增長，如何高效可靠地存儲、管理使用豐富的氣象數(shù)據(jù)信息變得十分重要，傳統(tǒng)的氣象數(shù)據(jù)存儲方式采用文件存儲或者分布式關(guān)系數(shù)據(jù)庫存儲，這種存儲方案日益無法滿足用戶對精細(xì)化氣象預(yù)報業(yè)務(wù)的要求。
　　本文設(shè)計了一種基于Linux OS和HDFS的氣

2、象信息云存儲系統(tǒng)，能夠部署在普通服務(wù)器上，可以很容易擴大整個存儲系統(tǒng)的處理容量，提高了數(shù)據(jù)可靠性的同時也為氣象部門節(jié)約了成本。氣象信息云存儲系統(tǒng)由分布式文件系統(tǒng)、局域通信網(wǎng)絡(luò)、服務(wù)器集群系統(tǒng)、虛擬化存儲技術(shù)等構(gòu)成，把分布在網(wǎng)絡(luò)上的各種存儲設(shè)備整合成為一個資源池，作為一個服務(wù)體系對外提供統(tǒng)一的訪問接口。這樣不僅可以有效整合存儲資源，還可以提高存儲的便捷性和資源共享。用戶上傳的氣象文件都存儲在一個海量數(shù)據(jù)存儲池里面；當(dāng)用戶查找和下載需要的資

3、源時，可以自由方便地從存儲池中下載下來，靈活性很高。用戶層采用擴展性好、架構(gòu)清晰的SSH(Spring+Struts2+Hibernate）框架實現(xiàn)了Web訪問界面，用戶和管理員在不需要了解底層存儲細(xì)節(jié)的情況下，也能夠?qū)庀髷?shù)據(jù)進(jìn)行可視化管理、檢索和維護(hù)。
　　本文最終開發(fā)完成的系統(tǒng)優(yōu)點如下：一、能夠存儲海量數(shù)據(jù)。系統(tǒng)中多臺存儲設(shè)備并發(fā)存取，協(xié)同工作，不僅提高了存儲容量也提高了存儲速度。二、系統(tǒng)可自由擴展?？梢詫υL問頻率較高的數(shù)據(jù)

4、實行多副本策略，在不影響整個系統(tǒng)運營的下進(jìn)行動態(tài)的容量擴展。三、數(shù)據(jù)存儲透明化。后臺數(shù)據(jù)的存儲空間由Hadoop系統(tǒng)自動分配，用戶無需考慮數(shù)據(jù)的存儲方式和存儲位置。四、系統(tǒng)的可靠性高。Hadoop使用快速恢復(fù)算法、多副本機制和校驗函數(shù)來保障數(shù)據(jù)的完整性和可靠性，用戶無需關(guān)心數(shù)據(jù)如何保存，或者采用什么樣的格式保存，數(shù)據(jù)存儲會否出錯。五、費用較低。采用開源免費的Hadoop框架和普通的X86服務(wù)器，可以為氣象部門大量節(jié)省經(jīng)費，緩解各省市經(jīng)費