基于Hadoop的海量工程數(shù)據(jù)處理技術研究.pdf

1、隨著工程項目信息化程度越來越高，海量的工程數(shù)據(jù)隨之產生，然而傳統(tǒng)的工程數(shù)據(jù)存儲技術無法滿足越來越高的數(shù)據(jù)存儲質量的要求。近年來，云計算技術在工業(yè)界和學術界共同推動下取得了巨大的發(fā)展，大量的云計算系統(tǒng)投入使用。其中，Hadoop平臺被廣泛用來開發(fā)云計算程序。Hadoop最大的優(yōu)點就是實現(xiàn)了并行化對應用開發(fā)者的透明處理，應用開發(fā)者可以像開發(fā)普通程序一樣來開發(fā)云計算的應用系統(tǒng)，而集群的并行化則由Hadoop底層自動完成。本文基于Hadoop技

2、術來研究工程領域海量數(shù)據(jù)的處理問題，主要采用Hadoop的HDFS分布式文件系統(tǒng)以及MapReduce分布式處理模型來支持海量工程數(shù)據(jù)的存儲和處理。
　　海量工程數(shù)據(jù)的處理過程主要分為兩大部分:海量數(shù)據(jù)的存儲過程與計算分析過程。針對工程領域數(shù)據(jù)存儲的問題，本文分析設計了基于Hadoop的HDFS分布式文件系統(tǒng)的工程數(shù)據(jù)存儲系統(tǒng)。該系統(tǒng)基于Java7文件監(jiān)控器設計了的文件識別算法，該算法可以快速、準確地監(jiān)控并識別客戶端本地文件目錄變

3、化信息。配合基于Quartz的調度器的存儲作業(yè)調度以及HDFS文件操作API接口的調用，實現(xiàn)了跨平臺文件同步功能。經過在云仿真平臺存儲系統(tǒng)中應用測試，表明該系統(tǒng)具有較好的通用性、高效性以及經濟性。所設計的文件同步方法較好地完成了文件同步任務，解決了云仿真平臺存儲系統(tǒng)中核心的文件同步問題，提供了快速、正確的文件同步功能。
　　針對海量工程數(shù)據(jù)計算分析的問題，本文基于Hadoop技術另外一個核心技術MapReduce分布式處理模型，以

4、城市海量噪聲數(shù)據(jù)為應用對象提出了海量數(shù)據(jù)分析處理模型，為城市社區(qū)噪聲監(jiān)測系統(tǒng)提供海量數(shù)據(jù)處理服務。針對城市噪聲數(shù)據(jù)特點，提出了由四個部分組成的數(shù)據(jù)處理過程，分別是數(shù)據(jù)清洗、數(shù)據(jù)預處理、數(shù)據(jù)處理以及數(shù)據(jù)可視化?；谠撎幚砟Ｐ停瑢Τ鞘性肼暠O(jiān)測采集系統(tǒng)采集到的海量噪聲數(shù)據(jù)進行存儲，將存儲后的數(shù)據(jù)進行測試分析處理，實現(xiàn)了移動計算與海量工程數(shù)據(jù)存儲及分析的結合。測試結果表明該分布式處理模型快速、準確、有效地完成了噪聲數(shù)據(jù)處理的任務。
　　最