基于Hadoop的煤礦設(shè)備數(shù)據(jù)規(guī)范化和清洗的研究.pdf

1、論文題目：基于Hadoop的煤礦設(shè)備數(shù)據(jù)規(guī)范化和清洗的研究專業(yè)：機(jī)械電子工程碩士生：陳少龍（簽名）指導(dǎo)教師：馬宏偉（簽名）摘要隨著網(wǎng)絡(luò)信息化技術(shù)快速發(fā)展和煤礦機(jī)械設(shè)備日趨大型化、復(fù)雜化，煤礦設(shè)備的運(yùn)行數(shù)據(jù)規(guī)模不斷地?cái)U(kuò)展，數(shù)據(jù)量從GB級(jí)邁向TB級(jí)甚至PB級(jí)，而且數(shù)據(jù)的差異性也越來(lái)越大。對(duì)于這種煤礦設(shè)備的海量異構(gòu)數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析處理系統(tǒng)已經(jīng)不能滿足數(shù)據(jù)處理和深度挖掘的需求，云計(jì)算技術(shù)可以高效地實(shí)現(xiàn)對(duì)這些問(wèn)題處理。針對(duì)現(xiàn)有煤礦機(jī)械設(shè)備系統(tǒng)

2、的實(shí)際情況和需求，分析云計(jì)算技術(shù)在工業(yè)化生產(chǎn)中廣泛有效的應(yīng)用，建立了基于Hadoop平臺(tái)的煤礦設(shè)備數(shù)據(jù)處理系統(tǒng)，利用平臺(tái)的海量存儲(chǔ)HDFS和分布式計(jì)算Mapreduce技術(shù)，實(shí)現(xiàn)對(duì)這些海量級(jí)數(shù)據(jù)的處理、分析和深度挖掘。首先，針對(duì)煤礦設(shè)備海量異構(gòu)格式的數(shù)據(jù)需要規(guī)范化描述問(wèn)題，設(shè)計(jì)了用XML數(shù)據(jù)格式做為多樣化海量數(shù)據(jù)的一種應(yīng)用標(biāo)準(zhǔn)，分析元數(shù)據(jù)抽取和關(guān)系—映射模型技術(shù)，實(shí)現(xiàn)對(duì)煤礦設(shè)備異構(gòu)數(shù)據(jù)的規(guī)范化描述。其次，在實(shí)驗(yàn)室環(huán)境下搭建了Linux集

3、群和Hadoop集群的平臺(tái)，建立基于Hadoop的煤礦設(shè)備系統(tǒng)數(shù)據(jù)處理系統(tǒng)，并對(duì)平臺(tái)所用到HDFS技術(shù)和分布式計(jì)算Mapreduce技術(shù)進(jìn)行了詳細(xì)分析，實(shí)現(xiàn)對(duì)煤礦設(shè)備數(shù)據(jù)的海量存儲(chǔ)和高效計(jì)算。最后，在Hadoop平臺(tái)上建立對(duì)煤礦設(shè)備振動(dòng)數(shù)據(jù)進(jìn)行特征值提取和異常點(diǎn)清洗的整體架構(gòu)，并提出了相應(yīng)的Mapreduce算法，可以有效地實(shí)現(xiàn)對(duì)煤礦機(jī)械設(shè)備振動(dòng)數(shù)據(jù)的處理。通過(guò)利用該系統(tǒng)平臺(tái)對(duì)設(shè)備數(shù)據(jù)進(jìn)行HDFS的讀寫和Mapreduce處理等性能測(cè)試

4、，結(jié)果表明，Hadoop平臺(tái)系統(tǒng)能夠正常高效運(yùn)行。因此，基于Hadoop的煤礦設(shè)備數(shù)據(jù)處理系統(tǒng)能夠?yàn)槊旱V設(shè)備維護(hù)提供很好的技術(shù)支持。關(guān)鍵詞：煤礦設(shè)備；規(guī)范化描述；特征值提?。粩?shù)據(jù)清洗；Hadoop研究類型：應(yīng)用研究thesystemrunnmalefficient.ThisarticlebasedonthecoalmineequipmentofHadoopdataprocessingsystemcaneffectivelyadapted