基于MooseFS工業(yè)采集數(shù)據(jù)云存儲(chǔ)系統(tǒng)研究.pdf

1、隨著internet的發(fā)展以及物聯(lián)網(wǎng)和云計(jì)算的興起，構(gòu)建工業(yè)物聯(lián)網(wǎng)成為工業(yè)現(xiàn)代化發(fā)展的必然趨勢(shì)。企業(yè)的工業(yè)控制網(wǎng)絡(luò)和信息網(wǎng)絡(luò)的融合成為關(guān)鍵技術(shù)，面對(duì)海量數(shù)據(jù)管理困難、高數(shù)據(jù)存儲(chǔ)成本高、安全可靠性難以保證、擴(kuò)展性較低等難題，明智企業(yè)會(huì)選擇搭建工業(yè)私有云存儲(chǔ)系統(tǒng)，采用分布式采集和管理系統(tǒng)，利用云存儲(chǔ)的高通用性、高擴(kuò)展性、高可靠性以及海量存儲(chǔ)等特性。工業(yè)采集數(shù)據(jù)云存儲(chǔ)解決方案可以有效解決存儲(chǔ)和數(shù)據(jù)挖掘問題。
　　本文采用MooseFS(

2、MFS)搭建了工業(yè)采集數(shù)據(jù)云存儲(chǔ)系統(tǒng)并對(duì)MFS代碼進(jìn)行了詳細(xì)分析，提出存儲(chǔ)節(jié)點(diǎn)同時(shí)作為計(jì)算節(jié)點(diǎn)的設(shè)計(jì)思想。針對(duì)海量工業(yè)采集數(shù)據(jù)難以存儲(chǔ)的問題，設(shè)計(jì)了專門的分布式存儲(chǔ)算法，提供了專用接口存儲(chǔ)工業(yè)數(shù)據(jù)。在云存儲(chǔ)系統(tǒng)中查詢海量工業(yè)數(shù)據(jù)需要消耗大量時(shí)間和資源，本文設(shè)計(jì)的定時(shí)數(shù)據(jù)并行分布式查詢算法可以極大縮短查詢時(shí)間和提高資源利用率；在海量隨機(jī)數(shù)據(jù)查詢過程中，查詢效率也成為關(guān)鍵難題，本文設(shè)計(jì)的分布式索引算法和隨機(jī)數(shù)據(jù)并行分布式算法提高了查詢效率。

3、
　　本文的創(chuàng)新成果主要有：
　　(1)提出工業(yè)采集數(shù)據(jù)云存儲(chǔ)解決方案，把云存儲(chǔ)資源池作為工業(yè)數(shù)據(jù)計(jì)算資源池，將存儲(chǔ)節(jié)點(diǎn)同時(shí)作為計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)主要實(shí)現(xiàn)建立分布式索引、完成并行分布式查詢?nèi)蝿?wù)等功能；
　　(2)在工業(yè)數(shù)據(jù)云存儲(chǔ)系統(tǒng)上進(jìn)行數(shù)據(jù)挖掘：建立隨機(jī)數(shù)據(jù)索引、實(shí)現(xiàn)大規(guī)模定時(shí)工業(yè)數(shù)據(jù)查詢和隨機(jī)工業(yè)數(shù)據(jù)查詢；
　　(3)本文設(shè)計(jì)的系統(tǒng)繼承云存儲(chǔ)系統(tǒng)的動(dòng)態(tài)擴(kuò)容特性，系統(tǒng)可以部署在3臺(tái)到1萬臺(tái)的不同規(guī)模集群環(huán)境，同